當前位置:編程學習大全網 - 源碼下載 - 大數據入門需學習哪些基礎知識

大數據入門需學習哪些基礎知識

前言,學大數據要先換電腦:

保證電腦4核8G內存64位操作系統,盡量有ssd做系統盤,否則卡到妳喪失信心。硬盤越大越好。

1,語言要求

java剛入門的時候要求javase。

scala是學習spark要用的基本使用即可。

後期深入要求:

java NIO,netty,多線程,ClassLoader,jvm底層及調優等,rpc。

2,操作系統要求

linux 基本的shell腳本的使用。

crontab的使用,最多。

cpu,內存,網絡,磁盤等瓶頸分析及狀態查看的工具。

scp,ssh,hosts的配置使用。

telnet,ping等網絡排查命令的使用

3,sql基本使用

sql是基礎,hive,sparksql等都需要用到,況且大部分企業也還是以數據倉庫為中心,少不了sql。

sql統計,排序,join,group等,然後就是sql語句調優,表設計等。

4,大數據基本了解

Zookeeper,hadoop,hbase,hive,sqoop,flume,kafka,spark,storm等這些框架的作用及基本環境的搭建,要熟練,要會運維,瓶頸分析。

5,mapreduce及相關框架hive,sqoop

深入了解mapreduce的核心思想。尤其是shuffle,join,文件輸入格式,map數目,reduce數目,調優等。

6,hive和hbase等倉庫

hive和hbase基本是大數據倉庫的標配。要回用,懂調優,故障排查。

hbase看浪尖hbase系列文章。hive後期更新。

7,消息隊列的使用

kafka基本概念,使用,瓶頸分析。看浪尖kafka系列文章。

8,實時處理系統

storm和spark Streaming

9,spark core和sparksql

spark用於離線分析的兩個重要功能。

10,最終方向決策

a),運維。(精通整套系統及故障排查,會寫運維腳本啥的。)

b),數據分析。(算法精通)

c),平臺開發。(源碼精通)

自學還是培訓?

無基礎的同學,培訓之前先搞到視頻通學壹遍,防止盲目培訓跟不上講師節奏,浪費時間,精力,金錢。

有基礎的盡量搞點視頻學基礎,然後跟群裏大牛交流,前提是人家願意,

想辦法跟大牛做朋友才是王道。

  • 上一篇:動感地帶套餐,急!!!
  • 下一篇:mes是幹嘛的?
  • copyright 2024編程學習大全網