數據存儲階段:SQL、oracle、IBM等。都有相關課程。昌平java課程培訓機構建議根據不同的公司學習這些企業的開發工具，基本能勝任這個階段。
數據挖掘的清洗與篩選:大數據工程師要學習JAVA、Linux、SQL、Hadoop、數據序列化系統Avro、數據倉庫Hive、分布式數據庫HBase、數據倉庫Hive、Flume分布式日誌框架、Kafka分布式隊列系統課程、Sqoop數據遷移、pig開發和Storm實時數據處理。學習以上基礎知識，開始成為大數據工程師。如果想有更好的起點，建議前期在企業學習scala編程、Spark、R語言等專業基礎技能。
數據分析:壹方面是搭建數據分析框架，比如確定分析思維需要營銷、管理等理論知識；對於數據分析的結論也有壹些指導性的分析建議。
產品調整:數據分析後，協商後提交給boss和PM進行產品更新，再提交給程序員進行修改(快消產品會逐架調整)。
那麽我們來了解壹下大數據需要掌握哪些技術。
Hadoop內核
(1)分布式存儲的基石:HDFS
HDFS介紹演示的組成及工作原理分析:數據塊、NameNode、DataNode、數據讀寫過程、數據復制、HA方案、文件類型、HDFS常用設置的JavaAPI代碼演示。
(2)分布式計算基礎:MapReduce
MapReduce介紹，編程模型，JavaAPI介紹，編程案例介紹，MapReduce調優。
(3)Hadoop集群資源管理器:YARN
YARN基礎架構資源調度進程調度算法計算框架
離線計算
(1)離線日誌收集工具:Flume
Flume簡介核心組件介紹Flume示例:日誌收集、合適的場景和常見問題。
(2) Hive，離線批量處理的必備工具。
Hive在大數據平臺的定位，整體架構，使用場景AccessLog分析Hive DDL & amp；DML引入了視圖函數(內置、窗口和自定義函數)表的分區、桶和采樣優化。