我們在前文中給大家簡單介紹了關於大數據運維師的壹些基本技能需求的內容。下面IT培訓就壹起來了解壹下，在學習大數據的時候不同學習階段都需要了解哪些知識。
數據存儲階段：SQL，oracle，IBM等等都有相關的課程，根據公司的不同，學習好這些企業的開發工具，基本可以勝任此階段的職位。
數據挖掘清洗篩選：大數據工程師，要學習JAVA，Linux，SQL，Hadoop，數據序列化系統Avro，數據倉庫Hive，分布式數據庫HBase，數據倉庫Hive，Flume分布式日誌框架，Kafka分布式隊列系統課程，Sqoop數據遷移，pig開發，Storm實時數據處理。學會以上基本可以入門大數據工程師，如果想有壹個更好的起點，建議前期學習scala編程，Spark，R語言等基本現在企業裏面更專業的技能。
數據分析：壹方面是搭建數據分析框架，比如確定分析思路需要營銷、管理等理論知識;還有針對數據分析結論提出有指導意義的分析建議。
產品調整：經過分析後的數據交由老板和PM經過協商後進行產品的更新，然後交由程序員進行修改(快消類進行商品的上下架調整)。
接著再來了解大數據需要掌握那些技術
Hadoop核心
(1)分布式存儲基石：HDFS
HDFS簡介入門演示構成及工作原理解析：數據塊，NameNode,DataNode、數據寫入與讀取過程、數據復制、HA方案、文件類型、HDFS常用設置JavaAPI代碼演示
(2)分布式計算基礎：MapReduce
MapReduce簡介、編程模型、JavaAPI介紹、編程案例介紹、MapReduce調優
(3)Hadoop集群資源管家：YARN
YARN基本架構資源調度過程調度算法YARN上的計算框架