當前位置:編程學習大全網 - 編程語言 - 大數據架構師的基本職責

大數據架構師的基本職責

大數據架構師需要參與規劃從數據源到數據應用的全過程,參與相關產品的決策。以下是我為妳精心安排的大數據架構師的基本職責。

大數據架構師的基本職責1

職責:

1.負責整個大數據平臺架構的設計和搭建;

2.負責搭建大數據平臺數據交換和任務調度的通用平臺;

3.制定開發、測試、實施和維護的標準和規範,指導和培訓工程師,不斷提升團隊能力。

4.參與系統需求分析、架構設計、技術選擇、應用設計開發、測試部署,並負責核心代碼的編寫。

5.繼續挑戰新的技術方向,攻克大數據量、高並發、高可用、可擴展等技術難關。

要求:

65438以上+0.3年大數據架構經驗,數據倉庫、數據挖掘、機器學習項目經驗豐富。

2.大規模數據處理的架構和設計的實踐經驗。

3.精通Spark、MR、HDFS、Yarn、Hbase、Hive、MongoDB,熟悉Kafka、Redis、Storm、Mahout、Flume、ElasticSearch、Graph DB(二次或其他),有豐富的大型數據平臺工程經驗。

4.深刻理解大數據處理的相關技術和實現方法(流計算、分布式計算、分布式文件系統、分布式存儲等。).

5.熟悉主數據、元數據、數據質量等企業數據管理相關的制度和方法,熟悉Linux/Unix平臺上的開發環境。

6.本科以上學歷,計算機軟件或相關專業,有豐富的java開發經驗和互聯網背景者優先。

7.較強的問題分析和處理能力,動手能力優秀,熱衷技術,精益求精。

大數據架構師的基本職責2

職責:

1.深刻理解政府行業的商業模式,構建政府行業的數據模型,制定公司大數據技術的發展路線;

2.對接業務研究和技術部門,主動收集和轉化需求,組織數據中心業務開發,分析和設計數據相關產品需求;

3.構建數據倉庫,開發數據庫管理系統,收集、提取和處理業務積累的海量數據,進行數據分析和挖掘;

4.根據公司戰略和發展需求,規劃數據中心的重點工作和任務;實施部門人事和事務管理,開展跨部門、跨地區合作,協助對外交流與合作。

工作要求:

1以上。5年相關工作經驗,有團隊管理和項目管理經驗者優先;

2.了解政府運行機制,掌握金融行業知識,有電子政務行業經驗者優先;

3.熟練使用Java或Python,精通SQL、Oracle等數據庫查詢語言,有機器學習模型和算法經驗者優先;

4.具備數據中心產品規劃的整體思維,有大數據處理、分析、挖掘經驗者優先;

5.邏輯思維嚴謹,能夠對業務進行抽象、分解和規範,口頭和書面表達能力優秀;

6.有很強的大局意識和良好的團隊合作意識,富有領導能力,有優秀的人際交往和溝通能力。

大數據架構師的基本職責3

職責:

1,從事電信行業大數據項目相關業務研究、產品標準建設、核心模型設計與優化、系統測試等相關工作。

2.與數據專業委員會壹起研究數據建模方案和建模工具,負責產品線的數據架構和數據模型設計。

3.參與數據庫間數據轉換方法的研究,參與項目中的數據遷移,收集項目中的數據遷移經驗,優化產品的數據模型。

4.負責部門團隊數據模型基礎理論的培訓,建立數據模型團隊。

工作要求:

1,統招本科學歷,3年以上主流數據(DB2、Oracle、SQLServer、Mysql等)ETL設計開發經驗。),有設計大型數據倉庫的邏輯模型和物理模型的經驗,精通SQL,有良好的SQL性能調優經驗;

2.有使用Python、R等數學建模工具的經驗,有壹定的數據處理和建模經驗,能輸出相應的模型分析結果、模型對比、模型效率、理論以及模型的判斷方法,並能充分講解和解釋;

3.熟悉統計學的基本原理,做過實際的數據建模項目;

4.有分布式數據倉庫建設經驗,有電信行業數據倉庫建設經驗者優先;

大數據架構師的基本職責4

職責:

1,負責大數據平臺的架構設計和核心代碼開發;根據項目要求編寫相關技術文件;

2.負責大數據平臺的架構審核、代碼審核、上線審核;參與數據應用需求、設計、審計和評審;

3.負責核心模塊研發、大數據平臺建設,並完成系統調試、集成和實施;

4.負責建立和維護大數據平臺的技術標準和規範,指導開發者編寫代碼;

要求:

1,計算機相關專業本科及以上學歷;

2.精通離線和實時數據處理流程,掌握hive、impala、spark-sql等離線數據處理框架,掌握Storm、SparkStreaming等實時數據處理常用技術工具;

3.熟悉大數據技術生態系統,精通大數據技術架構,有搭建大數據平臺的經驗;

4.掌握常用的數據流訪問工具,包括Flume,kafka等。

5.掌握基本的Linux操作系統和壹些腳本語言編程(如Shell等。);

6、掌握壹門或多門實時處理語言,如JAVA、SCALA、PYTHON等。,有SCALA經驗者優先;

7.有處理實際大規模數據(TB級以上)經驗者優先;

大數據架構師的基本職責5

職責:

1.負責公司大數據處理框架的R&D和設計,梳理可實現方案和技術規範;

2.開發和完善公司的大數據平臺;參與公司線下和實時大數據處理系統的設計、開發和測試以及多個業務模塊的自動集成;

3.負責業務平臺數據統計分析模塊的設計和規劃;

4.負責產品開發過程中的數據和存儲設計;

5.領導和培訓團隊完成組織分解的目標;

要求:

1,本科及以上學歷,計算機與軟件工程專業,至少8年工作經驗,5年大數據開發經驗;

2.熟悉Java,Hadoop,HDFS,Hive,HBase,Spark,Storm,Flume等相關技術的基礎架構。

3.熟悉數據倉庫理論、數據算法和分布式計算技術,有設計大數據整體系統架構的經驗;

4.熟悉Linux系統,熟練使用shell/perl/python腳本處理問題;

5.張量流和機器學習(svm隨機深林貝葉斯等知識。)優先;

6.能夠組織項目開發團隊協同工作,包括團隊溝通、規劃、開發環境管理等。

  • 上一篇:主持人比賽自我介紹(5篇)
  • 下一篇:數字銑削編程貓
  • copyright 2024編程學習大全網