大數據架構師的基本職責1
職責:
1.負責整個大數據平臺架構的設計和搭建;
2.負責搭建大數據平臺數據交換和任務調度的通用平臺;
3.制定開發、測試、實施和維護的標準和規範,指導和培訓工程師,不斷提升團隊能力。
4.參與系統需求分析、架構設計、技術選擇、應用設計開發、測試部署,並負責核心代碼的編寫。
5.繼續挑戰新的技術方向,攻克大數據量、高並發、高可用、可擴展等技術難關。
要求:
65438以上+0.3年大數據架構經驗,數據倉庫、數據挖掘、機器學習項目經驗豐富。
2.大規模數據處理的架構和設計的實踐經驗。
3.精通Spark、MR、HDFS、Yarn、Hbase、Hive、MongoDB,熟悉Kafka、Redis、Storm、Mahout、Flume、ElasticSearch、Graph DB(二次或其他),有豐富的大型數據平臺工程經驗。
4.深刻理解大數據處理的相關技術和實現方法(流計算、分布式計算、分布式文件系統、分布式存儲等。).
5.熟悉主數據、元數據、數據質量等企業數據管理相關的制度和方法,熟悉Linux/Unix平臺上的開發環境。
6.本科以上學歷,計算機軟件或相關專業,有豐富的java開發經驗和互聯網背景者優先。
7.較強的問題分析和處理能力,動手能力優秀,熱衷技術,精益求精。
大數據架構師的基本職責2
職責:
1.深刻理解政府行業的商業模式,構建政府行業的數據模型,制定公司大數據技術的發展路線;
2.對接業務研究和技術部門,主動收集和轉化需求,組織數據中心業務開發,分析和設計數據相關產品需求;
3.構建數據倉庫,開發數據庫管理系統,收集、提取和處理業務積累的海量數據,進行數據分析和挖掘;
4.根據公司戰略和發展需求,規劃數據中心的重點工作和任務;實施部門人事和事務管理,開展跨部門、跨地區合作,協助對外交流與合作。
工作要求:
1以上。5年相關工作經驗,有團隊管理和項目管理經驗者優先;
2.了解政府運行機制,掌握金融行業知識,有電子政務行業經驗者優先;
3.熟練使用Java或Python,精通SQL、Oracle等數據庫查詢語言,有機器學習模型和算法經驗者優先;
4.具備數據中心產品規劃的整體思維,有大數據處理、分析、挖掘經驗者優先;
5.邏輯思維嚴謹,能夠對業務進行抽象、分解和規範,口頭和書面表達能力優秀;
6.有很強的大局意識和良好的團隊合作意識,富有領導能力,有優秀的人際交往和溝通能力。
大數據架構師的基本職責3
職責:
1,從事電信行業大數據項目相關業務研究、產品標準建設、核心模型設計與優化、系統測試等相關工作。
2.與數據專業委員會壹起研究數據建模方案和建模工具,負責產品線的數據架構和數據模型設計。
3.參與數據庫間數據轉換方法的研究,參與項目中的數據遷移,收集項目中的數據遷移經驗,優化產品的數據模型。
4.負責部門團隊數據模型基礎理論的培訓,建立數據模型團隊。
工作要求:
1,統招本科學歷,3年以上主流數據(DB2、Oracle、SQLServer、Mysql等)ETL設計開發經驗。),有設計大型數據倉庫的邏輯模型和物理模型的經驗,精通SQL,有良好的SQL性能調優經驗;
2.有使用Python、R等數學建模工具的經驗,有壹定的數據處理和建模經驗,能輸出相應的模型分析結果、模型對比、模型效率、理論以及模型的判斷方法,並能充分講解和解釋;
3.熟悉統計學的基本原理,做過實際的數據建模項目;
4.有分布式數據倉庫建設經驗,有電信行業數據倉庫建設經驗者優先;
大數據架構師的基本職責4
職責:
1,負責大數據平臺的架構設計和核心代碼開發;根據項目要求編寫相關技術文件;
2.負責大數據平臺的架構審核、代碼審核、上線審核;參與數據應用需求、設計、審計和評審;
3.負責核心模塊研發、大數據平臺建設,並完成系統調試、集成和實施;
4.負責建立和維護大數據平臺的技術標準和規範,指導開發者編寫代碼;
要求:
1,計算機相關專業本科及以上學歷;
2.精通離線和實時數據處理流程,掌握hive、impala、spark-sql等離線數據處理框架,掌握Storm、SparkStreaming等實時數據處理常用技術工具;
3.熟悉大數據技術生態系統,精通大數據技術架構,有搭建大數據平臺的經驗;
4.掌握常用的數據流訪問工具,包括Flume,kafka等。
5.掌握基本的Linux操作系統和壹些腳本語言編程(如Shell等。);
6、掌握壹門或多門實時處理語言,如JAVA、SCALA、PYTHON等。,有SCALA經驗者優先;
7.有處理實際大規模數據(TB級以上)經驗者優先;
大數據架構師的基本職責5
職責:
1.負責公司大數據處理框架的R&D和設計,梳理可實現方案和技術規範;
2.開發和完善公司的大數據平臺;參與公司線下和實時大數據處理系統的設計、開發和測試以及多個業務模塊的自動集成;
3.負責業務平臺數據統計分析模塊的設計和規劃;
4.負責產品開發過程中的數據和存儲設計;
5.領導和培訓團隊完成組織分解的目標;
要求:
1,本科及以上學歷,計算機與軟件工程專業,至少8年工作經驗,5年大數據開發經驗;
2.熟悉Java,Hadoop,HDFS,Hive,HBase,Spark,Storm,Flume等相關技術的基礎架構。
3.熟悉數據倉庫理論、數據算法和分布式計算技術,有設計大數據整體系統架構的經驗;
4.熟悉Linux系統,熟練使用shell/perl/python腳本處理問題;
5.張量流和機器學習(svm隨機深林貝葉斯等知識。)優先;
6.能夠組織項目開發團隊協同工作,包括團隊溝通、規劃、開發環境管理等。