當前位置:編程學習大全網 - 熱門推薦 - 網易雲,都踩過了網易20年的哪些坑兒

網易雲,都踩過了網易20年的哪些坑兒

雲計算的核心與本質是什麽?網易杭州研究院雲計算平臺產品部總監、網易雲基礎服務(網易蜂巢)容器雲研發負責人陳諤講了壹個故事:網易雲基礎服務(網易蜂巢)最初的版本,從申請資源開始監測到虛擬機、容器全部啟動,大概需要兩分半鐘,陳諤認為這個速度太慢,希望20秒內啟動容器。

“大家覺得這個事情太困難,幾乎不可能完成。於是,接下來分解階段性目標,先優化到1分鐘、再到40秒、再到20秒,讓大家看自己的環節還有哪些潛力可以挖掘。最後,實現了20秒左右完成壹個容器的建立(除去鏡像傳輸的時間)。在雲計算這個復雜系統裏面,做到這壹點其實是很不容易。”

網易雲能夠最終實現20秒上線壹個容器的故事,道出了雲計算技術的核心與本質:即不斷和長期的優化。2017年7月13日,網易雲即將舉辦首個雲創大會,大會“商業匠心、技術創新”的主題點出了網易技術這20年來走過的坑兒的心得:在商業技術創新面前,只有耐得住寂寞的匠心精神,才能“磨”出精品。

雲計算不是神話

十年前,在郵箱、門戶、遊戲等傳統互聯網業務之外,開始出現很多創新的互聯網業務形態,包括博客、在線相冊等。當時,丁磊認為網易需要在原有的業務板塊之外,建立壹個面向創新業務孵化、探索的獨立組織,所以成立了網易杭州研究院。十年後,從網易杭州研究院孵化出了網易雲。從網易技術發展歷程可以看出,雲計算並不是神話,而是互聯網技術演變的必然結果。

現任網易杭州研究院執行院長汪源說,網易杭州研究院的第壹個業務就是博客,博客代表Web 2.0時代的誕生。在新互聯網業務的探索中,發現Web 2.0業務形態對技術的要求相比Web 1.0有了質的飛越,需要如海量數據管理等基礎軟件的支撐,而網民帶來的數據量相比之前門戶網站至少有兩個數量級以上的提升。

陳諤剛進入網易的時候,正值Web 2.0概念爆發,他的第壹個項目就是網易博客。陳諤不僅要從事技術研發,同時還做博客的技術運維,包括版本控制等等。“整個技術挑戰、技術方向突然和以前完全不壹樣,關註點變成水平擴展、高並發、大吞吐量等。”陳諤回憶,之前整個互聯網技術體系的發展都相對平緩,就那個時間點突然跳躍了壹下,需要不同的運維手段。“做互聯網的似乎變成了做運維的,所以我的印象是比較深刻。”

如果說Web2.0是互聯網技術的壹次跳躍,雲計算就是互聯網技術的又壹次跳躍。“雲計算平臺對整個網易公司的互聯網業務帶來很明顯的推動作用,因為當時我們對服務器的管理、業務的增長都已經到了壹個瓶頸,必須有這樣壹朵雲,才能實現新的突破。”作為第壹批網易杭州研究院員工,陳諤回憶道。

“雲計算是分布式系統,我認為最核心是要懂得取舍。因為分布式系統架構和實現的技術,近二十年沒有太大的突破,該有的理論很早就存在,後面的CAP原理(壹致性、可用性、分區容錯性)也只是歸納性總結。所以,最重要的還是要知道取舍,比如系統復雜性與可運維性的取舍,功能很強大但是運維很麻煩也不行。”

如今的網易雲,就來源於網易技術在運營網易UGC產品的雲安全能力、來自網易全線互聯網產品的雲計算基礎服務能力、來自網易電商的雲客服、來自於網易多產品的大數據處理能力,以及來自於易信泡泡的通信與視頻技術等等。正因為有了網易互聯網產品大規模的開發與運維經驗,網易雲才在正式推出的短短壹年時間裏,獲得了大量客戶和開發者。

經歷了網易產品的長期優化

在談到網易過去十年走過的技術路程時,汪源表示技術體系是永遠需要不斷完善,因為業務發展會不斷提出新的需求,而且壹個龐大的技術體系中也存在很多可以優化的地方。

到目前為止,網易雲是壹個成功的技術體系,這是因為這套技術體系成為了壹個統壹、標準化平臺,承載了網易各個互聯網產品和業務。自2012年起,網易杭州研究院支撐網易集團互聯網產品全面上雲之後,網易雲至今已經支撐了網易內部95%以上的互聯網產品。

特別是教育、音樂、易信、電商、金融、手遊等網易業務,在最近三四年間呈現爆發性增長態勢,但無論是互聯網業務範圍還是業務規模,網易雲技術體系都很好地完成了使命。“在業務爆發式增長的時候,能夠及時地提供有力的支撐,沒有出現技術拖後腿的情況”,汪源強調。

以網絡為例,從第壹個版本上線開始,網易杭研院三年之內對於整個網絡的架構和優化了投入大量精力與資源。網易雲的網絡性能從最開始只能跑千兆網絡壹直到接近萬兆,經歷了壹個很長的優化過程。而只有網絡問題解決之後,上面的業務才能更好的集成,因為雲計算虛擬化相對比較成熟,但各家雲服務商對底層網絡的優化差異程度其實很大,有的雲解決方案連千兆都做不到,尤其是在部署了SDN之後。

網易雲從2012年的私有雲到後來的公有雲,中間趟過了很多杭兒,其中壹個很坑兒就是自研與跟隨開源技術社區的路線選擇。2006年到2007年,網易開始做海量數據管理平臺,包括的五個核心系統在當時國內是比較超前和領先的。但到後來,部分平臺被更加成熟的開源平臺代替,比如自研的並行計算系統到2010年被替換成當時已經成熟的Hadoop,當然2007年杭研開始自研時Hadoop並不成熟。

“看開源社區,如果只看到現狀,就比較容易掉到坑裏去。當時覺得開源項目有很多問題,自研就很容易做壹個更好的項目,但是過了三五年可能就被開源社區超過了。成熟的開源項目和開源社區的研發力量確實是很大,不是壹家公司的投入所能比的,除非是公司的戰略性項目。”汪源回憶過去十年間網易雲有很多產品都有類似的經歷,最後發現隨著開源技術社區的不斷成熟,跟隨開源社區的技術創新、做好場景化的整體技術優化是壹條更好的產品路線。

如果再回到十年前重新考慮的話,“應該會有兩個調整,壹個是更加積極地參與到開源社區的項目,和開源社區***同成長,另壹個就是更早考慮把杭研技術進行商業化,做更好的產品對外提供服務。”

為什麽要更早的商業化?“如果只是支持網易的業務,在技術的投入、應用的全面性方面,或多或少會有不足的地方;如果做到全世界的人都在用,這個技術才能說是非常成熟、非常可靠的。所以,網易自身的應用只是壹個起點。”

接受內外部的考驗

網易從2015年陸續對外推出通信與視頻(網易雲信和視頻雲)、全智能雲客服(網易七魚)、雲計算基礎服務(網易蜂巢)、雲安全(網易易盾)等壹系列場景化雲服務,以及壹站式大數據管理與應用開發平臺(網易猛獁)和企業級大數據可視化分析平臺(網易有數)等大數據平臺。

網易雲信是網易公司集17年IM經驗打造的即時通訊雲PaaS服務。除了基本功能外,網易雲信還提供了高級通訊功能,包括實時音視頻、互動直播、教學白板、專線電話、短信、專屬雲等以及更多服務。截止至2017年5月,已經有35萬+開發者接入網易IM雲服務,覆蓋用戶7億+,在教育、醫療、O2O、遊戲、社交等行業都有眾多用戶。

好未來雙師課堂是壹種全新的教學模式,從壹個老師教學升級為兩個老師負責學生的學習:壹位是主講老師,以直播的形式授課;壹位是輔導老師,負責課堂管理和課後針對性學習輔導。好未來雙師課堂就接入了網易雲IM基礎功能、互動白板、實時音視頻和短信功能,不僅降低了技術運維成本,還讓好未來雙師課堂更專註自身的核心課程研發和運營業務。

網易積20年之力專註研發的全智能雲客服系統(網易七魚),可無縫融合多渠道在線客服、呼叫中心、客服機器人、工單系統,由表及裏全面打造高效的客戶服務體系。小牛在線是國內領先的互聯網理財平臺,在線累計交易額突破100億。小牛在線接入全智能雲客服(網易七魚),實現了Web 及微信公眾號的整合溝通、跨部門工單以及豐富的績效管理等功能。

小牛在線的服務總監彭特表示:“全智能雲客服(網易七魚)提供的智能客服機器人智能化程度很高,網易多年的技術積累和經驗值得信賴。接入全智能雲客服(網易七魚),使小牛的產品體驗也有很大提升。另外很重要的壹點是,全智能雲客服(網易七魚)在安全性方面是市場上絕對優秀的,這壹點對於小牛、甚至是整個互聯網金融行業來說都至關重要。”

網易雲音樂是搭建在網易雲基礎服務之上,面對海量的數據請求,網易雲基礎服務提供了穩定、可伸縮的容器集群環境,敏捷的開發模式以及良好的運維支持。“作為網易多年經驗自研的產品,雲基礎服務為我們項目整體高效運作夯實了基礎,也為企業級應用提供了更加高效、可靠的解決方案。”網易雲音樂CEO朱壹聞表示。

自從2015年1月上線後,網易考拉的業務開始進入了高速發展期,第壹版電商系統的瓶頸逐漸凸顯,就是叠代速度緩慢,而僅僅提供基礎的資源彈性無法解決問題。具體而言,隨著用戶數量的不斷增加、市場需求的變化、運營體系的完善,網易考拉對功能模塊變更的需求越來越頻繁,不僅僅基礎資源管理越來越復雜,腳本化的應用層的部署和管理也已經遠遠跟不上需求。

網易雲基礎服務(網易蜂巢)容器雲平臺的自動化能力就解決了網易考拉的挑戰。網易雲基礎服務(網易蜂巢)采用了Docker容器作為整個軟件部署和調度的基本單元,並結合Kubernetes作為容器管理和編排服務框架。

網易雲基礎服務(網易蜂巢)還在原生Kubernetes的基礎上,對於調度進行了優化,並且利用多年運行IaaS層的調優經驗,對於容器之間的網絡互通和持久化存儲做了優化。結果是,網易雲基礎服務(網易蜂巢)讓網易考拉每天的更新頻次上限由最開始的每天2次升級到每天112次再上升到每天723次,並發訪問支持由網易考拉第二版的每秒2,600次提升到了每秒16,000次。

在大數據方面,數據科學隨著近幾年大數據和統計機器學習的進展受到了普遍的重視,網易杭州研究院也成立了數據科學中心,打造大數據、商業智能、機器學習平臺產品,於今年推出了網易猛獁大數據平臺和網易有數敏捷BI平臺。此外,網易杭州研究院數據科學中心還在整合網易各大產品數據,梳理網易數據,使網易的數據發揮更大價值,已經成功挖掘網易用戶畫像,並應用在廣告、金融風控等領域,取得顯著效果。

除了經受到內外部用戶的嚴格業務考驗外,汪源強調網易雲的壹大優勢在於整體架構設計的壹致性,也就是上層PaaS服務可以完全基於IaaS層能力構建。“有些友商的雲計算架構比較分散,上層的數據庫等服務並沒有架設在雲主機上,而是獨立的壹套系統,但網易雲計算所有的PaaS服務都統壹由底層IaaS支撐、調度和提供高可靠的能力,相互之間的協調性比較好,這和設計得比較好的AWS(EC2+ECS)是同等水平。”當然,這樣的壹個架構設計,也是網易技術近十年來不斷磨煉出來的精品結果。(文/寧川)

  • 上一篇:犬夜叉大結局是如何的
  • 下一篇:求含有心跳兩個字歌詞
  • copyright 2024編程學習大全網