當前位置:編程學習大全網 - 編程語言 - 新型神經網絡芯片會對科技領域乃至整個世界產生什麽巨大影響

新型神經網絡芯片會對科技領域乃至整個世界產生什麽巨大影響

壹、與傳統計算機的區別1946年美籍匈牙利科學家馮·諾依曼提出存儲程序原理,把程序本身當作數據來對待。此後的半個多世紀以來,計算機的發展取得了巨大的進步,但“馮·諾依曼架構”中信息存儲器和處理器的設計壹直沿用至今,連接存儲器和處理器的信息傳遞通道仍然通過總線來實現。隨著處理的數據量海量地增長,總線有限的數據傳輸速率被稱為“馮·諾依曼瓶頸”——尤其是移動互聯網、社交網絡、物聯網、雲計算、高通量測序等的興起,使得‘馮·諾依曼瓶頸’日益突出,而計算機的自我糾錯能力缺失的局限性也已成為發展障礙。

結構上的缺陷也導致功能上的局限。例如,從效率上看,計算機運算的功耗較高——盡管人腦處理的信息量不比計算機少,但顯然而功耗低得多。為此,學習更多層的神經網絡,讓計算機能夠更好地模擬人腦功能,成為上世紀後期以來研究的熱點。

在這些研究中,核心的研究是“馮·諾依曼架構”與“人腦架構”的本質結構區別——與計算機相比,人腦的信息存儲和處理,通過突觸這壹基本單元來實現,因而沒有明顯的界限。正是人腦中的千萬億個突觸的可塑性——各種因素和各種條件經過壹定的時間作用後引起的神經變化(可變性、可修飾性等),使得人腦的記憶和學習功能得以實現。

大腦有而計算機沒有的三個特性:低功耗(人腦的能耗僅約20瓦,而目前用來嘗試模擬人腦的超級計算機需要消耗數兆瓦的能量);容錯性(壞掉壹個晶體管就能毀掉壹塊微處理器,但是大腦的神經元每時每刻都在死亡);還有不需為其編制程序(大腦在與外界互動的同時也會進行學習和改變,而不是遵循預設算法的固定路徑和分支運行。)

這段描述可以說是“電”腦的最終理想了吧。

註:最早的電腦也是模擬電路實現的,之後發展成現在的只有0、1的數字CPU。

今天的計算機用的都是所謂的馮諾依曼結構,在壹個中央處理器和記憶芯片之間以線性計算序列來回傳輸數據。這種方式在處理數字和執行精確撰寫的程序時非常好用,但在處理圖片或聲音並理解它們的意義時效果不佳。

有件事很說明問題:2012年,谷歌展示了它的人工智能軟件在未被告知貓是什麽東西的情況下,可以學會識別視頻中的貓,而完成這個任務用到了1.6萬臺處理器。

要繼續改善這類處理器的性能,生產商得在其中配備更多更快的晶體管、矽存儲緩存和數據通路,但所有這些組件產生的熱量限制了芯片的運作速度,尤其在電力有限的移動設備中。這可能會阻礙人們開發出有效處理圖片、聲音和其他感官信息的設備,以及將其應用於面部識別、機器人,或者交通設備航運等任務中。

神經形態芯片嘗試在矽片中模仿人腦以大規模的平行方式處理信息:幾十億神經元和千萬億個突觸對視覺和聲音刺激物這類感官輸入做出反應。

作為對圖像、聲音等內容的反應,這些神經元也會改變它們相互間連接的方式,我們把這個過程叫做學習。神經形態芯片納入了受人腦啟發的“神經網路”模式,因此能做同樣的事。

人工智能的頂尖思想家傑夫·霍金斯(Jeff Hawkins)說,在傳統處理器上用專門的軟件嘗試模擬人腦(谷歌在貓實驗中所做的),以此作為不斷提升的智能基礎,這太過低效了。

霍金斯創造了掌上電腦(Palm Pilot),後來又聯合創辦了Numenta公司,後者制造從人腦中獲得啟發的軟件。“妳不可能只在軟件中建造它,”他說到人工智能,“妳必須在矽片中建造它。”

現有的計算機計算,程序的執行是壹行壹行執行的,而神經網絡計算機則有所不同。

現行的人工智能程式,基本上都是將大大小小的各種知識寫成壹句壹句的陳述句,再灌進系統之中。當輸入問題進去智能程式時,它就會搜尋本身的資料庫,再選擇出最佳或最近解。2011年時,IBM 有名的 Watson 智能電腦,便是使用這樣的技術,在美國的電視益智節目中打敗的人類的最強衛冕者。

(神經網絡計算機)以這種異步信號發送(因沒有能使其同步的中央時鐘而得名)處理數據的速度比同步信號發送更快,以為沒有時間浪費在等待時鐘發出信號上。異步信號發送消耗的能量也更少,這樣便滿足了邁耶博士理想的計算機的第壹個特點。如果有壹個處理器壞了,系統會從另壹路線繞過它,這樣便滿足了邁耶博士理想的計算機的第二個特點。正是由於為異步信號發送編程並不容易,所以大多數計算機工程師都無視於此。然而其作為壹種模仿大腦的方式堪稱完美。功耗方面:

硬件方面,近年來主要是通過對大型神經網絡進行仿真,如 Google 的深度學習系統Google Brain,微軟的Adam等。但是這些網絡需要大量傳統計算機的集群。比方說 Google Brain 就采用了 1000 臺各帶 16 核處理器的計算機,這種架構盡管展現出了相當的能力,但是能耗依然巨大。而 IBM 則是在芯片上的模仿。4096 個內核,100 萬個“神經元”、2.56 億個“突觸”集成在直徑只有幾厘米的方寸(是 2011 年原型大小的 1/16)之間,而且能耗只有不到 70 毫瓦。

IBM 研究小組曾經利用做過 DARPA 的NeoVision2 Tower數據集做過演示。它能夠實時識別出用 30 幀每秒的正常速度拍攝自斯坦福大學胡佛塔的十字路口視頻中的人、自行車、公交車、卡車等,準確率達到了 80%。相比之下,壹臺筆記本編程完成同樣的任務用時要慢 100 倍,能耗卻是 IBM 芯片的 1 萬倍。

Ref: A million spiking-neuron integrated circuit with a scalable communication network and interface. Paul A. Merolla et al. Science 345, 668 (2014); DOI: 10.1126/science.1254642

因為需要擁有極多數據的Database 來做training以及需要極強大的計算能力來做prediction,現有的壹些Deep learning如Andrew Ng的Google Brain、Apple的Siri等都需要連接網絡到雲端的服務器。

二、爭議:

雖然深度學習已經被應用到尖端科學研究及日常生活當中,而 Google 已經實際搭載在核心的搜尋功能之中。但其他知名的人工智能實驗室,對於深度學習技術的反應並不壹致。例如艾倫人工智慧中心的執行長 Oren Etzioni,就沒有考慮將深度學習納入當前開發中的人工智慧系統中。該機構目前的研究是以小學程度的科學知識為目標,希望能開發出光是看學校的教科書,就能夠輕松應付各類考試的智能程式。Oren Etzioni 以飛機為例,他表示,最成功的飛機設計都不是來自於模仿鳥的結構,所以腦神經的類比並無法保證人工智能的實現,因此他們暫不考慮借用深度學習技術來開發這個系統。

但是從短期來看,情況也許並沒有那麽樂觀。

首先芯片的編程仍然是個大問題。芯片的編程要考慮選擇哪壹個神經元來連接,以及神經元之間相互影響的程度。比方說,為了識別上述視頻中的汽車,編程人員首先要對芯片的仿真版進行必要的設置,然後再傳給實際的芯片。這種芯片需要顛覆以往傳統的編程思想,盡管 IBM 去年已經發布了壹套工具,但是目前編程仍非常困難,IBM 團隊正在編制令該過程簡單壹點的開發庫。(當然,如果我們回顧過去編程語言從匯編壹路走來的歷史,這壹點也許不會成為問題。)

其次,在部分專業人士看來,這種芯片的能力仍有待證實。

再者,真正的認知計算應該能從經驗中學習,尋找關聯,提出假設,記憶,並基於結果學習,而IBM 的演示裏所有學習(training)都是在線下的馮諾依曼計算機上進行的。不過目前大多數的機器學習都是離線進行的,因為學習經常需要對算法進行調整,而 IBM 的硬件並不具備調整的靈活性,不擅長做這件事情。

三、人造神經元工作原理及電路實現

人工神經網絡

人工神經網絡(artificial neural network,縮寫ANN),簡稱神經網絡(neural network,縮寫NN),是壹種模仿生物神經網絡的結構和功能的數學模型或計算模型。

神經網絡是壹種運算模型,由大量的節點(或稱“神經元”,或“單元”)和之間相互聯接構成。每個節點代表壹種特定的輸出函數,稱為激勵函數(activation function)。每兩個節點間的連接都代表壹個對於通過該連接信號的加權值,稱之為權重(weight),這相當於人工神經網絡的記憶。網絡的輸出則依網絡的連接方式,權重值和激勵函數的不同而不同。而網絡自身通常都是對自然界某種算法或者函數的逼近,也可能是對壹種邏輯策略的表達。Ref:Wikipedia: 人工神經網絡

電路原理

神經遞質的分泌反過來又是對動作電位刺激的反應。然而神經元在接收到這些神經遞質信號中的壹個後便不會再繼續發出動作電位。當然,它們會逐漸累加至壹個極限值。在神經元接受了壹定數量的信號並超過極限值後----從根本上講是壹個模擬進程----然後它們會發出壹個動作電位,並自行重置。Spikey的人造神經元也是這麽做的,當它們每次受到激發時都會在電容中累積電荷,直至達到限值,電容再進行放電。具體電路結構和分析之後有機會的話再更新。

現階段硬件的實現方式有數電(IBM、Qualcomm)、模電、數模混合(學界)、GPUs等等,還有各種不是基於矽半導體制程制作的神經元等的device方面的研究。

四、歷史

Neuromorphic engineering由老祖宗Carver Mead提出

卡福·米德是加州理工學院的壹名工程師,被公認為神經形態計算機之父(當然還發明了“神經形態學”這個詞)

神經形態芯片的創意可以追溯到幾十年前。加州理工大學的退休教授、集成電路設計的傳奇人物卡弗·米德(Carver Mead)在1990年發表的壹篇論文中首次提出了這個名稱。

這篇論文介紹了模擬芯片如何能夠模仿腦部神經元和突觸的電活動。所謂模擬芯片,其輸出是變化的,就像真實世界中發生的現象,這和數字芯片二進制、非開即關的性質不同。

後來這(大腦研究)成為我畢生的工作,我覺得我可以有所貢獻,我嘗試離開計算機行業而專註大腦研究。首先我去了MIT的人工智能研究院,我想,我也想設計和制作聰明的機器,但我的想法是先研究大腦怎麽運作。而他們說,呃,妳不需要這樣做,我們只需要計算機編程。而我說,不,妳應該先研究大腦。他們說,呃,妳錯了。而我說,不,妳們錯了。最後我沒被錄取。但我真的有點失望,那時候年輕,但我再嘗試。幾年後再加州的Berkley,這次我嘗試去學習生物方面的研究。我開始攻讀生物物理博士課程。我在學習大腦了,而我想學理論。而他們說,不,妳不可以學大腦的理論,這是不可以的,妳不會拿到研究經費,而作為研究生,沒有經費是不可以的。我的天。

八卦:老師說neural network這個方向每20年火壹次,之前有很長壹段時間的沈寂期,甚至因為理論的不完善壹度被認為是江湖術士的小把戲,申請研究經費都需要改課題名稱才能成功。(這段為小弟的道聽途說,請大家看過就忘。後來看相關的資料發現,這段歷史可能與2006年Geoffrey E. Hinton提出深度學習的概念這壹革命性工作改變了之前的狀況有關。)

五、針對IBM這次的工作:

關於 SyNAPSE

美國國防部先進研究項目局的研究項目,由兩個大的group組成:IBM team和HRL Team。

Synapse在英文中是突觸的意思,而SyNAPSE是Systems of Neuromorphic Adaptive Plastic Scalable Electronics的簡稱。

Cognitive computing: Neurosynaptic chips

IBM produces first working chips modeled on the human brain

另壹個SyNAPSE項目是由IBM阿爾馬登實驗室(位於聖何塞)的達爾門德拉·穆德哈負責。與四所美國大學(哥倫比亞大學,康奈爾大學,加州大學默塞德分校以及威斯康辛-麥迪遜大學)合作,穆德哈博士及其團隊制造了壹臺神經形態學計算機的原型機,擁有256個“積分觸發式”神經元,之所以這麽叫是因為這些神經元將自己的輸入累加(即積分)直至達到閾值,然後發出壹個信號後再自行重置。它們在這壹點上與Spikey中的神經元類似,但是電子方面的細節卻有所不同,因為它們是由壹個數字儲存器而非許多電容來記錄輸入信號的。

Ref: A million spiking-neuron integrated circuit with a scalable communication network and interface. Paul A. Merolla et al. Science 345, 668 (2014); DOI: 10.1126/science.1254642

  • 上一篇:難忘的第壹次作文300字
  • 下一篇:python用於數據分析和web開發的不同
  • copyright 2024編程學習大全網