在過去的2016年，在計算機產業(yè)來說，相信沒有一個概念比人工智能更熱門?？缛?017年，專家們表示，人工智能生態(tài)圈的需求增長會更加迅猛。主要集中在為深度神經網絡找尋性能和效率更適合的“引擎”。

　　現(xiàn)在的深度學習系統(tǒng)依賴于軟件定義網絡和大數(shù)據(jù)學習產生的超大型運算能力，并靠此來實現(xiàn)目標。但很遺憾的是，這類型的運算配置是很難嵌入到那些運算能力、存儲大小、和帶寬都有限制的系統(tǒng)中（例如汽車、無人機和物聯(lián)網設備）。

　　這就給業(yè)界提出了一個新的挑戰(zhàn)，如何通過創(chuàng)新，把深度神經網絡的運算能力嵌入到終端設備中去。

　　Movidius公司的CEO Remi El－Ouazzane在幾個月前說過，將人工智能擺在網絡的邊緣將會是一個大趨勢。

　　Remi El－Ouazzane

　　在問到為什么人工智能會被“趕”到網絡邊緣的時候，CEA Architecture Fellow Marc Duranton給出了三個原因：分別是安全、隱私和經濟。他認為這三點是驅動業(yè)界在終端處理數(shù)據(jù)的重要因素。他指出，未來將會衍生更多“將數(shù)據(jù)轉化為信息”的需求。并且這些數(shù)據(jù)越早處理越好，他補充說。

　　CEA Architecture Fellow Marc Duranton

　　攝像一下，假如你的無人駕駛汽車是安全的，那么這些無人駕駛功能就不需要長時間依賴于聯(lián)盟處理；假設老人在家里跌倒了，那么這種情況當場就應該檢測到并判斷出來?？紤]到隱私原因，這些是非常重要的，Duranton強調。

　　但這并不意味著收集家里十個攝像頭的所有圖片，并傳送給我，就稱作一個號的提醒。這也并不能降低“能耗、成本和數(shù)據(jù)大小”，Duranton補充說。

　　競賽正式開啟

　　從現(xiàn)在的情景看來，芯片供應商已經意識到推理機的增長需求。包括Movidus （Myriad 2）， Mobileye （EyeQ 4 ＆ 5） 和Nvidia （Drive PX）在內的眾多半導體公司正在角逐低功耗、高性能的硬件加速器。幫助開發(fā)者更好的在嵌入式系統(tǒng)中執(zhí)行“學習”。

　　從這些廠商的動作和SoC的發(fā)展方向看來，在后智能手機時代，推理機已經逐漸成為半導體廠商追逐的下一個目標市場。

　　在今年早些時候，Google的TPU橫空出世，昭示著業(yè)界意圖在機器學習芯片中推動創(chuàng)新的的意圖。在發(fā)布這個芯片的時候，搜索巨人表示，TPU每瓦性能較之傳統(tǒng)的FPGA和GPU將會高一個數(shù)量級。Google還表示，這個加速器還被應用到了今年年初風靡全球的AlphaGo系統(tǒng)里面。

　　但是從發(fā)布到現(xiàn)在，Google也從未披露過TPU的具體細節(jié)，更別說把這個產品對外出售。

　　很多SoC從業(yè)者從谷歌的TPU中得出了一個結論，他們認為，機器學習需要定制化的架構。但在他們針對機器學習做芯片設計的時候，他們又會對芯片的架構感到懷疑和好奇。同時他們想知道業(yè)界是否已經有了一種衡量不同形態(tài)下深度神經網絡（DNN）性能的工具。

　　工具已經到來

　　CEA聲稱，他們已經為幫推理機探索不同的硬件架構做好了準備，他們已經開發(fā)出了一個叫做N2D2，的軟件架構。他們夠幫助設計者探索和聲稱DNN架構。“我們開發(fā)這個工具的目的是為了幫助DNN選擇適合的硬件”，Duranton說。到2017年第一季度，這個N2D2會開源。Duranton承諾。

　　N2D2的特點在于不僅僅是在識別精度的基礎上對比硬件，它還能從處理時間、硬件成本和能源損耗的多個方面執(zhí)行對比。因為針對不同的深度學習應用，其所需求的硬件配置參數(shù)都是不一樣的，所以說以上幾點才是最重要的，Duranton表示。

　　N2D2的工作原理

　　N2D2為現(xiàn)存的CPU、GPU和FPGA提供了一個參考標準。

　　邊緣計算的障礙

　　作為一個資深的研究組織，CEA已經在如何把DNN完美的推廣到邊緣計算領域進行了長時間的深入研究。在問到執(zhí)行這種推進的障礙時，Duranton指出，由于功耗、尺寸和延遲的限制，這些“浮點”服務器方案不能應用。這就是最大的障礙。而其他的障礙包括了“大量的Mac、帶寬和芯片上存儲的尺寸”，Duranton補充說。

　　那就是說如何整合這種“浮點”方式，是最先應該被解決的問題。

　　Duranton認為，一些新的架構是在所難免的，隨之而來的一些類似“spike code”的新coding也是必然的。

　　經過CEA的研究指出，甚至二進制編碼都不是必須的。他們認為類似spike coding這類的時間編碼在邊緣能夠迸發(fā)出更強大的能量。

　　Spike coding之所以受歡迎，是因為它能明確展示神經系統(tǒng)內的數(shù)據(jù)解碼。往深里講，就是說這些基于事件的的編碼能夠兼容專用的傳感器和預處理。

　　這種和神經系統(tǒng)極度相似的編碼方式使得混合模擬和數(shù)字信號更容易實現(xiàn)，這也能夠幫助研究者打造低功耗的硬件加速器。

　　CEA也正在思考把神經網絡架構調整到邊緣計算的潛在可能。Duranton指出，現(xiàn)在人們正在推動使用‘SqueezeNet取替AlexNet。據(jù)報道，為達到同等精度，使用前者比后者少花50倍的參數(shù)。這類的簡單配置對于邊緣計算、拓撲學和降低Mac的數(shù)量來說，都是很重要的。

　　Duranton認為，從經典的DNN轉向嵌入式網絡是一種自發(fā)的行為。

　　P－Neuro，一個臨時的芯片

　　CEA的野心是去開發(fā)一個神經形態(tài)的電路。研究機構認為，在深度學習中，這樣的一個芯片是推動把數(shù)據(jù)提取放在傳感器端的一個有效補充。

　　但在達到這個目標之前，CEA相處了很多權宜之計。例如開發(fā)出D2N2這樣的工具，幫助芯片開發(fā)者開發(fā)出高TOPS的DNN解決方案。

　　而對于那些想把DNN轉移到邊緣計算的玩家來說，他們也有相對應的硬件去實現(xiàn)。這就是CEA提供的低功耗可編程加速器——P－Neuro。現(xiàn)行的P－Neuro芯片是基于FPGA開發(fā)的。但Duranton表示，他們已經把這個FPAG變成了一個ASIC。

　　和嵌入式CPU對比的P－Neuro demo

　　在CEA的實驗室，Duranton他們已經在這個基于FPAG的P－Neuro搭建了一個面部識別的卷積神經網絡（CNN）。這個基于 P－Neuro的Demo和嵌入式CPU做了對比。（樹莓派、帶有三星Exynos處理器的安卓設備）。他們同樣都運行相同的CNN應用。他們都安排去從18000個圖片的數(shù)據(jù)庫中去執(zhí)行“人臉特征提取”。

　　根據(jù)示例展示，P－Neuro的速度是6942張圖片每秒，而功耗也只是2776張圖每瓦。

　　P－Neuro和GPU、CPU的對比

　　如圖所示，和Tegra K1相比，基于FPGA的P－Neuro在100Mhz工作頻率的時候，工作更快，且功耗更低。

　　P－Neuro是基于集群的SIMD架構打造，這個架構是以優(yōu)化的分級存儲器體系和內部連接被大家熟知的。

　　P－Neuro的框圖

　　對于CEA的研究者來說 ，P－Neuro 只是一個短期方案?，F(xiàn)行的 P－Neuro 是在一個CMOS設備上打造的，使用的是二進制編碼。他們團隊正在打造一個全CMOS方案，并打算用spike coding。

　　為了充分利用先進設備的優(yōu)勢，并且打破密度和功率的問題，他們團隊設立了一個更高的目標。他們考慮過把RRAM當做突觸元素，還考慮過FDSOI和納米線這樣的制程。

　　在一個“EU Horizon 2020”的計劃里面，他們希望做出一個神經形態(tài)架構的芯片，能夠支持最先進的機器學習。同時還是一個基于spike的學習機制。

　　Neuromorphic處理器

　　這就是一個叫做NeuRAM3的項目。屆時，他們的芯片會擁有超低功耗、尺寸和高度可配置的神經架構。他們的目標是較之傳統(tǒng)方案，打造一個能將功耗降低50倍的產品。

　　Neuromorphic處理器

　　Neuromorphic處理器的基本參數(shù)

　　據(jù)介紹，這個方案包含了基于FD－SOI工藝的整體集成的3D技術，另外還用到的RRAM來做突觸元素。在NeuRAM3項目之下，這個新型的混合信號多核神經形態(tài)芯片設備較之IBM的TrueNorth，能明顯降低功耗。

　　與IBM的TrueNorth對比

　　而NeuRAM3項目的參與者包括了IMEC， IBM Zurich， ST Microelectronics， CNR （The NaTIonal Research Council in Italy）， IMSE （El InsTItuto de Microelectrónica de Sevilla in Spain）， 蘇黎世大學和德國的雅各布大學。

　　更多AI芯片角逐

　　其實AI芯片這個市場，已經吸引了很多玩家，無論是傳統(tǒng)的半導體業(yè)者，還是所謂的初創(chuàng)企業(yè)，都開始投奔這個下一個金礦。除了上面說的CEA這個。我們不妨來看一下市場上還有哪些AI芯片。

　　一、傳統(tǒng)廠商的跟進

　　（1）Nvidia

　　英偉達是GPU霸主，雖然錯過了移動時代，但他們似乎在AI時代，重獲榮光，從其過去一年內的股票走勢，就可以看到市場對他們的信心。我們來看一下他有什么計劃，在這個領域。

　　在今年四月，Nvidia發(fā)布了一個先進的機器學習芯片——Tesla P100 GPU。按照英偉達CEO黃仁勛所說，這個產品較之英偉達的前代產品，任務處理速度提高了12倍。這個耗費了20億美元開發(fā)的芯片上面集成了1500億個晶體管。

　　據(jù)介紹，全新的 NVIDIA Pascal？ 架構讓 Tesla P100 能夠為 HPC 和超大規(guī)模工作負載提供超高的性能。憑借每秒超過 20 萬億次的 FP16 浮點運算性能，經過優(yōu)化的 Pascal 為深度學習應用程序帶來了令人興奮的新可能。

　　而通過加入采用 HBM2 的 CoWoS（晶圓基底芯片）技術，Tesla P100 將計算和數(shù)據(jù)緊密集成在同一個程序包內，其內存性能是上一代解決方案的 3 倍以上。這讓數(shù)據(jù)密集型應用程序的問題解決時間實現(xiàn)了跨時代的飛躍。

　　再者，因為搭載了 NVIDIA NVLink？ 技術， Tesla P100的快速節(jié)點可以顯著縮短為具備強擴展能力的應用程序提供解決方案的時間。采用 NVLink 技術的服務器節(jié)點可以 5 倍的 PCIe 帶寬互聯(lián)多達八個 Tesla P100。這種設計旨在幫助解決擁有極大計算需求的 HPC 和深度學習領域的全球超級重大挑戰(zhàn)。

　?。?）Intel

　　在今年十一月。Intel公司發(fā)布了一個叫做Nervana的AI處理器，他們宣稱會在明年年中測試這個原型。如果一切進展順利，Nervana芯片的最終形態(tài)會在2017年底面世。這個芯片是基于Intel早前購買的一個叫做Nervana的公司。按照Intel的人所說，這家公司是地球上第一家專門為AI打造芯片的公司。

　　Intel公司披露了一些關于這個芯片的一些細節(jié)，按照他們所說，這個項目代碼為“Lake Crest”，將會用到Nervana Engine 和Neon DNN相關軟件。。這款芯片可以加速各類神經網絡，例如谷歌TensorFlow框架。芯片由所謂的“處理集群”陣列構成，處理被稱作“活動點”的簡化數(shù)學運算。相對于浮點運算，這種方法所需的數(shù)據(jù)量更少，因此帶來了10倍的性能提升。

　　Lake Crest利用私有的數(shù)據(jù)連接創(chuàng)造了規(guī)模更大、速度更快的集群，其拓撲結構為圓環(huán)形或其他形式。這幫助用戶創(chuàng)造更大、更多元化的神經網絡模型。這一數(shù)據(jù)連接中包含12個100Gbps的雙向連接，其物理層基于28G的串并轉換。

　　這一2．5D芯片搭載了32GB的HBM2內存，內存帶寬為8Tbps。芯片中沒有緩存，完全通過軟件去管理片上存儲。

　　英特爾并未透露這款產品的未來路線圖，僅僅表示計劃發(fā)布一個名為Knights Crest的版本。該版本將集成未來的至強處理器和Nervana加速處理器。預計這將會支持Nervana的集群。不過英特爾沒有透露，這兩大類型的芯片將如何以及何時實現(xiàn)整合。

　　至于整合的版本將會有更強的性能，同時更易于編程。目前基于圖形處理芯片（GPU）的加速處理器使編程變得更復雜，因為開發(fā)者要維護單獨的GPU和CPU內存。

　　據(jù)透露，到2020年，英特爾將推出芯片，使神經網絡訓練的性能提高100倍。一名分析師表示，這一目標“極為激進”。毫無疑問，英特爾將迅速把這一架構轉向更先進的制造工藝，與已經采用14納米或16納米FinFET工藝的GPU展開競爭。

　?。?）IBM

　　百年巨人IBM，在很早以前就發(fā)布過wtson，現(xiàn)在他的人工智能機器早就投入了很多的研制和研發(fā)中去。而在去年，他也按捺不住，投入到類人腦芯片的研發(fā)，那就是TrueNorth。

　　TrueNorth是IBM參與DARPA的研究項目SyNapse的最新成果。SyNapse全稱是Systems of Neuromorphic AdapTIve PlasTIc Scalable Electronics（自適應可塑可伸縮電子神經系統(tǒng)，而SyNapse正好是突觸的意思），其終極目標是開發(fā)出打破馮？諾依曼體系的硬件。

　　這種芯片把數(shù)字處理器當作神經元，把內存作為突觸，跟傳統(tǒng)馮諾依曼結構不一樣，它的內存、CPU和通信部件是完全集成在一起。因此信息的處理完全在本地進行，而且由于本地處理的數(shù)據(jù)量并不大，傳統(tǒng)計算機內存與CPU之間的瓶頸不復存在了。同時神經元之間可以方便快捷地相互溝通，只要接收到其他神經元發(fā)過來的脈沖（動作電位），這些神經元就會同時做動作。

　　2011年的時候，IBM首先推出了單核含256 個神經元，256×256 個突觸和 256 個軸突的芯片原型。當時的原型已經可以處理像玩Pong游戲這樣復雜的任務。不過相對來說還是比較簡單，從規(guī)模上來說，這樣的單核腦容量僅相當于蟲腦的水平。

　　不過，經過3年的努力，IBM終于在復雜性和使用性方面取得了突破。4096個內核，100萬個“神經元”、2．56億個“突觸”集成在直徑只有幾厘米的方寸（是2011年原型大小的1／16）之間，而且能耗只有不到70毫瓦，IBM的集成的確令人印象深刻。

　　這樣的芯片能夠做什么事情呢？IBM研究小組曾經利用做過DARPA 的NeoVision2 Tower數(shù)據(jù)集做過演示。它能夠實時識別出用30幀每秒的正常速度拍攝自斯坦福大學胡佛塔的十字路口視頻中的人、自行車、公交車、卡車等，準確率達到了80％。相比之下，一臺筆記本編程完成同樣的任務用時要慢100倍，能耗卻是IBM芯片的1萬倍。

　　跟傳統(tǒng)計算機用FLOPS（每秒浮點運算次數(shù)）衡量計算能力一樣，IBM使用SOP（每秒突觸運算數(shù)）來衡量這種計算機的能力和能效。其完成460億SOP所需的能耗僅為1瓦—正如文章開頭所述，這樣的能力一臺超級計算機，但是一塊小小的助聽器電池即可驅動。

　　通信效率極高，從而大大降低能耗這是這款芯片最大的賣點。TrueNorth的每一內核均有256個神經元，每一個神經有分別都跟內外部的256個神經元連接。

　　（4）Google

　　其實在Google上面，我是很糾結的，這究竟是個新興勢力，還是傳統(tǒng)公司。但考慮到Google已經那么多年了，我就把他放在傳統(tǒng)里面吧。雖然傳統(tǒng)也是很新的。而谷歌的人工智能相關芯片就是TPU。也就是Tensor Processing Unit。

　　TPU是專門為機器學習應用而設計的專用芯片。通過降低芯片的計算精度，減少實現(xiàn)每個計算操作所需的晶體管數(shù)量，從而能讓芯片的每秒運行的操作個數(shù)更高，這樣經過精細調優(yōu)的機器學習模型就能在芯片上運行的更快，進而更快的讓用戶得到更智能的結果。Google將TPU加速器芯片嵌入電路板中，利用已有的硬盤PCI－E接口接入數(shù)據(jù)中心服務器中。

　　據(jù)Google 資深副總Urs Holzle 透露，當前Google TPU、GPU 并用，這種情況仍會維持一段時間，但也語帶玄機表示，GPU 過于通用，Google 偏好專為機器學習設計的芯片。GPU 可執(zhí)行繪圖運算工作，用途多元；TPU 屬于ASIC，也就是專為特定用途設計的特殊規(guī)格邏輯IC，由于只執(zhí)行單一工作，速度更快，但缺點是成本較高。至于CPU，Holzle 表示，TPU 不會取代CPU，研發(fā)TPU 只是為了處理尚未解決的問題。但是他也指出，希望芯片市場能有更多競爭。

　　如果AI算法改變了（從邏輯上講隨著時間的推移算法應該會改變），你是不是想要一款可以重新編程的芯片，以適應這些改變？如果情況是這樣的，另一種芯片適合，它就是FPGA（現(xiàn)場可編程門陣列）。FPGA可以編程，和ASIC不同。微軟用一些FPGA芯片來增強必應搜索引擎的AI功能。我們很自然會問：為什么不使用FPGA呢？