如何提升AI算法速度 打造接近人腦規(guī)模的神經(jīng)網(wǎng)絡(luò)
人工神經(jīng)網(wǎng)絡(luò)(ArTIficial Neural Networks;ANN)是人工智能(AI)革命的核心,正在形塑社會(huì)與科技的各層面發(fā)展。然而,目前ANN仍遠(yuǎn)不足以處理非常復(fù)雜的問題。近日由數(shù)間國際知名大學(xué)所組成的研究團(tuán)隊(duì)便針對(duì)此問題,研發(fā)出革命性的訓(xùn)練方法,可大幅提升訓(xùn)練AI算法的速度,最終可望打造出接近人腦規(guī)模的ANN。
據(jù)報(bào)導(dǎo),由荷蘭恩荷芬理工大學(xué)(Eindhoven University of Technology)、美國德州大學(xué)奧斯丁分校(University of Texas at AusTIn)與英國德比大學(xué)(University of Derby)科學(xué)家所組成的研究團(tuán)隊(duì),于《Nature CommunicaTIons》期刊發(fā)表新AI訓(xùn)練方法:稀疏式進(jìn)化訓(xùn)練(Sparse EvoluTIonary Training;SET)。
SET的靈感來自生物網(wǎng)絡(luò)以及特定神經(jīng)網(wǎng)絡(luò),而這些特定神經(jīng)網(wǎng)絡(luò)之所以運(yùn)行效率高有三個(gè)特征,包括網(wǎng)絡(luò)連接性相對(duì)較低、神經(jīng)中樞稀少以及路徑短。
研究團(tuán)隊(duì)指出,常見的AI訓(xùn)練是采用完全連結(jié)的人工神經(jīng)網(wǎng)絡(luò),不過新訓(xùn)練方法則隨機(jī)從稀疏的網(wǎng)絡(luò)著手,不斷演進(jìn)至無尺度網(wǎng)絡(luò)(scale-free network),在過程中較弱的連結(jié)會(huì)被消除,并隨機(jī)增加新連結(jié),近似于被稱為突觸萎縮(synaptic shrinking)的生物過程。
透過SET,一般計(jì)算機(jī)也能獲得全面的AI能力,而超級(jí)計(jì)算機(jī)更可望于1~2年內(nèi)打造出遠(yuǎn)超越今日規(guī)模的ANN。目前最新款超級(jí)計(jì)算機(jī)在處理1,600萬個(gè)神經(jīng)元網(wǎng)絡(luò)(約為青蛙大腦規(guī)模)就已相當(dāng)吃力,而一臺(tái)功能強(qiáng)大的桌上型計(jì)算機(jī)要訓(xùn)練僅10萬個(gè)神經(jīng)元網(wǎng)絡(luò),就需要耗費(fèi)十幾天的時(shí)間。
此新訓(xùn)練方式能大幅提升AI算法的速度,使AI技術(shù)可用于解決當(dāng)前棘手的問題。在智能電網(wǎng)與社會(huì)系統(tǒng)等復(fù)雜快速變動(dòng)的環(huán)境中,需要非常頻繁地重復(fù)訓(xùn)練ANN,因此在不影響準(zhǔn)確度之下提高學(xué)習(xí)速度顯得至關(guān)重要。
此外,由于這類的訓(xùn)練可在有限的運(yùn)算資源之下達(dá)成,對(duì)于連接至大型系統(tǒng)的分散式裝置嵌入式智能系統(tǒng),SET訓(xùn)練方法可望成為首選。
具體而言,透過SET任何使用者都能透過自身筆記本電腦打造神經(jīng)元達(dá)到100萬規(guī)模的ANN,但過去只有昂貴的云端運(yùn)算系統(tǒng)才有辦法透過先進(jìn)訓(xùn)練方法達(dá)到此規(guī)模。
目前最新超級(jí)計(jì)算機(jī)所打造出的最大型ANN,規(guī)模等同于青蛙大腦(約1,600萬神經(jīng)元)。未來在部分技術(shù)挑戰(zhàn)被克服后,則可望藉由SET在同款超級(jí)計(jì)算機(jī)上打造出接近人腦規(guī)模(約800億個(gè)神經(jīng)元)的ANN。
該研究主要作者Decebal Mocanu表示,目前確實(shí)需要規(guī)模如此龐大的神經(jīng)網(wǎng)絡(luò)。舉例而言,以ANN檢測癌癥有很好的成效。這代表透過SET,可望提升醫(yī)療照護(hù)質(zhì)量,并使個(gè)人化醫(yī)療變得更為平價(jià)。





