從受到人類(lèi)大腦的啟發(fā),到發(fā)展出能夠獲得非凡成就的復(fù)雜模型,?神經(jīng)網(wǎng)絡(luò) 已經(jīng)走了很長(zhǎng)一段路。在接下來(lái)的博客中,我們將深入討論神經(jīng)網(wǎng)絡(luò)的技術(shù)歷程--從基本感知器到先進(jìn)的深度學(xué)習(xí)架構(gòu),推動(dòng)人工智能的創(chuàng)新。

人類(lèi)系統(tǒng)

人類(lèi)大腦中估計(jì)有860億個(gè)神經(jīng)元,它們彼此相鄰,通過(guò)突觸連接。每個(gè)神經(jīng)元通過(guò)樹(shù)突接收信號(hào),然后通過(guò)SOMA處理這些信號(hào),然后將輸出的軸突向下發(fā)送到突觸后神經(jīng)元。這個(gè)復(fù)雜的網(wǎng)絡(luò)是大腦如何能夠處理大量信息和完成極其復(fù)雜的任務(wù)。

這是在人工智能的神經(jīng)網(wǎng)絡(luò)中復(fù)制的相同結(jié)構(gòu)。相互連接的人工神經(jīng)元或節(jié)點(diǎn)能夠處理和傳遞信息;因此,它們構(gòu)成任何機(jī)器學(xué)習(xí)模型的基本組成部分,以便從數(shù)據(jù)中學(xué)習(xí)并作出預(yù)測(cè)或決定。

神經(jīng)網(wǎng)絡(luò)在深度學(xué)習(xí)中的興起

深層次學(xué)習(xí)是?機(jī)器學(xué)習(xí) 這涉及到使用多層的神經(jīng)網(wǎng)絡(luò)--因此是深層的神經(jīng)網(wǎng)絡(luò)--來(lái)建模數(shù)據(jù)中的復(fù)雜模式。計(jì)算能力、數(shù)據(jù)可用性和算法創(chuàng)新的增加促進(jìn)了相對(duì)簡(jiǎn)單的神經(jīng)模型向深層架構(gòu)的演變。

感知器:深層次學(xué)習(xí)的基礎(chǔ)

最簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)是?感知器 ,由弗蘭克羅森布拉特在1957年提出。它被用作更復(fù)雜架構(gòu)的基本模塊或構(gòu)建塊。感知器是一種線性分類(lèi)器,它映射輸入,X到輸出,Y的步驟如下:

1.加權(quán)和

計(jì)算輸入的加權(quán)和。

z=w T X+B

當(dāng)W是權(quán)重向量時(shí),X是輸入向量,B是偏置向量.

2.激活函數(shù)

對(duì)加權(quán)和應(yīng)用激活函數(shù)來(lái)產(chǎn)生輸出.

y=?(z)

激活函數(shù)BU通常是二進(jìn)制分類(lèi)的一個(gè)步驟函數(shù):

感知器類(lèi)型

1.單層感知器

單層感知器由直接連接到輸入節(jié)點(diǎn)的單層輸出節(jié)點(diǎn)組成。它只能解決線性可分問(wèn)題。

2. Multi-Layer Perceptron (MLP)

多層感知通過(guò)在輸入和輸出層之間添加一個(gè)或多個(gè)隱藏層來(lái)擴(kuò)展單層感知器。每個(gè)層都包含多個(gè)神經(jīng)元,激活功能可能是非線性的(例如。,乙狀結(jié)腸。

多層感知器及背向傳播

將隱藏層引入到mps中,可以對(duì)復(fù)雜的非線性關(guān)系進(jìn)行建模。訓(xùn)練一個(gè)MLP涉及調(diào)整權(quán)重和偏差,以盡量減少預(yù)測(cè)輸出和實(shí)際目標(biāo)之間的錯(cuò)誤。這是通過(guò)反向傳播算法實(shí)現(xiàn)的:

1. 前方通行證: 通過(guò)圖層傳播輸入來(lái)計(jì)算網(wǎng)絡(luò)的輸出。

2. 損失計(jì)算: 計(jì)算損失函數(shù)L(例如:,平均平方誤差,交叉熵)來(lái)測(cè)量預(yù)測(cè)產(chǎn)出和實(shí)際產(chǎn)出之間的差異。

3. 后傳: 使用鏈條規(guī)則計(jì)算損失與權(quán)重和偏差的梯度。

4. 重量更新: 通過(guò)梯度下降調(diào)整權(quán)重和偏差。

在哪里 n 是學(xué)習(xí)率。

深層次學(xué)習(xí)架構(gòu)

深層次的學(xué)習(xí)產(chǎn)生了專(zhuān)門(mén)的架構(gòu),每個(gè)架構(gòu)都是為具體任務(wù)量身定制的:

1.卷繞神經(jīng)網(wǎng)絡(luò)

設(shè)計(jì)為圖像處理,CNN使用卷繞層從輸入圖像中提取空間特征。卷積的數(shù)學(xué)運(yùn)算被定義為:

對(duì)于圖像,以離散形式:

2.循環(huán)神經(jīng)網(wǎng)絡(luò)

適合連續(xù)數(shù)據(jù),?Rnns 維護(hù)一個(gè)從以前的時(shí)間步驟中捕獲信息的隱藏狀態(tài)。隱藏狀態(tài)h t 更新如下:

應(yīng)用和影響

深入學(xué)習(xí)模式在許多工作領(lǐng)域都有所不同:

1. 計(jì)算機(jī)視覺(jué): 應(yīng)用包括圖像分類(lèi)、目標(biāo)檢測(cè)和面部識(shí)別.

2. 自然語(yǔ)言處理(NLP) : 在語(yǔ)言翻譯、情感分析和聊天機(jī)器人等任務(wù)上推動(dòng)著變化的海洋

3. 保健: 它增加了改進(jìn)疾病診斷、發(fā)現(xiàn)藥物和提供個(gè)性化藥物的可能性。

4. 財(cái)務(wù): 改進(jìn)欺詐檢測(cè)、算法交易和風(fēng)險(xiǎn)評(píng)估。

結(jié)論

這種從感知到深層次學(xué)習(xí)的演變,打開(kāi)了神經(jīng)網(wǎng)絡(luò)的潛在能力,在那里復(fù)雜的問(wèn)題甚至無(wú)法想象,并在經(jīng)濟(jì)的許多部門(mén)中形成了創(chuàng)新的趨勢(shì)。隨著對(duì)研究和技術(shù)發(fā)展的高度樂(lè)觀,神經(jīng)網(wǎng)絡(luò)的未來(lái)將使自己在應(yīng)用中擁有更大的能力。