本文主要對(duì)人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)進(jìn)行了描述，主要包括人工神經(jīng)網(wǎng)絡(luò)的概念、發(fā)展、特點(diǎn)、結(jié)構(gòu)、模型。

本文是個(gè)科普文，來(lái)自網(wǎng)絡(luò)資料的整理。
 

人工神經(jīng)網(wǎng)絡(luò)（ArTIficial Neural Network，ANN）簡(jiǎn)稱神經(jīng)網(wǎng)絡(luò)(NN)，是基于生物學(xué)中神經(jīng)網(wǎng)絡(luò)的基本原理，在理解和抽象了人腦結(jié)構(gòu)和外界刺激響應(yīng)機(jī)制后，以網(wǎng)絡(luò)拓?fù)渲R(shí)為理論基礎(chǔ)，模擬人腦的神經(jīng)系統(tǒng)對(duì)復(fù)雜信息的處理機(jī)制的一種數(shù)學(xué)模型。該模型以并行分布的處理能力、高容錯(cuò)性、智能化和自學(xué)習(xí)等能力為特征，將信息的加工和存儲(chǔ)結(jié)合在一起，以其獨(dú)特的知識(shí)表示方式和智能化的自適應(yīng)學(xué)習(xí)能力，引起各學(xué)科領(lǐng)域的關(guān)注。它實(shí)際上是一個(gè)有大量簡(jiǎn)單元件相互連接而成的復(fù)雜網(wǎng)絡(luò)，具有高度的非線性，能夠進(jìn)行復(fù)雜的邏輯操作和非線性關(guān)系實(shí)現(xiàn)的系統(tǒng)。

神經(jīng)網(wǎng)絡(luò)是一種運(yùn)算模型，由大量的節(jié)點(diǎn)（或稱神經(jīng)元）之間相互聯(lián)接構(gòu)成。每個(gè)節(jié)點(diǎn)代表一種特定的輸出函數(shù)，稱為激活函數(shù)（acTIvaTIon funcTIon）。每?jī)蓚€(gè)節(jié)點(diǎn)間的連接都代表一個(gè)對(duì)于通過(guò)該連接信號(hào)的加權(quán)值，稱之為權(quán)重（weight），神經(jīng)網(wǎng)絡(luò)就是通過(guò)這種方式來(lái)模擬人類(lèi)的記憶。網(wǎng)絡(luò)的輸出則取決于網(wǎng)絡(luò)的結(jié)構(gòu)、網(wǎng)絡(luò)的連接方式、權(quán)重和激活函數(shù)。而網(wǎng)絡(luò)自身通常都是對(duì)自然界某種算法或者函數(shù)的逼近，也可能是對(duì)一種邏輯策略的表達(dá)。神經(jīng)網(wǎng)絡(luò)的構(gòu)筑理念是受到生物的神經(jīng)網(wǎng)絡(luò)運(yùn)作啟發(fā)而產(chǎn)生的。人工神經(jīng)網(wǎng)絡(luò)則是把對(duì)生物神經(jīng)網(wǎng)絡(luò)的認(rèn)識(shí)與數(shù)學(xué)統(tǒng)計(jì)模型相結(jié)合，借助數(shù)學(xué)統(tǒng)計(jì)工具來(lái)實(shí)現(xiàn)。另一方面在人工智能學(xué)的人工感知領(lǐng)域，我們通過(guò)數(shù)學(xué)統(tǒng)計(jì)學(xué)的方法，使神經(jīng)網(wǎng)絡(luò)能夠具備類(lèi)似于人的決定能力和簡(jiǎn)單的判斷能力，這種方法是對(duì)傳統(tǒng)邏輯學(xué)演算的進(jìn)一步延伸。

人工神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元處理單元可表示不同的對(duì)象，例如特征、字母、概念，或者一些有意義的抽象模式。網(wǎng)絡(luò)中處理單元的類(lèi)型分為三類(lèi)：輸入單元、輸出單元和隱單元。輸入單元接受外部世界的信號(hào)與數(shù)據(jù)；輸出單元實(shí)現(xiàn)系統(tǒng)處理結(jié)果的輸出；隱單元是處在輸入和輸出單元之間，不能由系統(tǒng)外部觀察的單元。神經(jīng)元間的連接權(quán)值反映了單元間的連接強(qiáng)度，信息的表示和處理體現(xiàn)在網(wǎng)絡(luò)處理單元的連接關(guān)系中。人工神經(jīng)網(wǎng)絡(luò)是一種非程序化、適應(yīng)性、大腦風(fēng)格的信息處理，其本質(zhì)是通過(guò)網(wǎng)絡(luò)的變換和動(dòng)力學(xué)行為得到一種并行分布式的信息處理功能，并在不同程度和層次上模仿人腦神經(jīng)系統(tǒng)的信息處理功能。

神經(jīng)網(wǎng)絡(luò)，是一種應(yīng)用類(lèi)似于大腦神經(jīng)突觸連接結(jié)構(gòu)進(jìn)行信息處理的數(shù)學(xué)模型，它是在人類(lèi)對(duì)自身大腦組織結(jié)合和思維機(jī)制的認(rèn)識(shí)理解基礎(chǔ)之上模擬出來(lái)的，它是根植于神經(jīng)科學(xué)、數(shù)學(xué)、思維科學(xué)、人工智能、統(tǒng)計(jì)學(xué)、物理學(xué)、計(jì)算機(jī)科學(xué)以及工程科學(xué)的一門(mén)技術(shù)。

神經(jīng)網(wǎng)絡(luò)的發(fā)展有悠久的歷史。其發(fā)展過(guò)程大致可以概括為如下4個(gè)階段。

1. 第一階段----啟蒙時(shí)期

(1)、M-P神經(jīng)網(wǎng)絡(luò)模型：20世紀(jì)40年代，人們就開(kāi)始了對(duì)神經(jīng)網(wǎng)絡(luò)的研究。1943 年，美國(guó)心理學(xué)家麥克洛奇（Mcculloch）和數(shù)學(xué)家皮茲（Pitts）提出了M-P模型，此模型比較簡(jiǎn)單，但是意義重大。在模型中，通過(guò)把神經(jīng)元看作個(gè)功能邏輯器件來(lái)實(shí)現(xiàn)算法，從此開(kāi)創(chuàng)了神經(jīng)網(wǎng)絡(luò)模型的理論研究。

(2)、Hebb規(guī)則：1949 年，心理學(xué)家赫布（Hebb）出版了《The Organization of Behavior》（行為組織學(xué)），他在書(shū)中提出了突觸連接強(qiáng)度可變的假設(shè)。這個(gè)假設(shè)認(rèn)為學(xué)習(xí)過(guò)程最終發(fā)生在神經(jīng)元之間的突觸部位，突觸的連接強(qiáng)度隨之突觸前后神經(jīng)元的活動(dòng)而變化。這一假設(shè)發(fā)展成為后來(lái)神經(jīng)網(wǎng)絡(luò)中非常著名的Hebb規(guī)則。這一法則告訴人們，神經(jīng)元之間突觸的聯(lián)系強(qiáng)度是可變的，這種可變性是學(xué)習(xí)和記憶的基礎(chǔ)。Hebb法則為構(gòu)造有學(xué)習(xí)功能的神經(jīng)網(wǎng)絡(luò)模型奠定了基礎(chǔ)。

(3)、感知器模型：1957 年，羅森勃拉特（Rosenblatt）以M-P 模型為基礎(chǔ)，提出了感知器（Perceptron）模型。感知器模型具有現(xiàn)代神經(jīng)網(wǎng)絡(luò)的基本原則，并且它的結(jié)構(gòu)非常符合神經(jīng)生理學(xué)。這是一個(gè)具有連續(xù)可調(diào)權(quán)值矢量的MP神經(jīng)網(wǎng)絡(luò)模型，經(jīng)過(guò)訓(xùn)練可以達(dá)到對(duì)一定的輸入矢量模式進(jìn)行分類(lèi)和識(shí)別的目的，它雖然比較簡(jiǎn)單，卻是第一個(gè)真正意義上的神經(jīng)網(wǎng)絡(luò)。Rosenblatt 證明了兩層感知器能夠?qū)斎脒M(jìn)行分類(lèi)，他還提出了帶隱層處理元件的三層感知器這一重要的研究方向。Rosenblatt 的神經(jīng)網(wǎng)絡(luò)模型包含了一些現(xiàn)代神經(jīng)計(jì)算機(jī)的基本原理，從而形成神經(jīng)網(wǎng)絡(luò)方法和技術(shù)的重大突破。