神經(jīng)網(wǎng)絡的參數(shù)是如何來設定的
網(wǎng)絡參數(shù)確定原則:
①、網(wǎng)絡節(jié)點
網(wǎng)絡輸入層神經(jīng)元節(jié)點數(shù)就是系統(tǒng)的特征因子(自變量)個數(shù),輸出層神經(jīng)元節(jié)點數(shù)就是系統(tǒng)目標個數(shù)。隱層節(jié)點選按經(jīng)驗選取,一般設為輸入層節(jié)點數(shù)的75%。如果輸入層有7個節(jié)點,輸出層1個節(jié)點,那么隱含層可暫設為5個節(jié)點,即構成一個7-5-1 BP神經(jīng)網(wǎng)絡模型。在系統(tǒng)訓練時,實際還要對不同的隱層節(jié)點數(shù)4、5、6個分別進行比較,最后確定出最合理的網(wǎng)絡結構。
②、初始權值的確定
初始權值是不應完全相等的一組值。已經(jīng)證明,即便確定 存在一組互不相等的使系統(tǒng)誤差更小的權值,如果所設Wji的的初始值彼此相等,它們將在學習過程中始終保持相等。故而,在程序中,我們設計了一個隨機發(fā)生器程序,產(chǎn)生一組一0.5~+0.5的隨機數(shù),作為網(wǎng)絡的初始權值。
③、最小訓練速率
在經(jīng)典的BP算法中,訓練速率是由經(jīng)驗確定,訓練速率越大,權重變化越大,收斂越快;但訓練速率過大,會引起系統(tǒng)的振蕩,因此,訓練速率在不導致振蕩前提下,越大越好。因此,在DPS中,訓練速率會自動調(diào)整,并盡可能取大一些的值,但用戶可規(guī)定一個最小訓練速率。該值一般取0.9。
④、動態(tài)參數(shù)
動態(tài)系數(shù)的選擇也是經(jīng)驗性的,一般取0.6 ~0.8。
⑤、允許誤差
一般取0.001~0.00001,當2次迭代結果的誤差小于該值時,系統(tǒng)結束迭代計算,給出結果。
⑥、迭代次數(shù)
一般取1000次。由于神經(jīng)網(wǎng)絡計算并不能保證在各種參數(shù)配置下迭代結果收斂,當?shù)Y果不收斂時,允許最大的迭代次數(shù)。
⑦、Sigmoid參數(shù)
該參數(shù)調(diào)整神經(jīng)元激勵函數(shù)形式,一般取0.9~1.0之間。
⑧、數(shù)據(jù)轉(zhuǎn)換
在DPS系統(tǒng)中,允許對輸入層各個節(jié)點的數(shù)據(jù)進行轉(zhuǎn)換,提供轉(zhuǎn)換的方法有取對數(shù)、平方根轉(zhuǎn)換和數(shù)據(jù)標準化轉(zhuǎn)換。
本文轉(zhuǎn)自CSDN





