??
1. BP神經網絡的設計實例?
??
例1. 采用動量梯度下降算法訓練BP 網絡。?
訓練樣本定義如下：?
輸入矢量為?????
p =[-1 -2 3? 1;-1? 1 5 -3]?
目標矢量為?? t = [-1 -1 1 1]?
解：本例的 MATLAB 程序如下：??

close all??
clear??
echo on??
clc??
% NEWFF——生成一個新的前向神經網絡??
% TRAIN——對 BP 神經網絡進行訓練??
% SIM——對 BP 神經網絡進行仿真??
pause?????????
%? 敲任意鍵開始??
clc??
%? 定義訓練樣本??
% P 為輸入矢量??
P=[-1,? -2,??? 3,??? 1;?????? -1,??? 1,??? 5,? -3];?
% T 為目標矢量??
T=[-1, -1, 1, 1];??
pause;??
clc??
%? 創(chuàng)建一個新的前向神經網絡??
net=newff(minmax(P),[3,1],{'tansig','purelin'},'traingdm')?
%? 當前輸入層權值和閾值??
inputWeights=net.IW{1,1}??
inputbias=net.b{1}??
%? 當前網絡層權值和閾值??
layerWeights=net.LW{2,1}??
layerbias=net.b{2}??
pause??
clc??
%? 設置訓練參數??
net.trainParam.show = 50;??
net.trainParam.lr = 0.05;??
net.trainParam.mc = 0.9;??
net.trainParam.epochs = 1000;??
net.trainParam.goal = 1e-3;??
pause??
clc??
%? 調用 TRAINGDM 算法訓練 BP 網絡??
[net,tr]=train(net,P,T);??
pause??
clc??
%? 對 BP 網絡進行仿真??
A = sim(net,P)??
%? 計算仿真誤差??
E = T - A??
MSE=mse(E)??
pause??
clc??
echo off??

例2. 采用貝葉斯正則化算法提高 BP 網絡的推廣能力。在本例中，我們采用兩種訓練方法，即 L-M 優(yōu)化算法（trainlm）和貝葉斯正則化算法（trainbr），用以訓練 BP 網絡，使其能夠擬合某一附加有白噪聲的正弦樣本數據。其中，樣本數據可以采用如下MATLAB 語句生成：??
輸入矢量：P = [-1:0.05:1]；??
目標矢量：randn(’seed’,78341223)；??
T = sin(2*pi*P)+0.1*randn(size(P))；??
解：本例的 MATLAB 程序如下：??
close all??
clear??
echo on??
clc??
% NEWFF——生成一個新的前向神經網絡??
% TRAIN——對 BP 神經網絡進行訓練?
% SIM——對 BP 神經網絡進行仿真??
pause?????????
%? 敲任意鍵開始??
clc??
%? 定義訓練樣本矢量??
% P 為輸入矢量??
P = [-1:0.05:1];??
% T 為目標矢量??
randn('seed',78341223); T = sin(2*pi*P)+0.1*randn(size(P));??
%? 繪制樣本數據點??
plot(P,T,'+');??
echo off??
hold on;??
plot(P,sin(2*pi*P),':');?????????
%? 繪制不含噪聲的正弦曲線??
echo on??
clc??
pause??
clc??
%? 創(chuàng)建一個新的前向神經網絡??
net=newff(minmax(P),[20,1],{'tansig','purelin'});??
pause??
clc??
echo off??
clc?
disp('1.? L-M 優(yōu)化算法 TRAINLM'); disp('2.? 貝葉斯正則化算法 TRAINBR');??
choice=input('請選擇訓練算法(1,2):');??
figure(gcf);??
if(choice==1)??????????????????
??? echo on??????????
??? clc??????????
??? %? 采用 L-M 優(yōu)化算法 TRAINLM??
??? net.trainFcn='trainlm';??????????
??? pause??????????
??? clc??????????
??? %? 設置訓練參數??????????
??? net.trainParam.epochs = 500;??????????
??? net.trainParam.goal = 1e-6;??????????
??? net=init(net);?????????
??? %? 重新初始化????????????
??? pause??????????
??? clc?
elseif(choice==2)??????????
??? echo on??????????
??? clc??????????
??? %? 采用貝葉斯正則化算法 TRAINBR??????????
??? net.trainFcn='trainbr';??????????
??? pause??????????
??? clc??????????
??? %? 設置訓練參數??????????
??? net.trainParam.epochs = 500;??????????
??? randn('seed',192736547);??????????
??? net = init(net);?????????
??? %? 重新初始化????????????
??? pause??????????
??? clc??????????
end???
??
??

例2. % 調用相應算法訓練 BP 網絡?
[net,tr]=train(net,P,T);?
pause?
clc?
% 對 BP 網絡進行仿真?
A = sim(net,P);?
% 計算仿真誤差?
E = T - A;?
MSE=mse(E)?
pause?
clc?
% 繪制匹配結果曲線?
close all;?
plot(P,A,P,T,'+',P,sin(2*pi*P),':');?
pause;?
clc?
echo off?

??????? 通過采用兩種不同的訓練算法，我們可以得到兩種擬合結果。圖中的實線表示擬合曲線，虛線代表不含白噪聲的正弦曲線，“＋”點為含有白噪聲的正弦樣本數據點。顯然，經 trainlm 函數訓練后的神經網絡對樣本數據點實現了“過度匹配”，而經 trainbr 函數訓練的神經網絡對噪聲不敏感，具有較好的推廣能力。??

????????? 值得指出的是，在利用 trainbr 函數訓練 BP 網絡時，若訓練結果收斂，通常會給出提示信息“Maximum MU reached”。此外，用戶還可以根據 SSE 和 SSW 的大小變化情況來判斷訓練是否收斂：當 SSE 和 SSW 的值在經過若干步迭代后處于恒值時，則通常說明網絡訓練收斂，此時可以停止訓練。觀察trainbr 函數訓練 BP 網絡的誤差變化曲線,可見，當訓練迭代至 320 步時，網絡訓練收斂，此時 SSE 和 SSW 均為恒值，當前有效網絡的參數（有效權值和閾值）個數為 11.7973。?
例3 采用“提前停止”方法提高 BP 網絡的推廣能力。對于和例 2相同的問題，在本例中我們將采用訓練函數 traingdx 和“提前停止”相結合的方法來訓練 BP 網絡，以提高 BP 網絡的推廣能力。?
解：在利用“提前停止”方法時，首先應分別定義訓練樣本、驗證樣本或測試樣本，其中，驗證樣本是必不可少的。在本例中，我們只定義并使用驗證樣本，即有?
驗證樣本輸入矢量：val.P = [-0.975:.05:0.975]?
驗證樣本目標矢量：val.T = sin(2*pi*val.P)+0.1*randn(size(val.P))?
??????? 值得注意的是，盡管“提前停止”方法可以和任何一種 BP 網絡訓練函數一起使用，但是不適合同訓練速度過快的算法聯合使用，比如 trainlm 函數，所以本例中我們采用訓練速度相對較慢的變學習速率算法 traingdx 函數作為訓練函數。?
本例的 MATLAB 程序如下：?
close all?
clear?
echo on?
clc?
% NEWFF——生成一個新的前向神經網絡?
% TRAIN——對 BP 神經網絡進行訓練?
% SIM——對 BP 神經網絡進行仿真?
pause?
% 敲任意鍵開始?
clc?
% 定義訓練樣本矢量?
% P 為輸入矢量?
P = [-1:0.05:1];?
% T 為目標矢量?
randn('seed',78341223);?
T = sin(2*pi*P)+0.1*randn(size(P));?
% 繪制訓練樣本數據點?
plot(P,T,'+');?
echo off?
hold on;?
plot(P,sin(2*pi*P),':'); % 繪制不含噪聲的正弦曲線?
echo on?
clc?
pause?
clc?
% 定義驗證樣本?
val.P = [-0.975:0.05:0.975]; % 驗證樣本的輸入矢量?
val.T = sin(2*pi*val.P)+0.1*randn(size(val.P)); % 驗證樣本的目標矢量?
pause?
clc?
% 創(chuàng)建一個新的前向神經網絡?
net=newff(minmax(P),[5,1],{'tansig','purelin'},'traingdx');?
pause?
clc?
% 設置訓練參數?
net.trainParam.epochs = 500;?
net = init(net);?
pause?
clc?
% 訓練 BP 網絡?
[net,tr]=train(net,P,T,[],[],val);?
pause?
clc?
% 對 BP 網絡進行仿真?
A = sim(net,P);?
% 計算仿真誤差?
E = T - A;?
MSE=mse(E)?
pause?
clc?
% 繪制仿真擬合結果曲線?
close all;?
plot(P,A,P,T,'+',P,sin(2*pi*P),':');?
pause;?
clc?
echo off?

????????? 下面給出了網絡的某次訓練結果，可見，當訓練至第 136 步時，訓練提前停止，此時的網絡誤差為 0.0102565。給出了訓練后的仿真數據擬合曲線，效果是相當滿意的。?
[net,tr]=train(net,P,T,[],[],val);?
TRAINGDX, Epoch 0/500, MSE 0.504647/0, Gradient 2.1201/1e-006?
TRAINGDX, Epoch 25/500, MSE 0.163593/0, Gradient 0.384793/1e-006?
TRAINGDX, Epoch 50/500, MSE 0.130259/0, Gradient 0.158209/1e-006?
TRAINGDX, Epoch 75/500, MSE 0.086869/0, Gradient 0.0883479/1e-006?
TRAINGDX, Epoch 100/500, MSE 0.0492511/0, Gradient 0.0387894/1e-006?
TRAINGDX, Epoch 125/500, MSE 0.0110016/0, Gradient 0.017242/1e-006?
TRAINGDX, Epoch 136/500, MSE 0.0102565/0, Gradient 0.01203/1e-006?
TRAINGDX, Validation stop.