神經(jīng)網(wǎng)絡(luò)的計算過程

神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示，最左邊的是輸入層，最右邊的是輸出層，中間是多個隱含層，隱含層和輸出層的每個神經(jīng)節(jié)點，都是由上一層節(jié)點乘以其權(quán)重累加得到，標上“+1”的圓圈為截距項b，對輸入層外每個節(jié)點：Y=w0*x0+w1*x1+…+wn*xn+b，由此我們可以知道神經(jīng)網(wǎng)絡(luò)相當于一個多層邏輯回歸的結(jié)構(gòu)。

（圖片來自UFLDL Tutorial）

算法計算過程：輸入層開始，從左往右計算，逐層往前直到輸出層產(chǎn)生結(jié)果。如果結(jié)果值和目標值有差距，再從右往左算，逐層向后計算每個節(jié)點的誤差，并且調(diào)整每個節(jié)點的所有權(quán)重，反向到達輸入層后，又重新向前計算，重復(fù)迭代以上步驟，直到所有權(quán)重參數(shù)收斂到一個合理值。由于計算機程序求解方程參數(shù)和數(shù)學求法不一樣，一般是先隨機選取參數(shù)，然后不斷調(diào)整參數(shù)減少誤差直到逼近正確值，所以大部分的機器學習都是在不斷迭代訓練，下面我們從程序上詳細看看該過程實現(xiàn)就清楚了。

神經(jīng)網(wǎng)絡(luò)的算法程序?qū)崿F(xiàn)

神經(jīng)網(wǎng)絡(luò)的算法程序?qū)崿F(xiàn)分為初始化、向前計算結(jié)果，反向修改權(quán)重三個過程。

1. 初始化過程

由于是n層神經(jīng)網(wǎng)絡(luò)，我們用二維數(shù)組layer記錄節(jié)點值，第一維為層數(shù)，第二維為該層節(jié)點位置，數(shù)組的值為節(jié)點值；同樣，節(jié)點誤差值layerErr也是相似方式記錄。用三維數(shù)組layer_weight記錄各節(jié)點權(quán)重，第一維為層數(shù)，第二維為該層節(jié)點位置，第三維為下層節(jié)點位置，數(shù)組的值為某節(jié)點到達下層某節(jié)點的權(quán)重值，初始值為0-1之間的隨機數(shù)。為了優(yōu)化收斂速度，這里采用動量法權(quán)值調(diào)整，需要記錄上一次權(quán)值調(diào)整量，用三維數(shù)組layer_weight_delta來記錄，截距項處理：程序里將截距的值設(shè)置為1，這樣只需要計算它的權(quán)重就可以了，

2. 向前計算結(jié)果

采用S函數(shù)1/(1+Math.exp(-z))將每個節(jié)點的值統(tǒng)一到0-1之間，再逐層向前計算直到輸出層，對于輸出層，實際上是不需要再用S函數(shù)的，我們這里將輸出結(jié)果視為0到1之間的概率值，所以也采用了S函數(shù)，這樣也有利于程序?qū)崿F(xiàn)的統(tǒng)一性。

3. 反向修改權(quán)重

神經(jīng)網(wǎng)絡(luò)如何計算誤差，一般采用平方型誤差函數(shù)E，如下：

也就是將多個輸出項和對應(yīng)目標值的誤差的平方累加起來，再除以2。實際上邏輯回歸的誤差函數(shù)也是這個，至于為什么要用這個函數(shù)來計算誤差，它從數(shù)學上的合理性是什么，怎么得來的，這個我建議程序員們不想當數(shù)學家的話，先不去深究了，現(xiàn)在我們要做的是如何把這個函數(shù)E誤差取它的最小值，需要對其進行求導，如果有些求導數(shù)學基礎(chǔ)的話，倒可以嘗試去推導下如何從函數(shù)E對權(quán)重求導得到下面這個公式的：

不會推導也沒有關(guān)系，我們只需要運用結(jié)果公式就可以了，在我們的程序里用layerErr記錄了E對權(quán)重求導后的最小化誤差，再根據(jù)最小化誤差去調(diào)整權(quán)重。

注意這里采用動量法調(diào)整，將上一次調(diào)整的經(jīng)驗考慮進來，避免陷入局部最小值，下面的k代表迭代次數(shù)，mobp為動量項，rate為學習步長：

Δw(k+1) = mobp*Δw(k)+rate*Err*Layer

也有很多使用下面的公式，效果上的差別不是太大：

Δw(k+1) = mobp*Δw(k)+(1-mobp)rate*Err*Layer

為了提升性能，注意程序?qū)崿F(xiàn)是在一個while里面同時計算誤差和調(diào)整權(quán)重，先將位置定位到倒數(shù)第二層（也就是最后一層隱含層）上，然后逐層反向調(diào)整，根據(jù)L+1層算好的誤差來調(diào)整L層的權(quán)重，同時計算好L層的誤差，用于下一次循環(huán)到L-1層時計算權(quán)重，以此循環(huán)下去直到倒數(shù)第一層（輸入層）結(jié)束。

小結(jié)

在整個計算過程中，節(jié)點的值是每次計算都在變化的，不需要保存，而權(quán)重參數(shù)和誤差參數(shù)是需要保存的，需要為下一次迭代提供支持，因此，如果我們構(gòu)思一個分布式的多機并行計算方案，就能理解其他框架中為什么會有一個Parameter Server的概念。

參考代碼：

package sk.ann;import java.util.Arrays; import java.util.Random;public class BpDeep{public double[][] layer;//神經(jīng)網(wǎng)絡(luò)各層節(jié)點public double[][] layerErr;//神經(jīng)網(wǎng)絡(luò)各節(jié)點誤差public double[][][] layer_weight;//各層節(jié)點權(quán)重public double[][][] layer_weight_delta;//各層節(jié)點權(quán)重動量public double mobp;//動量系數(shù)public double rate;//學習系數(shù)public BpDeep(int[] layernum, double rate, double mobp){this.mobp = mobp;this.rate = rate;layer = new double[layernum.length][];layerErr = new double[layernum.length][];layer_weight = new double[layernum.length][][];layer_weight_delta = new double[layernum.length][][];Random random = new Random();for(int l=0;l<layernum.length;l++){layer[l]=new double[layernum[l]];layerErr[l]=new double[layernum[l]];if(l+1<layernum.length){layer_weight[l]=new double[layernum[l]+1][layernum[l+1]];layer_weight_delta[l]=new double[layernum[l]+1][layernum[l+1]];for(int j=0;j<layernum[l]+1;j++)for(int i=0;i<layernum[l+1];i++)layer_weight[l][j][i]=random.nextDouble();//隨機初始化權(quán)重} }}//逐層向前計算輸出public double[] computeOut(double[] in){for(int l=1;l<layer.length;l++){for(int j=0;j<layer[l].length;j++){double z=layer_weight[l-1][layer[l-1].length][j];for(int i=0;i<layer[l-1].length;i++){layer[l-1][i]=l==1?in[i]:layer[l-1][i];z+=layer_weight[l-1][i][j]*layer[l-1][i];}layer[l][j]=1/(1+Math.exp(-z));}}return layer[layer.length-1];}//逐層反向計算誤差并修改權(quán)重public void updateWeight(double[] tar){int l=layer.length-1;for(int j=0;j<layerErr[l].length;j++)layerErr[l][j]=layer[l][j]*(1-layer[l][j])*(tar[j]-layer[l][j]);while(l-->0){for(int j=0;j<layerErr[l].length;j++){double z = 0.0;for(int i=0;i<layerErr[l+1].length;i++){z=z+l>0?layerErr[l+1][i]*layer_weight[l][j][i]:0;layer_weight_delta[l][j][i]= mobp*layer_weight_delta[l][j][i]+rate*layerErr[l+1][i]*layer[l][j];//隱含層動量調(diào)整layer_weight[l][j][i]+=layer_weight_delta[l][j][i];//隱含層權(quán)重調(diào)整if(j==layerErr[l].length-1){layer_weight_delta[l][j+1][i]= mobp*layer_weight_delta[l][j+1][i]+rate*layerErr[l+1][i];//截距動量調(diào)整layer_weight[l][j+1][i]+=layer_weight_delta[l][j+1][i];//截距權(quán)重調(diào)整}}layerErr[l][j]=z*layer[l][j]*(1-layer[l][j]);//記錄誤差}}}public void train(double[] in, double[] tar){double[] out = computeOut(in);updateWeight(tar);}public static void main(String[] args){//初始化神經(jīng)網(wǎng)絡(luò)的基本配置//第一個參數(shù)是一個整型數(shù)組，表示神經(jīng)網(wǎng)絡(luò)的層數(shù)和每層節(jié)點數(shù)，比如{3,10,10,10,10,2}表示輸入層是3個節(jié)點，輸出層是2個節(jié)點，中間有4層隱含層，每層10個節(jié)點//第二個參數(shù)是學習步長，第三個參數(shù)是動量系數(shù)BpDeep bp = new BpDeep(new int[]{2,10,2}, 0.15, 0.8);//設(shè)置樣本數(shù)據(jù)，對應(yīng)上面的4個二維坐標數(shù)據(jù)double[][] data = new double[][]{{1,2},{2,2},{1,1},{2,1}};//設(shè)置目標數(shù)據(jù)，對應(yīng)4個坐標數(shù)據(jù)的分類double[][] target = new double[][]{{1,0},{0,1},{0,1},{1,0}};//迭代訓練5000次for(int n=0;n<5000;n++)for(int i=0;i<data.length;i++)bp.train(data[i], target[i]);//根據(jù)訓練結(jié)果來檢驗樣本數(shù)據(jù)for(int j=0;j<data.length;j++){double[] result = bp.computeOut(data[j]);System.out.println(Arrays.toString(data[j])+":"+Arrays.toString(result));}//根據(jù)訓練結(jié)果來預(yù)測一條新數(shù)據(jù)的分類double[] x = new double[]{3,1};double[] result = bp.computeOut(x);System.out.println(Arrays.toString(x)+":"+Arrays.toString(result));} }

總結(jié)

以上是生活随笔為你收集整理的Java实现ANN神经网络之BP代码参考的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。