如何用MATLAB的神经网络工具箱实现三层BP网络

使用神经网络工具箱可以非常简便地实现网络建立和训练，实例代码如下：

function Out=bpnet(p,t,p_test)

%p,t为样本需要提前组织好

global S1

net=newff(minmax(p),[S1,8],{'tansig','purelin'},'trainlm');    %trainlm训练函数最有效

%net=newff(P,T,31,{'tansig','purelin'},'trainlm');%新版用法

nettrainParamepochs=1000;

nettrainParamgoal=000001;

nettrainParamlr=001;

nettrainParamshowWindow = false;      %阻止训练窗口的d出

nettrainParamshowCommandLine = false; %阻止训练窗口的d出

net=train(net,p,t);

Out=sim(net,p_test);

end

上面的代码不完整，完整的带训练样本数据的程序见附件。

BP神经网络的训练集需要大样本吗？一般样本个数为多少？

BP神经网络样本数有什么影响

学习神经网络这段时间，有一个疑问，BP神经网络中训练的次数指的网络的迭代次数，如果有a个样本,每个样本训练次数n，则网络一共迭代an次，在n>>a 情况下 ， 网络在不停的调整权值，减小误差，跟样本数似乎关系不大。而且，a大了的话训练时间必然会变长。

换一种说法，将你的数据集看成一个固定值， 那么样本集与测试集 也可以按照某种规格确定下来如7：3 所以如何看待 样本集的多少与训练结果呢？ 或者说怎么使你的网络更加稳定，更加符合你的所需 。

我尝试从之前的一个例子中看下区别

如何用70行Java代码实现深度神经网络算法

作者其实是实现了一个BP神经网络 ，不多说，看最后的例子

一个运用神经网络的例子

最后我们找个简单例子来看看神经网络神奇的效果。为了方便观察数据分布，我们选用一个二维坐标的数据，下面共有4个数据，方块代表数据的类型为1，三角代表数据的类型为0，可以看到属于方块类型的数据有（1，2）和（2，1），属于三角类型的数据有（1，1），（2，2），现在问题是需要在平面上将4个数据分成1和0两类，并以此来预测新的数据的类型。



描述

我们可以运用逻辑回归算法来解决上面的分类问题，但是逻辑回归得到一个线性的直线做为分界线，可以看到上面的红线无论怎么摆放，总是有一个样本被错误地划分到不同类型中，所以对于上面的数据，仅仅一条直线不能很正确地划分他们的分类，如果我们运用神经网络算法，可以得到下图的分类效果，相当于多条直线求并集来划分空间，这样准确性更高。



描述

简单粗暴，用作者的代码运行后 训练5000次 。根据训练结果来预测一条新数据的分类（3,1）



预测值 （3,1）的结果跟（1,2）（2,1）属于一类 属于正方形

这时如果我们去掉 2个样本，则样本输入变成如下

//设置样本数据，对应上面的4个二维坐标数据

double[][] data = new double[][]{{1,2},{2,2}};

//设置目标数据，对应4个坐标数据的分类

double[][] target = new double[][]{{1,0},{0,1}};

1

2

3

4

1

2

3

4





则（3,1）结果变成了三角形，

如果你选前两个点 你会发现直接一条中间线就可以区分 这时候的你的结果跟之前4个点时有区别 so 你得增加样本 直到这些样本按照你所想要的方式分类 ，所以样本的多少 重要性体现在，样本得能反映所有的特征值（也就是输入值） ，样本多少或者特征（本例子指点的位置特征）决定的你的网络的训练结果，！！！这是 我们反推出来的结果 。这里距离深度学习好像近了一步。

另外，这个70行代码的神经网络没有保存你训练的网络 ，所以你每次运行都是重新训练的网络。其实，在你训练过后 权值已经确定了下来，我们确定网络也就是根据权值，so只要把训练后的权值保存下来，将需要分类的数据按照这种权值带入网络，即可得到输出值，也就是一旦网络确定， 权值也就确定，一个输入对应一个固定的输出，不会再次改变！个人见解。

最后附上作者的源码，作者的文章见开头链接

下面的实现程序BpDeepjava可以直接拿去使用，

import javautilRandom;

public class BpDeep{

public double[][] layer;//神经网络各层节点

public double[][] layerErr;//神经网络各节点误差

public double[][][] layer_weight;//各层节点权重

public double[][][] layer_weight_delta;//各层节点权重动量

public double mobp;//动量系数

public double rate;//学习系数

public BpDeep(int[] layernum, double rate, double mobp){

thismobp = mobp;

thisrate = rate;

layer = new double[layernumlength][];

layerErr = new double[layernumlength][];

layer_weight = new double[layernumlength][][];

layer_weight_delta = new double[layernumlength][][];

Random random = new Random();

for(int l=0;l<layernumlength;l++){

layer[l]=new double[layernum[l]];

layerErr[l]=new double[layernum[l]];

if(l+1<layernumlength){

layer_weight[l]=new double[layernum[l]+1][layernum[l+1]];

layer_weight_delta[l]=new double[layernum[l]+1][layernum[l+1]];

for(int j=0;j<layernum[l]+1;j++)

for(int i=0;i<layernum[l+1];i++)

layer_weight[l][j][i]=randomnextDouble();//随机初始化权重

}

}

}

//逐层向前计算输出

public double[] computeOut(double[] in){

for(int l=1;l<layerlength;l++){

for(int j=0;j<layer[l]length;j++){

double z=layer_weight[l-1][layer[l-1]length][j];

for(int i=0;i<layer[l-1]length;i++){

layer[l-1][i]=l==1in[i]:layer[l-1][i];

z+=layer_weight[l-1][i][j]layer[l-1][i];

}

layer[l][j]=1/(1+Mathexp(-z));

}

}

return layer[layerlength-1];

}

//逐层反向计算误差并修改权重

public void updateWeight(double[] tar){

int l=layerlength-1;

for(int j=0;j<layerErr[l]length;j++)

layerErr[l][j]=layer[l][j](1-layer[l][j])(tar[j]-layer[l][j]);

while(l-->0){

for(int j=0;j<layerErr[l]length;j++){

double z = 00;

for(int i=0;i<layerErr[l+1]length;i++){

z=z+l>0layerErr[l+1][i]layer_weight[l][j][i]:0;

layer_weight_delta[l][j][i]= mobplayer_weight_delta[l][j][i]+ratelayerErr[l+1][i]layer[l][j];//隐含层动量调整

layer_weight[l][j][i]+=layer_weight_delta[l][j][i];//隐含层权重调整

if(j==layerErr[l]length-1){

layer_weight_delta[l][j+1][i]= mobplayer_weight_delta[l][j+1][i]+ratelayerErr[l+1][i];//截距动量调整

layer_weight[l][j+1][i]+=layer_weight_delta[l][j+1][i];//截距权重调整

}

}

layerErr[l][j]=zlayer[l][j](1-layer[l][j]);//记录误差

}

}

}

public void train(double[] in, double[] tar){

double[] out = computeOut(in);

updateWeight(tar);

}

}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

下面是这个测试程序BpDeepTestjava的源码：

import javautilArrays;

public class BpDeepTest{

public static void main(String[] args){

//初始化神经网络的基本配置

//第一个参数是一个整型数组，表示神经网络的层数和每层节点数，比如{3,10,10,10,10,2}表示输入层是3个节点，输出层是2个节点，中间有4层隐含层，每层10个节点

//第二个参数是学习步长，第三个参数是动量系数

BpDeep bp = new BpDeep(new int[]{2,10,2}, 015, 08);

//设置样本数据，对应上面的4个二维坐标数据

double[][] data = new double[][]{{1,2},{2,2},{1,1},{2,1}};

//设置目标数据，对应4个坐标数据的分类

double[][] target = new double[][]{{1,0},{0,1},{0,1},{1,0}};

//迭代训练5000次

for(int n=0;n<5000;n++)

for(int i=0;i<datalength;i++)

bptrain(data[i], target[i]);

//根据训练结果来检验样本数据

for(int j=0;j<datalength;j++){

double[] result = bpcomputeOut(data[j]);

Systemoutprintln(ArraystoString(data[j])+":"+ArraystoString(result));

}

//根据训练结果来预测一条新数据的分类

double[] x = new double[]{3,1};

double[] result = bpcomputeOut(x);

Systemoutprintln(ArraystoString(x)+":"+ArraystoString(result));

}

}

%人脸识别模型，脸部模型自己找吧。

function mytest()

clc;

images=[ ];

M_train=3;%表示人脸

N_train=5;%表示方向

sample=[];

pixel_value=[];

sample_number=0;

for j=1:N_train

for i=1:M_train

str=strcat('Images\',num2str(i),'_',num2str(j),'bmp'); %读取图像，连接字符串形成图像的文件名。

img= imread(str);

[rows cols]= size(img);%获得图像的行和列值。

img_edge=edge(img,'Sobel');

%由于在分割中我们可以看到这个人脸的眼睛部分也就是位于分割后的第二行中，位置变化比较大，而且眼睛边缘检测效果很好

sub_rows=floor(rows/6);%最接近的最小整数,分成6行

sub_cols=floor(cols/8);%最接近的最小整数，分成8列

sample_num=M_trainN_train;%前5个是第一幅人脸的5个角度

sample_number=sample_number+1;

for subblock_i=1:8 %因为这还在i，j的循环中，所以不可以用i

block_num=subblock_i;

pixel_value(sample_number,block_num)=0;

for ii=sub_rows:(2sub_rows)

for jj=(subblock_i-1)sub_cols+1:subblock_isub_cols

pixel_value(sample_number,block_num)=pixel_value(sample_number,block_num)+img_edge(ii,jj);

end

end

end

end

end

%将特征值转换为小于1的值

max_pixel_value=max(pixel_value);

max_pixel_value_1=max(max_pixel_value);

for i=1:3

mid_value=10^i;

if(((max_pixel_value_1/mid_value)>1)&&((max_pixel_value_1/mid_value)<10))

multiple_num=1/mid_value;

pixel_value=pixel_valuemultiple_num;

break;

end

end

% T 为目标矢量

t=zeros(3,sample_number);

%因为有五类，所以至少用3个数表示，5介于2的2次方和2的3次方之间

for i=1:sample_number

% if((mod(i,5)==1)||(mod(i,5)==4)||(mod(i,5)==0))

if(i<=3)||((i>9)&&(i<=12))||((i>12)&&(i<=15))

t(1,i)=1;

end

%if((mod(i,5)==2)||(mod(i,5)==4))

if((i>3)&&(i<=6))||((i>9)&&(i<=12))

t(2,i)=1;

end

%if((mod(i,5)==3)||(mod(i,5)==0))

if((i>6)&&(i<=9))||((i>12)&&(i<=15))

t(3,i)=1;

end

end

% NEWFF——生成一个新的前向神经网络

% TRAIN——对 BP 神经网络进行训练

% SIM——对 BP 神经网络进行仿真

% 定义训练样本

% P 为输入矢量

P=pixel_value'

% T 为目标矢量

T=t

size(P)

size(T)

% size(P)

% size(T)

% 创建一个新的前向神经网络

net_1=newff(minmax(P),[10,3],{'tansig','purelin'},'traingdm')

% 当前输入层权值和阈值

inputWeights=net_1IW{1,1}

inputbias=net_1b{1}

% 当前网络层权值和阈值

layerWeights=net_1LW{2,1}

layerbias=net_1b{2}

% 设置训练参数

net_1trainParamshow = 50;

net_1trainParamlr = 005;

net_1trainParammc = 09;

net_1trainParamepochs = 10000;

net_1trainParamgoal = 1e-3;

% 调用 TRAINGDM 算法训练 BP 网络

[net_1,tr]=train(net_1,P,T);

% 对 BP 网络进行仿真

A = sim(net_1,P);

% 计算仿真误差

E = T - A;

MSE=mse(E)

x=[014 0 1 1 0 1 1 12]';

sim(net_1,x)

bp（back propagation）网络是1986年由rumelhart和mccelland为首的科学家小组提出，是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。bp网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。bp神经网络模型拓扑结构包括输入层（input）、隐层(hide layer)和输出层(output layer)。

人工神经网络就是模拟人思维的第二种方式。这是一个非线性动力学系统，其特色在于信息的分布式存储和并行协同处理。虽然单个神经元的结构极其简单，功能有限，但大量神经元构成的网络系统所能实现的行为却是极其丰富多彩的。

人工神经网络首先要以一定的学习准则进行学习，然后才能工作。现以人工神经网络对手写“a”、“b”两个字母的识别为例进行说明，规定当“a”输入网络时，应该输出“1”，而当输入为“b”时，输出为“0”。

所以网络学习的准则应该是：如果网络作出错误的的判决，则通过网络的学习，应使得网络减少下次犯同样错误的可能性。首先，给网络的各连接权值赋予(0，1)区间内的随机值，将“a”所对应的图象模式输入给网络，网络将输入模式加权求和、与门限比较、再进行非线性运算，得到网络的输出。在此情况下，网络输出为“1”和“0”的概率各为50%，也就是说是完全随机的。这时如果输出为“1”(结果正确)，则使连接权值增大，以便使网络再次遇到“a”模式输入时，仍然能作出正确的判断。

如果输出为“0”(即结果错误)，则把网络连接权值朝着减小综合输入加权值的方向调整，其目的在于使网络下次再遇到“a”模式输入时，减小犯同样错误的可能性。如此 *** 作调整，当给网络轮番输入若干个手写字母“a”、“b”后，经过网络按以上学习方法进行若干次学习后，网络判断的正确率将大大提高。这说明网络对这两个模式的学习已经获得了成功，它已将这两个模式分布地记忆在网络的各个连接权值上。当网络再次遇到其中任何一个模式时，能够作出迅速、准确的判断和识别。一般说来，网络中所含的神经元个数越多，则它能记忆、识别的模式也就越多。

如图所示拓扑结构的单隐层前馈网络，一般称为三层前馈网或三层感知器，即：输入层、中间层（也称隐层）和输出层。它的特点是：各层神经元仅与相邻层神经元之间相互全连接，同层内神经元之间无连接，各层神经元之间无反馈连接，构成具有层次结构的前馈型神经网络系统。单计算层前馈神经网络只能求解线性可分问题，能够求解非线性问题的网络必须是具有隐层的多层神经网络。

神经网络的研究内容相当广泛，反映了多学科交叉技术领域的特点。主要的研究工作集中在以下几个方面：

（1）生物原型研究。从生理学、心理学、解剖学、脑科学、病理学等生物科学方面研究神经细胞、神经网络、神经系统的生物原型结构及其功能机理。

（2）建立理论模型。根据生物原型的研究，建立神经元、神经网络的理论模型。其中包括概念模型、知识模型、物理化学模型、数学模型等。

（3）网络模型与算法研究。在理论模型研究的基础上构作具体的神经网络模型，以实现计算机模拟或准备制作硬件，包括网络学习算法的研究。这方面的工作也称为技术模型研究。

（4）人工神经网络应用系统。在网络模型与算法研究的基础上，利用人工神经网络组成实际的应用系统，例如，完成某种信号处理或模式识别的功能、构作专家系统、制成机器人等等。

纵观当代新兴科学技术的发展历史，人类在征服宇宙空间、基本粒子，生命起源等科学技术领域的进程中历经了崎岖不平的道路。我们也会看到，探索人脑功能和神经网络的研究将伴随着重重困难的克服而日新月异。

神经网络可以用作分类、聚类、预测等。神经网络需要有一定量的历史数据，通过历史数据的训练，网络可以学习到数据中隐含的知识。在你的问题中，首先要找到某些问题的一些特征，以及对应的评价数据，用这些数据来训练神经网络。

虽然bp网络得到了广泛的应用，但自身也存在一些缺陷和不足，主要包括以下几个方面的问题。

首先，由于学习速率是固定的，因此网络的收敛速度慢，需要较长的训练时间。对于一些复杂问题，bp算法需要的训练时间可能非常长，这主要是由于学习速率太小造成的，可采用变化的学习速率或自适应的学习速率加以改进。

其次，bp算法可以使权值收敛到某个值，但并不保证其为误差平面的全局最小值，这是因为采用梯度下降法可能产生一个局部最小值。对于这个问题，可以采用附加动量法来解决。

再次，网络隐含层的层数和单元数的选择尚无理论上的指导，一般是根据经验或者通过反复实验确定。因此，网络往往存在很大的冗余性，在一定程度上也增加了网络学习的负担。

最后，网络的学习和记忆具有不稳定性。也就是说，如果增加了学习样本，训练好的网络就需要从头开始训练，对于以前的权值和阈值是没有记忆的。但是可以将预测、分类或聚类做的比较好的权值保存。