前馈神经网络、BP神经网络、卷积神经网络的区别与联系

区别：

一、计算方法不同

1、前馈神经网络：一种最简单的神经网络，各神经元分层排列。每个神经元只与前一层的神经元相连。接收前一层的输出，并输出给下一层．各层间没有反馈。

2、BP神经网络：是一种按照误差逆向传播算法训练的多层前馈神经网络。

3、卷积神经网络：包含卷积计算且具有深度结构的前馈神经网络。

二、作用不同

1、前馈神经网络：结构简单，应用广泛，能够以任意精度逼近任意连续函数及平方可积函数．而且可以精确实现任意有限训练样本集。

2、BP神经网络：具有很强的非线性映射能力和柔性的网络结构。网络的中间层数、各层的神经元个数可根据具体情况任意设定，并且随着结构的差异其性能也有所不同。

3、卷积神经网络：具有表征学习能力，能够按其阶层结构对输入信息进行平移不变分类。

三、用途不同

1、前馈神经网络：主要应用包括感知器网络、BP网络和RBF网络。

2、BP神经网络：1）函数逼近：用输入向量和相应的输出向量训练一个网络逼近一个函数；2）模式识别：用一个待定的输出向量将它与输入向量联系起来；3）分类：把输入向量所定义的合适方式进行分类；4）数据压缩：减少输出向量维数以便于传输或存储。

3、卷积神经网络：可应用于图像识别、物体识别等计算机视觉、自然语言处理、物理学和遥感科学等领域。

联系：

BP神经网络和卷积神经网络都属于前馈神经网络，三者都属于人工神经网络。因此，三者原理和结构相同。

扩展资料

人工神经网络的优点：

1、具有自学习功能。自学习功能对于预测有特别重要的意义。预期未来的人工神经网络计算机将为人类提供经济预测、市场预测、效益预测，其应用前途是很远大的。

2、具有联想存储功能。用人工神经网络的反馈网络就可以实现这种联想。

3、具有高速寻找优化解的能力。寻找一个复杂问题的优化解，往往需要很大的计算量，利用一个针对某问题而设计的反馈型人工神经网络，发挥计算机的高速运算能力，可很快找到优化解。

-前馈神经网络

-BP神经网络

-卷积神经网络

-人工神经网络

首先要知道你建立的这个模型的内部逻辑关系。。

1，确定隐层数，画出简要模型图。

2，确定采用什么样的神经网络来建立模型

3通过测试数据来训练模型。。

4根据测试训练得到的数据和实际数据进行比对，或者算出误差。从而修改隐层中的权值和阀值。

反复重复3-4。最后得到一个最优的模型。

大致是这样。。。楼主说的太概略。。。无法回答清楚请抱歉

建立BP神经网络预测 模型，可按下列步骤进行：

1、提供原始数据

2、训练数据预测数据提取及归一化

3、BP网络训练

4、BP网络预测

5、结果分析

现用一个实际的例子，来预测2015年和2016年某地区的人口数。

已知2009年——2014年某地区人口数分别为3583、4150、5062、4628、5270、5340万人

执行BP_main程序，得到

[ 2015,  5128631704710423946380615234375]

[ 2016, 51005797325642779469490051269531]

代码及图形如下。

完全可以，神经网络就是这样用的，极其适用于描述难以给出具体的数学表达式的非线性映射。通过历史样本对网络的训练，可以使网络映射该非线性关系，从而进行可靠性很高的预测。可以使用BP、Elman、RBF网络，这些网络效果较好。建议使用MATLAB编程，较为方便，因为该数学软件包含神经网络工具箱。

如果你装了Matlab，可以运行下附件的例子试一下。

BP网的工作原理是我们拿一批训练数据（输入样本和期望输出）训练出一个学习到这些样本特征的神经网络，你可以理解为是具有那些权值的神经网络，然后我们拿新的样本过来，若你需要的是去检测这个神经网络，那么要给的新样本必须没包含在训练样本中，而且也必须有输入和期望输出。已经学习好的神经网络（即已经训练好的网络）你给它新的输入，它运行之后给你的输出，就是你的预测。

由于目前研究的各种数学模型或多或少存在使用条件的局限性，或使用方法的复杂性等问题，预测效果均不十分理想，距离实际应用仍有较大差距。NNT是Matlab 中较为重要的一个工具箱，在实际应用中，BP 网络用的最广泛。神经网络具有综合能力强，对数据的要求不高，适时学习等突出优点，其 *** 作简便，节省时间，网络初学者即使不了解其算法的本质，也可以直接应用功能丰富的函数来实现自己的目的。因此，易于被基层单位预防工作者掌握和应用。以下几个问题是建立理想的因素与疾病之间的神经网络模型的关键：

（1）资料选取

应尽可能地选取所研究地区系统连续的因素与疾病资料，最好包括有疾病高发年和疾病低发年的数据。在收集影响因素时，要抓住主要影响伤寒、副伤寒的发病因素。

（2）疾病发病率分级

神经网络预测法是按发病率高低来进行预测，在定义发病率等级时，要结合专业知识及当地情况而定，并根据网络学习训练效果而适时调整，以使网络学习训练达到最佳效果。

（3）资料处理问题

在实践中发现，资料的特征往往很大程度地影响网络学习和训练的稳定性，因此，数据的应用、纳入、排出问题有待于进一步研究。

631 人工神经网络的基本原理

人工神经网络（ANN）是近年来发展起来的十分热门的交叉学科，它涉及生物、电子、计算机、数学和物理等学科，有着广泛的应用领域。人工神经网络是一种自适应的高度非线性动力系统，在网络计算的基础上，经过多次重复组合，能够完成多维空间的映射任务。神经网络通过内部连接的自组织结构，具有对数据的高度自适应能力，由计算机直接从实例中学习获取知识，探求解决问题的方法，自动建立起复杂系统的控制规律及其认知模型。

人工神经网络就其结构而言，一般包括输入层、隐含层和输出层，不同的神经网络可以有不同的隐含层数，但他们都只有一层输入和一层输出。神经网络的各层又由不同数目的神经元组成，各层神经元数目随解决问题的不同而有不同的神经元个数。

632 BP神经网络模型

BP网络是在1985年由PDP小组提出的反向传播算法的基础上发展起来的，是一种多层次反馈型网络（图617），它在输入和输出之间采用多层映射方式，网络按层排列，只有相邻层的节点直接相互连接，传递之间信息。在正向传播中，输入信息从输入层经隐含层逐层处理，并传向输出层，每层神经元的状态只影响下一层神经元的状态。如果输出层不能得到期望的输出结果，则转入反向传播，将误差信号沿原来的连同通路返回，通过修改各层神经元的权值，使误差信号最小。

BP网络的学习算法步骤如下（图618）：

图617 BP神经网络示意图

图618 BP算法流程图

第一步：设置初始参数ω和θ，（ω为初始权重，θ为临界值，均随机设为较小的数）。

第二步：将已知的样本加到网络上，利用下式可算出他们的输出值yi，其值为

岩溶地区地下水与环境的特殊性研究

式中：xi为该节点的输入；ωij为从I到j的联接权；θj为临界值；yj为实际算出的输出数据。

第三步：将已知输出数据与上面算出的输出数据之差（dj-yj）调整权系数ω，调整量为

ΔWij=ηδjxj

式中：η为比例系数；xj为在隐节点为网络输入，在输出点则为下层（隐）节点的输出（j=1，2…，n）；dj为已知的输出数据（学习样本训练数据）；δj为一个与输出偏差相关的值，对于输出节点来说有

δj=ηj（1-yj）（dj-yj）

对于隐节点来说，由于它的输出无法进行比较，所以经过反向逐层计算有

岩溶地区地下水与环境的特殊性研究

其中k指要把上层（输出层）节点取遍。误差δj是从输出层反向逐层计算的。各神经元的权值调整后为

ωij（t）=ωij（t-1）+Vωij

式中：t为学习次数。

这个算法是一个迭代过程，每一轮将各W值调整一遍，这样一直迭代下去，知道输出误差小于某一允许值为止，这样一个好的网络就训练成功了，BP算法从本质上讲是把一组样本的输入输出问题变为一个非线性优化问题，它使用了优化技术中最普遍的一种梯度下降算法，用迭代运算求解权值相当于学习记忆问题。

633 BP 神经网络模型在伤寒、副伤寒流行与传播预测中的应用

伤寒、副伤寒的传播与流行同环境之间有着一定的联系。根据桂林市1990年以来乡镇为单位的伤寒、副伤寒疫情资料，伤寒、副伤寒疫源地资料，结合现有资源与环境背景资料（桂林市行政区划、土壤、气候等）和社会经济资料（经济、人口、生活习惯等统计资料）建立人工神经网络数学模型，来逼近这种规律。

6331 模型建立

（1）神经网络的BP算法

BP网络是一种前馈型网络，由1个输入层、若干隐含层和1个输出层构成。如果输入层、隐含层和输出层的单元个数分别为n，q1，q2，m，则该三层网络网络可表示为BP（n，q1，q2，m），利用该网络可实现n维输入向量Xn=（X1，X2，…，Xn）T到m维输出向量Ym=（Y1，Y2，…，Ym）T的非线性映射。输入层和输出层的单元数n，m根据具体问题确定。

（2）样本的选取

将模型的输入变量设计为平均温度、平均降雨量、岩石性质、岩溶发育、地下水类型、饮用水类型、正规自来水供应比例、集中供水比例8个输入因子（表629），输出单元为伤寒副伤寒的发病率等级，共一个输出单元。其中q1，q2的值根据训练结果进行选择。

表629 桂林市伤寒副伤寒影响因素量化表

通过分析，选取在伤寒副伤寒有代表性的县镇在1994～2001年的环境参评因子作为样本进行训练。利用聚类分析法对疫情进行聚类分级（Ⅰ、Ⅱ、Ⅲ、Ⅳ），伤寒副伤寒发病最高级为Ⅳ（BP网络中输出定为4），次之的为Ⅲ（BP网络中输出定为3），以此类推，最低为Ⅰ（BP网络中输出定为1）

（3）数据的归一化处理

为使网络在训练过程中易于收敛，我们对输入数据进行了归一化处理，并将输入的原始数据都化为0～1之间的数。如将平均降雨量的数据乘以00001；将平均气温的数据乘以001；其他输入数据也按类似的方法进行归一化处理。

（4）模型的算法过程

假设共有P个训练样本，输入的第p个（p=1，2，…，P）训练样本信息首先向前传播到隐含单元上。

经过激活函数f（u）的作用得到隐含层1的输出信息：

岩溶地区地下水与环境的特殊性研究

经过激活函数f（u）的作用得到隐含层2的输出信息：

岩溶地区地下水与环境的特殊性研究

激活函数f（u）我们这里采用Sigmoid型，即

f（u）=1/[1+exp（-u）]（65）

隐含层的输出信息传到输出层，可得到最终输出结果为

岩溶地区地下水与环境的特殊性研究

以上过程为网络学习的信息正向传播过程。

另一个过程为误差反向传播过程。如果网络输出与期望输出间存在误差，则将误差反向传播，利用下式来调节网络权重和阈值：

岩溶地区地下水与环境的特殊性研究

式中：Δω（t）为t次训练时权重和阈值的修正；η称为学习速率，0＜η＜1；E为误差平方和。

岩溶地区地下水与环境的特殊性研究

反复运用以上两个过程，直至网络输出与期望输出间的误差满足一定的要求。

该模型算法的缺点：

1）需要较长的训练时间。由于一些复杂的问题，BP算法可能要进行几小时甚至更长的时间的训练，这主要是由于学习速率太小造成的，可采用变化的学习速率或自适应的学习速率加以改进。

2）完全不能训练。主要表现在网络出现的麻痹现象上，在网络的训练过程中，当其权值调的过大，可能使得所有的或大部分神经元的加权总和n偏大，这使得激活函数的输入工作在S型转移函数的饱和区，从而导致其导数f′（n）非常小，从而使得对网络权值的调节过程几乎停顿下来。

3）局部极小值。BP算法可以使网络权值收敛到一个解，但它并不能保证所求为误差超平面的全局最小解，很可能是一个局部极小解。这是因为BP算法采用的是梯度下降法，训练从某一起点沿误差函数的斜面逐渐达到误差的最小值。

考虑到以上算法的缺点，对模型进行了两方面的改进：

（1）附加动量法

为了避免陷入局部极小值，对模型进行了改进，应用了附加动量法。附加动量法在使网络修正及其权值时，不仅考虑误差在梯度上的作用，而且考虑在误差曲面上变化趋势的影响，其作用如同一个低通滤波器，它允许网络忽略网络上的微小变化特性。在没有附加动量的作用下，网络可能陷入浅的局部极小值，利用附加动量的作用则有可能滑过这些极小值。

该方法是在反向传播法的基础上在每一个权值的变化上加上一项正比于前次权值变化量的值，并根据反向传播法来产生心的权值变化。促使权值的调节向着误差曲面底部的平均方向变化，从而防止了如Δω（t）=0的出现，有助于使网络从误差曲面的局部极小值中跳出。

这种方法主要是把式（67）改进为

岩溶地区地下水与环境的特殊性研究

式中：A为训练次数；a为动量因子，一般取095左右。

训练中对采用动量法的判断条件为

岩溶地区地下水与环境的特殊性研究

（2）自适应学习速率

对于一个特定的问题，要选择适当的学习速率不是一件容易的事情。通常是凭经验或实验获取，但即使这样，对训练开始初期功效较好的学习速率，不见得对后来的训练合适。所以，为了尽量缩短网络所需的训练时间，采用了学习速率随着训练变化的方法来找到相对于每一时刻来说较差的学习速率。

下式给出了一种自适应学习速率的调整公式：

岩溶地区地下水与环境的特殊性研究

通过以上两个方面的改进，训练了一个比较理想的网络，将动量法和自适应学习速率结合起来，效果要比单独使用要好得多。

6332 模型的求解与预测

采用包含了2个隐含层的神经网络BP（4，q1，q2，1），隐含层单元数q1，q2与所研究的具体问题有关，目前尚无统一的确定方法，通常根据网络训练情况采用试错法确定。在满足一定的精度要求下一般认小的数值，以改善网络的概括推论能力。在训练中网络的收敛采用输出值Ykp与实测值tp的误差平方和进行控制：

岩溶地区地下水与环境的特殊性研究

1）将附加动量法和自适应学习速率结合应用，分析桂林市36个乡镇地质条件各因素对伤寒副伤寒发病等级的影响。因此训练样本为36个，第一个隐含层有19个神经元，第二个隐含层有11个神经元，学习速率为0001。

A程序（略）。

B网络训练。在命令窗口执行运行命令，网络开始学习和训练，其学习和训练过程如下（图619）。

图619 神经网络训练过程图

C模型预测。

a输入未参与训练的乡镇（洞井乡、两水乡、延东乡、四塘乡、严关镇、灵田乡）地质条件数据。

b预测。程序运行后网络输出预测值a3，与已知的实际值进行比较，其预测结果整理后见（表630）。经计算，对6个乡镇伤寒副伤寒发病等级的预测符合率为833%。

表630 神经网络模型预测结果与实际结果比较

c地质条件改进方案。在影响疾病发生的地质条件中，大部分地质条件是不会变化的，而改变发病地区的饮用水类型是可以人为地通过改良措施加以实施的一个因素。因此，以灵田乡为例对发病率较高的乡镇进行分析，改变其饮用水类型，来看发病等级的变化情况。

表631显示，在其他地质条件因素不变的情况下，改变当地的地下水类型（从原来的岩溶水类型改变成基岩裂隙水）则将发病等级从原来的最高级4级，下降为较低的2级，效果是十分明显的。因此，今后在进行伤寒副伤寒疾病防治的时候，可以通过改变高发区饮用水类型来客观上减少疫情的发生。

表631 灵田乡改变饮用水类型前后的预测结果

2）选取桂林地区1994～2000年月平均降雨量、月平均温度作为输入数据矩阵，进行样本训练，设定不同的隐含层单元数，对各月份的数据进行BP网络训练。在隐含层单元数q1=13，q2=9，经过46383次数的训练，误差达到精度要求，学习速率002。

A附加动量法程序（略）。

B网络训练。在命令窗口执行运行命令，网络开始学习和训练，其学习和训练过程如下（图620）。

C模型预测。

a输入桂林市2001年1～12月桂林市各月份的平均气温和平均降雨量。预测程度（略）。

b预测。程序运行后网络输出预测值a2，与已知的实际值进行比较，其预测结果整理后见（表632）。经计算，对2001年1～12月伤寒副伤寒发病等级进行预测，12个预测结果中，有9个符合，符合率为75%。

图620 神经网络训练过程图

表632 神经网络模型预测结果与实际值比较

6333 模型的评价

本研究采用BP神经网络对伤寒、副伤寒发病率等级进行定量预测，一方面引用数量化理论对不确定因素进行量化处理；另一方面利用神经网络优点，充分考虑各影响因素与发病率之间的非线性映射。

实际应用表明，神经网络定量预测伤寒、副伤寒发病率是理想的。

其主要优点有：

1）避免了模糊或不确定因素的分析工作和具体数学模型的建立工作。

2）完成了输入和输出之间复杂的非线性映射关系。

3）采用自适应的信息处理方式，有效减少人为的主观臆断性。

虽然如此，但仍存在以下缺点：

1）学习算法的收敛速度慢，通常需要上千次或更多，训练时间长。

2）从数学上看，BP算法有可能存在局部极小问题。

本模型具有广泛的应用范围，可以应用在很多领域。从上面的结果可以看出，实际和网络学习数据总体较为接近，演化趋势也基本一致。说明选定的气象因子、地质条件因素为神经单元获得的伤寒、副伤寒发病等级与实际等级比较接近，从而证明伤寒、副伤寒流行与地理因素的确存在较密切的相关性。