bp神经网络的缺点

1)局部极小化问题：从数学角度看，传统的BP神经网络为一种局部搜索的优化方法，它要解决的是一个复杂非线性化问题，网络的权值是通过沿局部改善的方向逐渐进行调整的，这样会使算法陷入局部极值，权值收敛到局部极小点，从而导致网络训练失败。加上BP神经网络对初始网络权重非常敏感，以不同的权重初始化网络，其往往会收敛于不同的局部极小，这也是很多学者每次训练得到不同结果的根本原因。

2)BP神经网络算法的收敛速度慢：由于BP神经网络算法本质上为梯度下降法，它所要优化的目标函数是非常复杂的，因此，必然会出现“锯齿形现象”，这使得BP算法低效；又由于优化的目标函数很复杂，它必然会在神经元输出接近0或1的情况下，出现一些平坦区，在这些区域内，权值误差改变很小，使训练过程几乎停顿。

3)BP神经网络结构选择不一：BP神经网络结构的选择至今尚无一种统一而完整的理论指导，一般只能由经验选定。网络结构选择过大，训练中效率不高，可能出现过拟合现象，造成网络性能低，容错性下降，若选择过小，则又会造成网络可能不收敛。而网络的结构直接影响网络的逼近能力及推广性质。因此，应用中如何选择合适的网络结构是一个重要的问题。

4)应用实例与网络规模的矛盾问题：BP神经网络难以解决应用问题的实例规模和网络规模间的矛盾问题，其涉及到网络容量的可能性与可行性的关系问题，即学习复杂性问题。

5)BP神经网络预测能力和训练能力的矛盾问题：预测能力也称泛化能力或者推广能力，而训练能力也称逼近能力或者学习能力。一般情况下，训练能力差时，预测能力也差。

改进点主要在以下几个方面

1激励函数的坡度

———————误差曲面的平台和不收敛现象

————————————————激励函数中引入陡度因子，分段函数做激励函数

2误差曲面

——————误差平方做目标函数，逼近速度慢，过拟合

————————————————标准误差函数中加入惩罚项

————————————————信息距离和泛化能力之间的关系，构建新的神经网络学习函数

3网络初始权值的选取

—————————通常在0,1间选取，易陷入局部最小

—————————————————复合算法优化初始权值

—————————————————Cauchy不等式和线性代数方法得最优初始权值

4改进优化算法

————————标准BP采用梯度下降法，局部最小收敛慢

——————————————————共扼梯度法、Newton法、Gauss一Ncwton法、Lvenber_Marquardt法、快速传播算法

——————————————————前馈网络学习算法，二阶学习算法，三项BP算法，最优学习参数的BP算法。

5优化网络结构

————————拓扑结构中网络层数、各层节点数、节点连接方式的不确定性

——————————————构造法和剪枝法（权衰减法、灵敏度计算方法等）

——————————————网络结构随样本空间进行变换，简化网络结构

6混合智能算法

————————与遗传算法、进化计算、人工免疫算法、蚁群算法、微粒群算法、

————————模糊数学、小波理论、混沌理论。细胞神经网络

　　MATLAB中文论坛2010年出过一本书，北航出版社的，叫《MATLAB神经网络30个案例分析 (豆瓣)》。我觉得把它作为入门书挺好的，每一章配有视频和代码，可以依样画葫芦。刚刚顺手还看到了另一本书《MATLAB智能算法30个案例分析》，看目录貌似内容也比较接近的。

　　《神经网络》包含的30个例子：

　　P神经网络的数据分类——语音特征信号分类

　　BP神经网络的非线性系统建模——非线性函数拟合

　　遗传算法优化BP神经网络——非线性函数拟合

　　神经网络遗传算法函数极值寻优——非线性函数极值寻优

　　基于BP_Adaboost的强分类器设计——公司财务预警建模

　　PID神经元网络解耦控制算法——多变量系统控制

　　RBF网络的回归——非线性函数回归的实现

　　GRNN的数据预测——基于广义回归神经网络的货运量预测

　　离散Hopfield神经网络的联想记忆——数字识别

　　离散Hopfield神经网络的分类——高校科研能力评价

　　连续Hopfield神经网络的优化——旅行商问题优化计算

　　SVM的数据分类预测——意大利葡萄酒种类识别

　　SVM的参数优化——如何更好的提升分类器的性能

　　SVM的回归预测分析——上证指数开盘指数预测

　　SVM的信息粒化时序回归预测——上证指数开盘指数变化趋势和变化空间预测

　　自组织竞争网络在模式分类中的应用——患者癌症发病预测

　　SOM神经网络的数据分类——柴油机故障诊断

　　Elman神经网络的数据预测——电力负荷预测模型研究

　　概率神经网络的分类预测——基于PNN的变压器故障诊断

　　神经网络变量筛选——基于BP的神经网络变量筛选

　　LVQ神经网络的分类——乳腺肿瘤诊断

　　LVQ神经网络的预测——人脸朝向识别

　　小波神经网络的时间序列预测——短时交通流量预测

　　模糊神经网络的预测算法——嘉陵江水质评价

　　广义神经网络的聚类算法——网络入侵聚类

　　粒子群优化算法的寻优算法——非线性函数极值寻优

　　遗传算法优化计算——建模自变量降维

　　基于灰色神经网络的预测算法研究——订单需求预测

　　基于Kohonen网络的聚类算法——网络入侵聚类

　　神经网络GUI的实现——基于GUI的神经网络拟合、模式识别、聚类