粒子群优化算法的PSO

演化计算可以用来研究神经网络的三个方面：网络连接权重，网络结构(网络拓扑结构，传递函数)，网络学习算法。

不过大多数这方面的工作都集中在网络连接权重，和网络拓扑结构上。在GA中，网络权重和/或拓扑结构一般编码为染色体(Chromosome)，适应函数(fitness function)的选择一般根据研究目的确定。例如在分类问题中，错误分类的比率可以用来作为适应值。 这里用一个简单的例子说明PSO训练神经网络的过程。这个例子使用分类问题的基准函数 (Benchmark function)IRIS数据集。(Iris 是一种鸢尾属植物) 在数据记录中，每组数据包含Iris花的四种属性：萼片长度，萼片宽度，花瓣长度，和花瓣宽度，三种不同的花各有50组数据 这样总共有150组数据或模式。

我们用3层的神经网络来做分类。现在有四个输入和三个输出。所以神经网络的输入层有4个节点，输出层有3个节点我们也可以动态调节隐含层节点的数目，不过这里我们假定隐含层有6个节点。我们也可以训练神经网络中其他的参数。不过这里我们只是来确定网络权重。粒子就表示神经网络的一组权重，应该是46+63=42个参数。权重的范围设定为[-100，100] (这只是一个例子，在实际情况中可能需要试验调整)在完成编码以后，我们需要确定适应函数。对于分类问题，我们把所有的数据送入神经网络，网络的权重有粒子的参数决定。然后记录所有的错误分类的数目作为那个粒子的适应值。现在我们就利用PSO来训练神经网络来获得尽可能低的错误分类数目。PSO本身并没有很多的参数需要调整。所以在实验中只需要调整隐含层的节点数目和权重的范围以取得较好的分类效果。

优点：PSO同遗传算法类似，是一种基于迭代的优化算法。系统初始化为一组随机解，通过迭代搜寻最优值。同遗传算法比较，PSO的优势在于简单容易实现，并且没有许多参数需要调整。

缺点：在某些问题上性能并不是特别好。网络权重的编码而且遗传算子的选择有时比较麻烦。最近已经有一些利用PSO来代替反向传播算法来训练神经网络的论文。

扩展资料：

注意事项：

基础粒子群算法步骤较为简单。粒子群优化算法是由一组粒子在搜索空间中运动，受其自身的最佳过去位置pbest和整个群或近邻的最佳过去位置gbest的影响。

对于有些改进算法，在速度更新公式最后一项会加入一个随机项，来平衡收敛速度与避免早熟。并且根据位置更新公式的特点，粒子群算法更适合求解连续优化问题。

-粒子群算法

第1章 BP神经网络的数据分类——语音特征信号分类1

本案例选取了民歌、古筝、摇滚和流行四类不同音乐，用BP神经网络实现对这四类音乐的有效分类。

第2章 BP神经网络的非线性系统建模——非线性函数拟合11

本章拟合的非线性函数为y=x21+x22。

第3章 遗传算法优化BP神经网络——非线性函数拟合21

根据遗传算法和BP神经网络理论，在MATLAB软件中编程实现基于遗传算法优化的BP神经网络非线性系统拟合算法。

第4章 神经网络遗传算法函数极值寻优——非线性函数极值寻优36

对于未知的非线性函数，仅通过函数的输入输出数据难以准确寻找函数极值。这类问题可以通过神经网络结合遗传算法求解，利用神经网络的非线性拟合能力和遗传算法的非线性寻优能力寻找函数极值。

第5章 基于BP_Adaboost的强分类器设计——公司财务预警建模45

BP_Adaboost模型即把BP神经网络作为弱分类器，反复训练BP神经网络预测样本输出，通过Adaboost算法得到多个BP神经网络弱分类器组成的强分类器。

第6章 PID神经元网络解耦控制算法——多变量系统控制54

根据PID神经元网络控制器原理，在MATLAB中编程实现PID神经元网络控制多变量耦合系统。

第7章 RBF网络的回归——非线性函数回归的实现65

本例用RBF网络拟合未知函数，预先设定一个非线性函数，如式y=20+x21-10cos（2πx1）+x22-10cos（2πx2）所示，假定函数解析式不清楚的情况下，随机产生x1,x2和由这两个变量按上式得出的y。将x1,x2作为RBF网络的输入数据，将y作为RBF网络的输出数据，分别建立近似和精确RBF网络进行回归分析，并评价网络拟合效果。

第8章 GRNN的数据预测——基于广义回归神经网络的货运量预测73

根据货运量影响因素的分析，分别取国内生产总值（GDP），工业总产值，铁路运输线路长度，复线里程比重，公路运输线路长度，等级公路比重，铁路货车数量和民用载货汽车数量8项指标因素作为网络输入，以货运总量，铁路货运量和公路货运量3项指标因素作为网络输出，构建GRNN，由于训练数据较少，采取交叉验证方法训练GRNN神经网络，并用循环找出最佳的SPREAD。

第9章 离散Hopfield神经网络的联想记忆——数字识别81

根据Hopfield神经网络相关知识，设计一个具有联想记忆功能的离散型Hopfield神经网络。要求该网络可以正确地识别0~9这10个数字，当数字被一定的噪声干扰后，仍具有较好的识别效果。

第10章 离散Hopfield神经网络的分类——高校科研能力评价90

某机构对20所高校的科研能力进行了调研和评价，试根据调研结果中较为重要的11个评价指标的数据，并结合离散Hopfield神经网络的联想记忆能力，建立离散Hopfield高校科研能力评价模型。

第11章 连续Hopfield神经网络的优化——旅行商问题优化计算100

现对于一个城市数量为10的TSP问题，要求设计一个可以对其进行组合优化的连续型Hopfield神经网络模型，利用该模型可以快速地找到最优（或近似最优）的一条路线。

第12章 SVM的数据分类预测——意大利葡萄酒种类识别112

将这178个样本的50%做为训练集,另50%做为测试集,用训练集对SVM进行训练可以得到分类模型,再用得到的模型对测试集进行类别标签预测。

第13章 SVM的参数优化——如何更好的提升分类器的性能122

本章要解决的问题就是仅仅利用训练集找到分类的最佳参数，不但能够高准确率的预测训练集而且要合理的预测测试集，使得测试集的分类准确率也维持在一个较高水平，即使得得到的SVM分类器的学习能力和推广能力保持一个平衡，避免过学习和欠学习状况发生。

第14章 SVM的回归预测分析——上证指数开盘指数预测133

对上证指数从19901220-20090819每日的开盘数进行回归分析。

第15章 SVM的信息粒化时序回归预测——上证指数开盘指数变化趋势和变化空间预测141

在这个案例里面我们将利用SVM对进行模糊信息粒化后的上证每日的开盘指数进行变化趋势和变化空间的预测。

若您对此书内容有任何疑问，可以凭在线交流卡登录中文论坛与作者交流。

第16章 自组织竞争网络在模式分类中的应用——患者癌症发病预测153

本案例中给出了一个含有60个个体基因表达水平的样本。每个样本中测量了114个基因特征，其中前20个样本是癌症病人的基因表达水平的样本(其中还可能有子类), 中间的20个样本是正常人的基因表达信息样本, 余下的20个样本是待检测的样本(未知它们是否正常)。以下将设法找出癌症与正常样本在基因表达水平上的区别，建立竞争网络模型去预测待检测样本是癌症还是正常样本。

第17章SOM神经网络的数据分类——柴油机故障诊断159

本案例中给出了一个含有8个故障样本的数据集。每个故障样本中有8个特征，分别是前面提及过的：最大压力(P1)、次最大压力(P2)、波形幅度(P3)、上升沿宽度(P4)、波形宽度(P5)、最大余波的宽度(P6)、波形的面积(P7)、起喷压力(P8)，使用SOM网络进行故障诊断。

第18章Elman神经网络的数据预测——电力负荷预测模型研究170

根据负荷的历史数据，选定反馈神经网络的输入、输出节点，来反映电力系统负荷运行的内在规律，从而达到预测未来时段负荷的目的。

第19章 概率神经网络的分类预测——基于PNN的变压器故障诊断176

本案例在对油中溶解气体分析法进行深入分析后，以改良三比值法为基础，建立基于概率神经网络的故障诊断模型。

第20章 神经网络变量筛选——基于BP的神经网络变量筛选183

本例将结合BP神经网络应用平均影响值（MIV，Mean Impact Value）方法来说明如何使用神经网络来筛选变量，找到对结果有较大影响的输入项，继而实现使用神经网络进行变量筛选。

第21章 LVQ神经网络的分类——乳腺肿瘤诊断188

威斯康星大学医学院经过多年的收集和整理，建立了一个乳腺肿瘤病灶组织的细胞核显微图像数据库。数据库中包含了细胞核图像的10个量化特征（细胞核半径、质地、周长、面积、光滑性、紧密度、凹陷度、凹陷点数、对称度、断裂度），这些特征与肿瘤的性质有密切的关系。因此，需要建立一个确定的模型来描述数据库中各个量化特征与肿瘤性质的关系，从而可以根据细胞核显微图像的量化特征诊断乳腺肿瘤是良性还是恶性。

第22章 LVQ神经网络的预测——人脸朝向识别198

现采集到一组人脸朝向不同角度时的图像，图像来自不同的10个人，每人5幅图像，人脸的朝向分别为：左方、左前方、前方、右前方和右方。试创建一个LVQ神经网络，对任意给出的人脸图像进行朝向预测和识别。

第23章 小波神经网络的时间序列预测——短时交通流量预测208

根据小波神经网络原理在MATLAB环境中编程实现基于小波神经网络的短时交通流量预测。

第24章 模糊神经网络的预测算法——嘉陵江水质评价218

根据模糊神经网络原理，在MATLAB中编程实现基于模糊神经网络的水质评价算法。

第25章 广义神经网络的聚类算法——网络入侵聚类229

模糊聚类虽然能够对数据聚类挖掘，但是由于网络入侵特征数据维数较多，不同入侵类别间的数据差别较小，不少入侵模式不能被准确分类。本案例采用结合模糊聚类和广义神经网络回归的聚类算法对入侵数据进行分类。

第26章 粒子群优化算法的寻优算法——非线性函数极值寻优236

根据PSO算法原理，在MATLAB中编程实现基于PSO算法的函数极值寻优算法。

第27章 遗传算法优化计算——建模自变量降维243

在第21章中，建立模型时选用的每个样本（即病例）数据包括10个量化特征（细胞核半径、质地、周长、面积、光滑性、紧密度、凹陷度、凹陷点数、对称度、断裂度）的平均值、10个量化特征的标准差和10个量化特征的最坏值（各特征的3个最大数据的平均值）共30个数据。明显，这30个输入自变量相互之间存在一定的关系，并非相互独立的，因此，为了缩短建模时间、提高建模精度，有必要将30个输入自变量中起主要影响因素的自变量筛选出来参与最终的建模。

第28章 基于灰色神经网络的预测算法研究——订单需求预测258

根据灰色神经网络原理，在MATLAB中编程实现基于灰色神经网络的订单需求预测。

第29章 基于Kohonen网络的聚类算法——网络入侵聚类268

根据Kohonen网络原理，在MATLAB软件中编程实现基于Kohonen网络的网络入侵分类算法。

第30章 神经网络GUI的实现——基于GUI的神经网络拟合、模式识别、聚类277

为了便于使用MATLAB编程的新用户，快速地利用神经网络解决实际问题，MATLAB提供了一个基于神经网络工具箱的图形用户界面。考虑到图形用户界面带来的方便和神经网络在数据拟合、模式识别、聚类各个领域的应用，MATLAB R2009a提供了三种神经网络拟合工具箱（拟合工具箱/模式识别工具箱/聚类工具箱）。

从上面的例子我们可以看到应用PSO解决优化问题的过程中有两个重要的步骤: 问题解的编码和适应度函数PSO的一个优势就是采用实数编码, 不需要像遗传算法一样是二进制编码(或者采用针对实数的遗传 *** 作例如对于问题 f(x) = x1^2 + x2^2+x3^2 求解,粒子可以直接编码为 (x1, x2, x3), 而适应度函数就是f(x) 接着我们就可以利用前面的过程去寻优这个寻优过程是一个叠代过程, 中止条件一般为设置为达到最大循环数或者最小错误

PSO中并没有许多需要调节的参数,下面列出了这些参数以及经验设置

粒子数: 一般取 20–40 其实对于大部分的问题10个粒子已经足够可以取得好的结果, 不过对于比较难的问题或者特定类别的问题, 粒子数可以取到100 或 200

粒子的长度: 这是由优化问题决定, 就是问题解的长度

粒子的范围: 由优化问题决定,每一维可是设定不同的范围

Vmax: 最大速度,决定粒子在一个循环中最大的移动距离,通常设定为粒子的范围宽度,例如上面的例子里,粒子 (x1, x2, x3) x1 属于 [-10, 10], 那么 Vmax 的大小就是 20

学习因子: c1 和 c2 通常等于 2 不过在文献中也有其他的取值 但是一般 c1 等于 c2 并且范围在0和4之间

中止条件: 最大循环数以及最小错误要求 例如, 在上面的神经网络训练例子中, 最小错误可以设定为1个错误分类, 最大循环设定为2000, 这个中止条件由具体的问题确定

全局PSO和局部PSO: 我们介绍了两种版本的粒子群优化算法: 全局版和局部版 前者速度快不过有时会陷入局部最优 后者收敛速度慢一点不过很难陷入局部最优 在实际应用中, 可以先用全局PSO找到大致的结果,再用局部PSO进行搜索

另外的一个参数是惯性权重, 由Shi 和Eberhart提出, 有兴趣的可以参考他们1998年的论文(题目: A modified particle swarm optimizer)。

前言

第1章绪论1

11人工智能的起源与发展1

12人工智能学术流派4

13人工智能的研究与应用领域6

第2章知识表示和推理10

21知识和知识表示的基本概念10

22命题逻辑12

221语法13

222语义13

223命题演算形式系统14

23谓词逻辑15

231语法16

232语义19

24归结推理23

241子句集及其简化24

242海伯伦定理27

243Robinson归结原理31

244利用Robinson归结原理实现定

理证明35

245应用归结原理求解问题39

25产生式系统40

251产生式系统的组成部分42

252产生式系统的控制策略42

253产生式系统的推理方式43

26语义网络表示法44

261语义网络的结构44

262基本命题的语义网络表示45

263语义网络的知识表示方法47

264语义网络表示法的特点51

27框架表示法52

28状态空间表示法54

29与或图表示法55

第3章图搜索技术56

31问题的提出56

32状态图搜索58

321状态图搜索分类58

322穷举式搜索59

323启发式搜索62

324A算法及A算法66

33与或图搜索68

331与或图68

332与或图搜索举例69

34博弈图搜索73

341博弈图73

342极大极小分析法74

343剪枝技术76

第4章专家系统78

41专家系统的概述78

411专家系统的概念与特点78

412专家系统和传统程序的区别78

42专家系统的结构79

43专家系统的设计原则与开发

过程80

431专家系统的设计原则80

432专家系统的开发过程81

44专家系统评价82

45专家系统开发工具82

451骨架型开发工具83

452语言型开发工具83

453构造辅助工具84

454支撑环境84

46Prolog语言85

461Prolog语言的特点85

462基本Prolog的程序结构86

463Prolog程序的运行机理88

464Turbo Prolog 程序结构90

465Turbo Prolog的数据与表达式90

466Visual Prolog介绍96

467PIE：Prolog 的推理机100

第5章模糊理论及应用102

51模糊理论的产生与发展102

52模糊理论的数学基础103

521经典集合论的基本概念103

522模糊集合的基本概念104

523模糊关系与复合运算107

53模糊逻辑109

531模糊条件语句109

532模糊推理113

54模糊控制系统及模糊控制器115

541模糊控制系统的基本结构115

542模糊控制器116

543模糊控制器的设计117

544模糊PID控制器的设计123

55模糊聚类分析与模糊模式

识别126

551模糊聚类分析127

552模糊模式识别131

第6章机器学习和神经网络133

61机器学习的基本概念和发

展史133

62经典机器学习方法134

63基于神经网络的学习137

631神经网络概述137

632人工神经网络模型138

633BP神经网络141

634RBF神经网络146

635CMAC神经网络150

636Hopfield神经网络152

637模糊神经网络157

638其他类型的神经网络介绍160

第7章混沌理论与混沌神经网络163

71混沌研究的起源与发展163

72混沌的基本特性164

73通往混沌的道路165

74混沌的识别166

741定性分析法167

742定量分析法168

75混沌应用169

76混沌神经网络171

761暂态混沌神经网络172

762其他类型的混沌神经网络173

763GS混沌神经网络应用实例174

第8章智能优化计算179

81优化问题的分类179

82优化算法分类180

83梯度优化计算181

84混沌优化181

85模拟退火算法184

86遗传算法185

861遗传算法中的关键参数与

*** 作185

862遗传算法中的基本流程192

863遗传算法的改进193

864遗传算法的实现194

87蚁群算法195

871蚁群算法的研究现状195

872基本蚁群算法的工作原理196

88粒子群算法及应用198

881基本粒子群优化算法198

882粒子群优化算法的拓扑结构202

89鱼群算法简介204

810混合优化计算方法简介204

参考文献206