优化算法笔记（七）差分进化算法

（以下描述，均不是学术用语，仅供大家快乐的阅读）
差分进化算法（Differential Evolution Algorithm，DE）是一种基于群体的进化算法，它模拟了群体中的个体的合作与竞争的过程。算法原理简单，控制参数少，只有交叉概率和缩放比例因子，鲁棒性强，易于实现。
差分进化算法中，每一个个体的基因表示待求问题的一个候选解。每次迭代将先进行变异 *** 作，选择一个或多个个体的基因作为基，然后选择不同的个体的差分来构成差分基因，最后将作为基的基因与差分基因相加来得出新的个体。交叉 *** 作将新的个体将于父代的对应个体交叉，然后进行选择 *** 作，比较交叉后的个体与父代的对应个体，选择较优的个体保留至下一代。在迭代完成之后将选择种群中最优个体的基因作为解。
差分进化算法可以算是我所使用过的优化算法中大魔王级别的算法，虽然它每个方面都没有强到离谱，但是综合起来的效果好于大多数算法。它就像一个每个科目都能考到90分（百分制）的学生，虽然没门课都不是最优秀的，但是论综合，论总分，它有极大的概率是第一名。

在我研究优化算法的小路上，我的目标就是找到一个能打败大魔王或是能在大多数方面压制魔王的算法。

这次的主角就选魔王军吧（或者蚁王军，为了与蚁群算法区别还是叫魔王军吧），个体则称之为魔王兵。
魔王兵的能力取决于它们的基因，它们可以根据环境或者需要改变自己的基因使得自己更加强大，更方便的处理问题，问题的维度与基因维度相同。

表示第i个魔王兵在进化了第t次后的基因，该个体有D位基因。
与遗传算法同为进化算法的差分进化算法，它们的 *** 作（算子）也都非常相似的，都是交叉，变异和选择，流程也几乎一样（遗传算法先交叉后变异，差分进化算法先变异后交叉）。

说到差分进化算法中的变异，我就想到一句论语 “三人行，必有我师焉。择其善者而从之，其不善者而改之。” ，其实这句论语已经向我们说明了差分进化算法的整个流程：
“三人行，必有我师焉”——变异，交叉。
“择其善者而从之，其不善者而改之”——选择。
差分进化算法中，当一个魔王兵变异时，它会先找来3个小伙伴，当然是随机找来3个小伙伴，避免同化。在一个小伙伴的基因上加上另外两个小伙伴基因之差作为自己的目标基因。其变异公式如下：

表示第i个魔王兵找到了编号为r1、r2和r3的三个魔王兵，当然了i、r1、r2、r3为互不相同的整数，F为缩放比例因子，通常 ，一般取F=05。 为第i个魔王兵交叉后的目标基因图纸，不过这是个半成品，再经过交叉后，目标基因图纸才算完成。
其实现在我们已经有了5个基因图纸了 ，接下来将进行交叉 *** 作。由于变异 *** 作，差分进化算法的种群中个体数至少为4，即魔王军中至少有4个小兵。

交叉 *** 作中，魔王兵i会将目标基因图纸 进行加工得到 ，加工过程如下：

其中 。 为交叉概率，其值越大，发生交叉的概率越大，一般取 。 为{1,2,…,D}中的随机整数，其作用是保证交叉 *** 作中至少有一维基因来自变异 *** 作产生的基因，不能让交叉 *** 作的努力白费。
从公式上可以看出交叉 *** 作实际上是从变异 *** 作得出的基因图纸上选择至少一位基因来替换自己的等位基因，得到最终的基因图纸。

选择 *** 作相对简单，魔王兵i拿到了最终的基因图纸 ，大喊一声，进化吧，魔王兵i的基因改变了。它拿出了能力测量器fitness function,如果发现自己变强了，那么就将基因 保留到下一代，否则它选择放弃进化，让自己还原成 。

实验又来啦，还是那个实验 ，简单、易算、好画图。
实验1 ：参数如下

图中可以看出在第20代时，群体已经非常集中了，在来看看最终得出的结果。

这结果真是好到令人发指，恶魔在心中低语“把其他的优化算法都丢掉吧”。不过别往心里去，任何算法都有优缺点，天下没有免费的午餐，要想获得某种能力必须付出至少相应的代价。
实验2：
将交叉率CR设为0,即每次交叉只选择保留一位变异基因。

看看了看图，感觉跟实验1中相比没有什么变化，那我们再来看看结果。

结果总体来说比实验1好了一个数量级。为什么呢？个人感觉应该是每次只改变一位基因的局部搜索能力比改变多位基因更强。下面我们将交叉率CR设为1来看看是否是这样。
实验3：
将交叉率CR设为1,即每次交叉只选择保留一位原有基因。

实验3的图与实验1和实验2相比好像也没什么差别,只是收敛速度好像快了那么一点点。再来看看结果。

发现结果比实验2的结果还要好？那说明了实验2我得出的结论是可能是错误的，交叉率在该问题上对差分进化算法的影响不大，它们结果的差异可能只是运气的差异，毕竟是概率算法。
实验4：
将变异放缩因子设为0，即变异只与一个个体有关。

收敛速度依然很快，不过怎么感觉结果不对，而且个体收敛的路径好像遗传算法，当F=0，时，差分进化算法退化为了没有变异、选择 *** 作的遗传算法，结果一定不会太好。

果然如此。下面我们再看看F=2时的实验。
实验5：
将变异放缩因子设为2。

实验5的图可以明显看出，群体的收敛速度要慢了许多，到第50代时，种群还未完全收敛于一点，那么在50代时其结果也不会很好，毕竟算法还未收敛就停止进化了。

结果不算很好但也算相对稳定。

通过上面5个实验，我们大致了解了差分进化算法的两个参数的作用。
交叉率CR，影响基因取自变异基因的比例，由于至少要保留一位自己的基因和变异的基因导致CR在该问题上对算法性能的影响不大（这个问题比较简单，维度较低，影响不大）。
变异放缩因子F，影响群体的收敛速度，F越大收敛速度越慢，F绝对值越小收敛速度越快，当F=0是群体之间只会交换基因，不会变异基因。

差分进化算法大魔王已经如此强大了，那么还有什么可以改进的呢？当然有下面一一道来。
方案1 将3人行修改为5人行，以及推广到2n+1人行。
实验6：
将3人行修改为5人行，变异公式如下：

五人行的实验图看起来好像与之前并没有太大的变化，我们再来看看结果。

结果没有明显提升，反而感觉比之前的结果差了。反思一下五人行的优缺点，优点，取值范围更大，缺点，情况太多，减慢搜索速度。

可以看出算法的收敛速度比之前的变慢了一点，再看看结果。

比之前差。

差分进化算法的学习在此也告一段落。差分进化算法很强大，也很简单、简洁，算法的描述都充满了美感，不愧是大魔王。不过这里并不是结束，这只是个开始，终将找到打败大魔王的方法，让新的魔王诞生。
由于差分进化算法足够强，而文中实验的问题较为简单导致算法的改进甚至越改越差（其实我也不知道改的如何，需要大量实验验证）。在遥远的将来，也会有更加复杂的问题来检验魔王的能力，总之，后会无期。
以下指标纯属个人yy,仅供参考

目录
上一篇 优化算法笔记（六）遗传算法
下一篇 优化算法笔记（八）人工蜂群算法

优化算法matlab实现（七）差分进化算法matlab实现

这个答案比较长，所以先在开头总结一下：演化速度可快可慢，主要由突变速率，选择压，生命周期和群体数量，基因组复杂程度决定。前三项越大，进化速率越大，反之则越小。最后两项对演化速率的影响存疑。其实演化速度很难定义，因为不好说出现了什么样的变化才能叫做演化，所能定义的是突变的速率，性状出现的速率，和成种的速率。 1 突变的速率。物种之间突变速率差异很大，有一个规律是基因组越大突变率越低。DNA病毒的突变率大约为每代每碱基10^(-6)到10^(-8)个突变，RNA病毒（包括著名的HIV病毒）的突变率大约为每代每碱基10^(-3)到10^(-5)个突变。而人类的突变率仅为大约每代每碱基10^(-8)个突变。不过，由于人类的全基因组大约有310^(9)个碱基对，所以每个父亲大约会传递五十个单核苷酸突变给下一代，母亲大约会传递十几个突变给下一代。（没错！父方传递的突变数远远高于母方！）值得注意的是，随着年龄增长，父系突变会以平均每年两个的速度增加。所以注意了，父亲生育年龄不宜太晚。2 性状出现的速率。要说明这个最好还是以病毒和细菌为例，在抗生素迅猛发展的上个世纪，人们发现病毒和细菌的抗性也进化的非常快，平均而言大规模运用某种抗生素十年后就会观察到病毒或细菌对其产生抗性，最快的例子甲氧西林(Methicillin)只用了一年……这一现象的原因很简单，如上，病毒本身就是群体大突变率高生命周期短，并且人类对其施加了强烈的选择压，使它们具备了一切快速演化所需要的条件。3 成种的速率。400年，是非常快的速度，我暂时不知道比这更快的例子。不过对于病毒和细菌而言，可能更快就可以形成一个新的株系。但由于这种株系很难界定是否成种，所以不宜作为例子。  

---