已亲测：最优化算法的核心思想与程序例子

蒙特卡洛： 大量随机抽样下的比对，最后结果就是在当前抽样数量下筛选出的一定是最想要的那个结果。举例：假如篮子里有1000个苹果(你定的测试集)，让你 每次闭着眼睛找一个最大的，可以不限制挑选次数；于是，你可以闭着眼随机拿了一个，然后再随机拿一个与第一个比，留下大的；再随机拿一个，与前次留下的比较，又 可以留下大的；循环往复这样：拿的次数越多，挑出最大苹果的可能性也就越大!但除非你把1000个苹果都挑一遍，否则你无法肯定最终挑出来的就是最大的一个。如果有 10000个苹果的话，继续如此说不定就能找到更大的！

模拟退火 ：“渐渐”清楚自己的目标是什么！并不断朝“越发”明确的目标迈进，“越来越”不被诱惑干扰。举例：为了找出地球上最高的山，一只兔子在开始并没有 合适的策略，它随机地跳了很长时间！在这期间，它可能走向高处，也可能踏入平地或沟壑。但是，随着时间的流逝，它“渐渐清醒”! 并“直直地”朝着最高的方向跳去， 最后就到达了珠穆朗玛峰。

粒子群 ：信息的社会共享，以一个团队的形式来搜索！团队里成员信息共享，共同进步；避免一个人工作时出现目光短浅，没有全局意识。举例：就像下围棋，只 专注于一个角落的战斗不一定能获取最终的胜利，只有放眼全局，把所有己方的棋子都盘活，相互间彼此帮助，才能获得最后胜利。

蚁群 ：和粒子群算法有些相似，都是靠团队的力量共同去找目标！蚁群算法中特殊的是它的"信息素"挥发! 这个效果是其他算法中没有的！

以上所有的最优化算法都很难做到极高的精度，这是必然的： 一是 因为全局搜索已经耗费了大量的时间和资源，再过分强调精度有些不经济； 二是 因为全局搜索得到的最值可以理解为一精确最值的一个准确范围！即进入这个范围再进行精确的搜索一定可以找到精确最值；但是，全局最优的核心是随机/概率，当进入一个准确范围时，这个范围肯定是很小的，如果之后精确搜索还用全局搜索的概率参数(此时来说波动范围太大了)，很可能又会跳出这个好不容易找到的精确区域！

因此： 全局最优算法与局部最优算法是要相结合的 ！全局最优算法负责划定最值所在的一个精确的、较小的范围内，即告诉局部最优算法在这个范围内继续找一定可以找到精确解；局部最优算法按照较小的步长、较高的精度继续搜索精确最值。

常用全局最优算法：蒙特卡洛(MC)、模拟退火(SA)、粒子群(PSO)、蚁群(AG)；

常用局部最优算法：梯度下降法、牛顿法、阻尼牛顿法、共轭梯度法；

推荐搭配1：蒙特卡洛

推荐搭配2：粒子群 + 梯度下降

推荐搭配3：蚁群 + 梯度下降 + 重检机制

以上提到算法的 “程序 + 详细使用说明” 参考以下地址：

优化算法

优化算法是指对算法的有关性能进行优化，如时间复杂度、空间复杂度、正确性、健壮性。

大数据时代到来，算法要处理数据的数量级也越来越大以及处理问题的场景千变万化。为了增强算法的处理问题的能力，对算法进行优化是必不可少的。算法优化一般是对算法结构和收敛性进行优化。

同一问题可用不同算法解决，而一个算法的质量优劣将影响到算法乃至程序的效率。算法分析的目的在于选择合适算法和改进算法。一个算法的评价主要从时间复杂度和空间复杂度来考虑。

遗传算法

遗传算法也是受自然科学的启发。这类算法的运行过程是先随机生成一组解，称之为种群。在优化过程中的每一步，算法会计算整个种群的成本函数，从而得到一个有关题解的排序，在对题解排序之后，一个新的种群----称之为下一代就被创建出来了。首先，我们将当前种群中位于最顶端的题解加入其所在的新种群中，称之为精英选拔法。新种群中的余下部分是由修改最优解后形成的全新解组成。

常用的有两种修改题解的方法。其中一种称为变异，其做法是对一个既有解进行微小的、简单的、随机的改变；修改题解的另一种方法称为交叉或配对，这种方法是选取最优解种的两个解，然后将它们按某种方式进行组合。尔后，这一过程会一直重复进行，直到达到指定的迭代次数，或者连续经过数代后题解都没有改善时停止。

---