投影梯度下降（Projected gradient descent）

对于上面有条件的优化问题，可以采用这样的的一种思路：

采用梯度下降的思路，更新 ，再将这样的更新值 向定义域C 作投影，以此来获得该优化问题在一定条件下的优化。

投影梯度下降的收敛性：

对于u-strongly convex 和 L-smooth 的函数f(x)

如果步长 取为 ，那么我们有这样的式子：

对于投影梯度递降法来说：

1）如果处理的是一个convex&smooth 问题，那们一般设置步长是

收敛速率是 ，循环的复杂度是

2）对于strongly-convex&smooth 问题，其步长依旧是 ，收敛速率是 ，循环复杂度是

matlab最优化程序包括

无约束一维极值问题 进退法 黄金分割法 斐波那契法 牛顿法基本牛顿法 全局牛顿法 割线法 抛物线法 三次插值法 可接受搜索法 Goidstein法 Wolfe.Powell法

单纯形搜索法 Powell法 最速下降法 共轭梯度法 牛顿法 修正牛顿法 拟牛顿法 信赖域法 显式最速下降法， Rosen梯度投影法 罚函数法 外点罚函数法

内点罚函数法 混合罚函数法 乘子法 G－N法 修正G－N法 L－M法 线性规划 单纯形法 修正单纯形法 大M法 变量有界单纯形法 整数规划 割平面法 分支定界法 0-1规划 二次规划

拉格朗曰法 起作用集算法 路径跟踪法 粒子群优化算法 基本粒子群算法 带压缩因子的粒子群算法 权重改进的粒子群算法 线性递减权重法 自适应权重法 随机权重法

变学习因子的粒子群算法 同步变化的学习因子 异步变化的学习因子 二阶粒子群算法 二阶振荡粒子群算法

1、用随机值初始化权重和偏差。

2、把输入传入网络，得到输出值。

3、计算预测值和真实值之间的误差。

4、对每一个产生误差的神经元，调整相应的（权重）值以减小误差。

5、重复迭代，直至得到网络权重的最佳值。

梯度下降法，它是解析法中最古老的一种，其他解析方法或是它的变形，或是受它的启发而得到的，因此它是最优化方法的基础。作为一种基本的算法，他在最优化方法中占有重要地位。其优点是工作量少，存储变量较少，初始点要求不高。其缺点是收敛慢，效率不高，有时达不到最优解。

---