投影梯度下降（Projected gradient descent）

对于上面有条件的优化问题，可以采用这样的的一种猛盯思路：

采用梯度下降的思路，更新 ，再将这样的更新值 向定义域C 作投影，以此来获得氏弯该优化问题在一定条件下的优化。

投影梯度歼知闷下降的收敛性：

对于u-strongly convex 和 L-smooth 的函数f(x)

如果步长 取为 ，那么我们有这样的式子：

对于投影梯度递降法来说：

1）如果处理的是一个convex&smooth 问题，那们一般设置步长是

收敛速率是 ，循环的复杂度是

2）对于strongly-convex&smooth 问题，其步长依旧是 ，收敛速率是 ，循环复杂度是

2011b可御握羡镇拍用皮谈symsx1x2f=x1^2+x2^2gradient(f)2009a以下，可用symsx1x2f=x1^2+x2^2[diff(f,x1)diff(f,x2)]

---