拉格朗日乘数法方程 求解过程

由前两个方程得 y = -μ/(2+2λ), x = -μ/(2+2λ), 则 y = x， 代入后两式

2x^2 = z , z = 4 - 2x, 则 2x^2 = 4-2x, x^2+x-2 = 0, x = 1, -2;

y = 1, -2; z = 2, 8 极值点 (1, 1, 2), (-2, -2, 8)

若是应用题，可根据题意选择极值点 。

1）拉格朗日乘子法在处理完全约束的情况下，如果u在限定条件φ=0下最值存在，是一定可以找到的。

2）－4）

这里有一个关键点你弄错了，原限定曲面φ(x,y,z)= 0是没有边界的，之所以出现了边界，是因为你做了z=z(x,y)后,将原曲面投影到了xy平面所致。请注意φ(x,y,z)= 0是完全约束，这是三维空间中的一个或几个二维曲面，而你投影到x-y平面后得到的边界条件f(x,y)>=0是不完全约束，并不能表示二维平面中的一个或多个一维区域。既然并不存在该曲面的边界，你的问题(2)是没有意义的，问题4)概念错误。至于你的问题3），当你做了投影后，此时产生了一个不完全约束，因此出现了g(x,y)定义域的边界， 此时要求g(x,y)在xy平面中的定义域上的最值问题，需要考虑两部分，一是区域内部的驻点，一是区域边界上的点。你的表述只是从结果上来说是这样而已。

拉格朗日乘子法和直接反解求极值是两种不同的思想；比如有m个变量，n个约束方程(m>n)，实际上定义域是m-n维的,拉格朗日乘子法是引入n个拉格朗日乘子，而把变量空间扩展到m+n维，但是变量在这m+n维空间内取值不受限制。而直接用反解代入，是把定义域从原来m维空间中的一个m-n维曲面投影到一个m-n维平面，但是同时可能附加上最多n个不完全约束限制变量的取值范围（可能没有，比如你原来的问题里把z^2换成z)

设长宽高分别是x,y,z，问题就是在条件xyz=512下求f(x,y,z)=04xy+04(x+y)z的最小值。 拉格朗日函数是F(x,y,z)=04xy+04(x+y)z+λ(xyz-512)。 根据Fx=0，Fy=0，Fz=0得到x=y=z。代入xyz-512=0中得x=y=z=8。 你只算了2个侧面，实际有4个侧面。

在求取有约束条件的优化问题时，拉格朗日乘子法（Lagrange Multiplier) 和KKT条件是非常重要的两个求取方法，对于等式约束的优化问题，可以应用拉格朗日乘子法去求取最优值；如果含有不等式约束，可以应用KKT条件去求取。当然，这两个方法求得的结果只是必要条件，只有当是凸函数的情况下，才能保证是充分必要条件。KKT条件是拉格朗日乘子法的泛化。之前学习的时候，只知道直接应用两个方法，但是却不知道为什么拉格朗日乘子法（Lagrange Multiplier) 和KKT条件能够起作用，为什么要这样去求取最优值呢？

本文将首先把什么是拉格朗日乘子法（Lagrange Multiplier) 和KKT条件叙述一下；然后开始分别谈谈为什么要这样求最优值。

一 拉格朗日乘子法（Lagrange Multiplier) 和KKT条件

通常我们需要求解的最优化问题有如下几类：

(i) 无约束优化问题，可以写为:

min f(x);

(ii) 有等式约束的优化问题，可以写为:

min f(x),

st h_i(x) = 0; i =1, , n

(iii) 有不等式约束的优化问题，可以写为：

min f(x),

st g_i(x) <= 0; i =1, , n

h_j(x) = 0; j =1, , m

对于第(i)类的优化问题，常常使用的方法就是Fermat定理，即使用求取f(x)的导数，然后令其为零，可以求得候选最优值，再在这些候选值中验证；如果是凸函数，可以保证是最优解。

对于第(ii)类的优化问题，常常使用的方法就是拉格朗日乘子法（Lagrange Multiplier) ，即把等式约束h_i(x)用一个系数与f(x)写为一个式子，称为拉格朗日函数，而系数称为拉格朗日乘子。通过拉格朗日函数对各个变量求导，令其为零，可以求得候选值集合，然后验证求得最优值。

对于第(iii)类的优化问题，常常使用的方法就是KKT条件。同样地，我们把所有的等式、不等式约束与f(x)写为一个式子，也叫拉格朗日函数，系数也称拉格朗日乘子，通过一些条件，可以求出最优值的必要条件，这个条件称为KKT条件。

(a) 拉格朗日乘子法（Lagrange Multiplier)

对于等式约束，我们可以通过一个拉格朗日系数a 把等式约束和目标函数组合成为一个式子L(a, x) = f(x) + ah(x), 这里把a和h(x)视为向量形式，a是横向量，h(x)为列向量，之所以这么写，完全是因为csdn很难写数学公式，只能将就了。

然后求取最优值，可以通过对L(a,x)对各个参数求导取零，联立等式进行求取，这个在高等数学里面有讲，但是没有讲为什么这么做就可以，在后面，将简要介绍其思想。

(b) KKT条件

对于含有不等式约束的优化问题，如何求取最优值呢？常用的方法是KKT条件，同样地，把所有的不等式约束、等式约束和目标函数全部写为一个式子L(a, b, x)= f(x) + ag(x)+bh(x)，KKT条件是说最优值必须满足以下条件：

1 L(a, b, x)对x求导为零；

2 h(x) =0;

3 ag(x) = 0;

求取这三个等式之后就能得到候选最优值。其中第三个式子非常有趣，因为g(x)<=0，如果要满足这个等式，必须a=0或者g(x)=0 这是SVM的很多重要性质的来源，如支持向量的概念。

二 为什么拉格朗日乘子法（Lagrange Multiplier) 和KKT条件能够得到最优值？

为什么要这么求能得到最优值？先说拉格朗日乘子法，设想我们的目标函数z = f(x), x是向量, z取不同的值，相当于可以投影在x构成的平面（曲面）上，即成为等高线，如下图，目标函数是f(x, y)，这里x是标量，虚线是等高线，现在假设我们的约束g(x)=0，x是向量，在x构成的平面或者曲面上是一条曲线，假设g(x)与等高线相交，交点就是同时满足等式约束条件和目标函数的可行域的值，但肯定不是最优值，因为相交意味着肯定还存在其它的等高线在该条等高线的内部或者外部，使得新的等高线与目标函数的交点的值更大或者更小，只有到等高线与目标函数的曲线相切的时候，可能取得最优值，如下图所示，即等高线和目标函数的曲线在该点的法向量必须有相同方向，所以最优值必须满足：f(x)的梯度 = a g(x)的梯度，a是常数，表示左右两边同向。这个等式就是L(a,x)对参数求导的结果。（上述描述，我不知道描述清楚没，如果与我物理位置很近的话，直接找我，我当面讲好理解一些，注：下图来自wiki）。

而KKT条件是满足强对偶条件的优化问题的必要条件，可以这样理解：我们要求min f(x), L(a, b, x) = f(x) + ag(x) + bh(x)，a>=0，我们可以把f(x)写为：max_{a,b} L(a,b,x)，为什么呢？因为h(x)=0, g(x)<=0，现在是取L(a,b,x)的最大值，ag(x)是<=0，所以L(a,b,x)只有在ag(x) = 0的情况下才能取得最大值，否则，就不满足约束条件，因此max_{a,b} L(a,b,x)在满足约束条件的情况下就是f(x)，因此我们的目标函数可以写为 min_x max_{a,b} L(a,b,x)。如果用对偶表达式： max_{a,b} min_x L(a,b,x)，由于我们的优化是满足强对偶的（强对偶就是说对偶式子的最优值是等于原问题的最优值的），所以在取得最优值x0的条件下，它满足 f(x0) = max_{a,b} min_x L(a,b,x) = min_x max_{a,b} L(a,b,x) =f(x0)，我们来看看中间两个式子发生了什么事情：

f(x0) = max_{a,b} min_x L(a,b,x) = max_{a,b} min_x f(x) + ag(x) + bh(x) = max_{a,b} f(x0)+ag(x0)+bh(x0) = f(x0)

可以看到上述加黑的地方本质上是说 min_x f(x) + ag(x) + bh(x) 在x0取得了最小值，用fermat定理，即是说对于函数 f(x) + ag(x) + bh(x)，求取导数要等于零，即

f(x)的梯度+ag(x)的梯度+ bh(x)的梯度 = 0

这就是kkt条件中第一个条件：L(a, b, x)对x求导为零。

而之前说明过，ag(x) = 0，这时kkt条件的第3个条件，当然已知的条件h(x)=0必须被满足，所有上述说明，满足强对偶条件的优化问题的最优值都必须满足KKT条件，即上述说明的三个条件。可以把KKT条件视为是拉格朗日乘子法的泛化。

转载

怎么用matlab实现拉格朗日乘子法最优化问题

计算机优化长于数值计算，你要想得到合适的结果，最好把未知数减少到最少。你这个优化，只要把常数项都以数值代入，matlab 能解的。

以上就是关于拉格朗日乘数法方程 求解过程全部的内容，包括:拉格朗日乘数法方程 求解过程、拉格朗日乘数法的问题、新手求助，拉格朗日乘数法在MATLAB中用什么函数实现等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！