什么是线性最小二乘估计?

[拼音]：xianxing zuixiao ercheng guji

[外文]：linear least squares estimate

以误差的平方和最小为准则根据观测数据估计线性模型中未知参数的一种基本参数估计方法。1794年德国数学家C.F.高斯在解决行星轨道预测问题时首先提出最小二乘法。它的基本思路是选择估计量使模型（包括静态或动态的，线性或非线性的）输出与实测输出之差的平方和达到最小。这种求误差平方和的方式可以避免正负误差相抵，而且便于数学处理（例如用误差的绝对值就不便于处理）。线性最小二乘法是应用最广泛的参数估计方法，它在理论研究和工程应用中都具有重要的作用，同时它又是许多其他更复杂方法的基础。线性最小二乘法是最小二乘法最简单的一种情况，即模型对所考察的参数是线性的。线性动态模型为

yk＝x


θ＋εk

式中数据向量xk＝[yk-1，yk-2,…,yk-n，uk-1，uk-2,…，uk-n]T；参数向量θ＝[-a1,-a2,…,-an，b1,b2,…,bn]T；εk为误差；n为模型阶数；N为数据长度（N≥2n）。

选择估计准则

使J为最小的参数估计，称为模型的线性最小二乘估计，用符号孌LS表示。可以得出

孌LS＝(XTX)-1XTY

式中矩阵XT＝[xn+1，xn+2,…,xnn+N]；向量Y＝[yn+1，yn+2，…,ynn+N]T。

孌LS是数据的线性函数，因此称为线性最小二乘估计。它的突出优点是：对于任何一组数据，只要孌LS存在，不要求了解误差序列{εk}的统计特性，便能按照J求出孌LS；算法很简单。

孌LS存在的条件是矩阵(XTX)满秩,这要求{uk}为n阶持续激励输入。

当误差序列{εk}是零均值的白噪声,并对输入、输出功率加以适当的限制时，孌LS是渐近无偏的强一致性估计,即当N →∞时,


。但是对于有限的数据,上述结论不能成立,而且通常误差{εk}也不是白噪声,故一般情况下孌LS是有偏估计，这是它的缺点。为了克服这个缺点，可以采用其他改进的估计算法，例如广义最小二乘估计、辅助变量估计和极大似然估计等。

上述单输入单输出系统的线性最小二乘估计算法还可推广到多输入多输出系统，并且有相应的递推估计算法。

参考书目

G.C.哥德温、R.L.潘恩著，张永光、袁震东译：《动态系统辨识：试验设计与数据分析》，科学出版社，北京，1983。(G.C.Goodwin and R.L. Payne，DynamicSystem Identification: Experi-ment Design and Data Analysis, Academic Press, NewYork,1977.)