最小二乘法直线拟合汇总

首先最小二乘法是面对不连续的离散点。

它的本质是求某些参数，估计值在整体下可以使误差ε最小。

对于离散点的直线拟合、曲线拟合是在满足误差最小的基础上，得出可以用数学函数式表达的可视化线图。

直线拟合的例子：

天气温度和冰淇淋销量的关系图：

标记在坐标轴上：

假设这种线性关系为：

分别标号：i,x,y

总误差的平方为：

通过最小二乘法的思想：

在误差式子中，不同的 , 会导致不同的 ，根据多元微分的知识，

当它们的偏微分等于0时， 可取最小值。

上述方程组为线性方程组，求解方程组，得出 , 的值。

求得函数图像为：

以上是直线拟合的主线步骤。

对于如何求解线性方程组，接下来我们一块学习。

拟合直线函数：

1、表示X,Y的向量

2、函数参数向量

3、构造矩阵

4、矩阵等式

5、对 矩阵构造方阵

方程两边同时左乘 的转置矩阵，得到方程

6、求系数向量

matlab中用最小二乘拟合的常用函数有polyfit（多项式拟合）、nlinfit（非线性拟合）以及regress（多元线性回归）。自变量有2个或以上时，应变量一个，可以使用的有nlinfit和regress，线性时用regress，非线性时用nlinfit。对于进阶matlab使用者还有更多的选择，如拟合工具箱、fit函数、interp系列插值拟合等等。

具体介绍一下regress

regress虽然名义上只能做线性回归但是可以把x^2等非线性量作为一个额外自变量做计算，因此在一些特殊情况下也可以做非线性拟合。

以matlab自带的数据为样本，示例代码如下：（%后面的是注释）

clc;clear;

load carsmall%此数据样本matlab自带

x=Weight;y=Horsepower;z=MPG;%取这3个变量作为拟合对象，x、y自变量，z应变量

plot3(x,y,z,'p');

hold on;

c=ones(length(x),1);

b=regress(z,[x,y,c]);%纯线性拟合 模型z=b(1)x+b(2)y+b(3)

[X,Y]=meshgrid(linspace(1500,5000,10),linspace(40,240,10));

C=ones(10);

mesh(X,Y,b(1)X+b(2)Y+b(3)C);

grid on;

b=regress(z,[x^2,y^2,xy,x,y,c]);%添加非线性项进行拟合

figure

plot3(x,y,z,'p');

hold on;

mesh(X,Y,b(1)X^2+b(2)Y^2+b(3)XY+b(4)X+b(5)Y+b(6)C);

grid on;