什么是哈森矩阵

哈森矩阵（Hessian Matrix），又译作海森矩阵、海瑟矩阵、海塞矩阵等，是一个多元函数的二阶偏导数构成的方阵，即

描述了函数的局部曲率。

哈森矩阵最早于19世纪由德国数学家Ludwig Otto Hesse提出，并以其名字命名。常用于牛顿法解决优化问题。

Hessian矩阵是多维变量函数的二阶偏导数矩阵，H（i,j)=d^2(f)/(d(xi)d(xj)) 它是对称的。如果是正定的的可用导数=0的变量组确定它的极小值，负定的确定它的极大值，否则无法确定极值。可看一些国外的数学分析方面的书。

设 A 是n阶方阵，如果存在数m和非零n维列向量 x，使得 Ax=mx 成立，则称 m 是A的一个特征值（characteristic value)或本征值（eigenvalue)。非零n维列向量x称为矩阵A的属于（对应于）特征值m的特征向量或本征向量，简称A的特征向量或A的本征向量。

Hessian矩阵的特征值就是形容其在该点附近特征向量方向的凹凸性，特征值越大，凸性越强。你可以把函数想想成一个小山坡，陡的那面是特征值大的方向，平缓的是特征值小的方向。而凸性和优化方法的收敛速度有关，比如梯度下降。如果正定Hessian矩阵的特征值都差不多，那么梯度下降的收敛速度越快，反之如果其特征值相差很大，那么收敛速度越慢。

---