西瓜书第三章学习心得

西瓜书第三章学习心得

线性回归的特点

是y，纵坐标的差的和的最小值

之前理解为点到线的距离最小了，这其实是正交回归

机器学习三要素

1.模型：确定假设空间

2.策略：损失函数

3.算法：求解损失函数的最小值，得出参数

所以对于线性回归

1.模型就是线性模型

2.策略一般运用极大似然估计

3.算法就是 梯度下降法或者牛顿法

通过学习完高数概率论线性代数之后，基本上对这一章还是能很清楚理解的，核心问题在于公式结果的运算上，缺少一些知识：

1.矩阵分析：矩阵微分

2.凸函数的最优求解

3.信息论的熵的知识

此外，发现在代码实现累加累乘的时候，如果用for循环，O是非常大的。这时候运用矩阵，向量计算工具库，如numpy，就会很快。

所以接下来还是要补充好矩阵分析的知识。