机器学习-day1

软件：Octave
机器学习定义：
一个程序被认为能从经验 E 中学习，解决任务 T，达到性能度量值P，当且仅当，有了经验 E 后，经过 P 评判，程序在处理 T 时的性能有所提升。

监督学习

定义：我们给学习算法一个数据集，通过学习算法算出更多的值。

分类：

回归问题：我们能根据旧的数据预测出一个准确的输出值。例如：预测房价的具体值。

分类问题：我们想要预测离散的输出值，输出的值是0或者1。例如：是否患有肿瘤。

无监督学习

定义：中没有任何的标签或者是有相同的标签或者就是没标签。
聚类算法：无监督学习算法可能会把这些数据分成两个不同的族

单变量线性回归(Linear Regression with One Variable)

模型变量：
𝑚 ：训练集中实例的数量
𝑥 ：特征/输入变量
𝑦 ：目标变量/输出变量
(𝑥, 𝑦) ：训练集中的实例
(𝑥(𝑖), 𝑦(𝑖)) ：第𝑖 个观察实例
ℎ ：学习算法的解决方案或函数也称为假设

建模误差：模型所预测的值与训练集中实际值之间的差距（下图中蓝线所指）
代价函数：一个函数，能选出建模误差达到最小的建模参数（𝜃0和𝜃1）

绘制等高线：
𝜃0和𝜃1 和𝐽(𝜃0, 𝜃1)。

Q：如何寻找代价函数达到最小值的时，𝜃0和𝜃1的值?
A：梯度下降

梯度下降的原理：

• 开始时我们随机选择一个参数的组合(𝜃0, 𝜃1, . . . . . . , 𝜃𝑛)，计算代价函数，得到代价函数值，然后我们寻找下一个能让代价函数值下降最多的参数组合，通过不断的调整参数得到局部最优解。
• 不同初始参数可能会有不同的局部最优解

批量梯度下降：
算法公式：

梯度下降的更新规则：

学习率α：
学习率太小：需要很多步才能达到最低点。
学习率太大：可能会导致无法收敛，甚至发散。

批量梯度下降：指的是在梯度下降的每一步中，我们都用到了所有的训练样本，在梯度下降中，在计算微分求导项时，我们需要进行求和运算，所以，在每一个单独的梯度下降中，我们最终都要计算这样一个东西，这个项需要对所有𝑚个训练样本求和。

什么是线性回归的梯度下降法？