机器学习（基础）

机器学习（基础） 什么是机器学习？

• 机器学习本质上是一种数学模型。机器学习的目的就是自动找函数。
• 因为现实问题往往非常复杂，难以（或者不可能）建立完全精确的数学解析模型，因此机器学习就非常必要。

高中数学学习的最小二乘法也能算得上是一种机器学习，但是现实生活中，能有多少场景能简单到用线性函数就能表达的呢

机器学习分类

• Regression(回归)：要有数值返回值
• Classification（分类）：分为Binary（Yes or No分类），和Multi-class（多种类分类选择）
• Generation（生成）：生产有结构的语句或图片

Supervised Learning（监督学习）

• 提供给机器（数学模型）有label的资料进行学习

函数的LOSS

• 评估模型的准确程度的函数
• loss的来源：Bias和Variance

过度拟合（Overfitting）与欠拟合（Underfitting）

• 通过机器学习得出的模型，在train组表现很好，在test组表现很差即为Overfitting；如果在train组表现就很差，即为Underfitting
• 一般，使用简单的模型，Variance也会较小，但是Bias可能会更大。使用复杂的模型，Bias可能会较小，但是Variance可能会更大
• 如果模型的Variance很大，解决的有效方法是增加train的sample数量；另一个方法就是在loss中增加Regularization（权重的平方和乘以系数λ，让拟合出的函数更加平滑）

梯度下降：学习速率（步长）

• 速率太小：步骤太多，耗时长
• 速率太大：可能跨过（忽略）Loss函数最低点
• 自适应学习速率：学习速率随着学习进展进行变更，每个参数的学习速率也不同

最优化Optimization

• 最优化的几种方法（对步长的计算方式不同）：SGD, SGDM, Adagrad, RMSProp, Adam, SWATS(Adam 和 SGDM综合使用)