深度学习之训练误差和泛化误差

深度学习之训练误差和泛化误差

在学习 深度学习的时候，会有不少的专业词语，有些专业词语中，有时很难分清楚。

在之前的文章中，我们常常提到训练集和验证集，其中训练集用于算法模型的训练和学习、验证集是对训练模型进行评估。在模型验证集上，不能包含训练集的数据。 假设，我们使用ImageNet作为数据集，再从谷歌上搜索类似的同类的图片，有时候效果会很好，有可能是训练误差，而非泛化误差，因为很多ImageNet上的图片，也是谷歌搜索出来的。

训练误差

训练误差是指， 模型在训练数据集上计算得到的误差，即在训练集上训练完毕后在训练集本身上进行预测得到了错分率。

泛化误差

泛化误差是指， 模型应用在同样从原始样本的分布中抽取的无限多数据样本时，模型误差的期望，即训练集上没见过的数据的错分样本比率。

问题是，我们永远不能准确地计算出泛化误差。 这是因为无限多的数据样本是一个虚构的对象。 在实际中，我们只能通过将模型应用于一个独立的测试集来估计泛化误差， 该测试集由随机选取的、未曾在训练集中出现的数据样本构成。

举个栗子：
在 高中的时候，每到期末考试时，我都会整理和总结本学期和历年考试真题，做的题很多，尽管如此，在考试中，并不能保障每次都很考出好的成绩，因为我只是尝试死记硬背，如果考题正好在我的记忆中，我就会考出好成绩，反之，则很差， 在这种场景下，所有的错题应该叫训练误差。后来，我尝试通过做题，理清楚知识原理，在考试中，遇到没见过的题目，也能通过知识架构梳理出解题思路，该场景下再出错的题目应该叫泛化误差。

本号更新很慢，平时也不更新，讲的很琐碎。只是不想让自己囫囵吞枣式学习。我慢慢写，各位老板慢慢看。

关注公众号，解锁更多深度学习内容。