CNN学习记录

两个原则
1、平移不变性-2维交叉相关
对于特征在不同的地方，识别器不会发生变化。

2、局部性–只需要附近的点
识别特征只需要考虑局部信息，不考虑全部信息

1、在CNN当中需要考虑图像的空间信息，所以需要矩阵来算，不能和MLP当中一样，将图像展开成向量形式。

2、权重变成4-D的张量
3、根据卷积核的不同可以得到 边缘检测、锐化、高斯模糊的效果
4、二维交叉相关、二维卷积，因为对称，所以效果一样
5、一维：文本、语言、时间序列
三维：视频、医学图像、气象图像
6、卷积层将输入和核矩阵进行交叉相关，加上偏移后得到输出。

核矩阵和偏移是可学习的参数
核矩阵的大小是超参数
7、我们可以设计一个 卷积核来检测图像的边缘
8、学习卷积核时，无论用严格卷积运算或互相关运算，卷积层的输出不会受太大影响。

9、当需要检测输入特征中更广区域时，我们可以构建一个更深的卷积网络。

10、填充可以增加输出的高度和宽度。

目的是使输出与输入具有相同的高和宽。

11、步幅可以减小输出的高和宽，
12、填充和步幅可用于有效地调整数据的维度。

13、多输入多输出通道可以用来扩展卷积层的模型
14、当以每像素为基础应用时，11卷积层相当于全连接层。

15、11卷积层通常用于调整网络层的通道数量和控制模型复杂性
16、汇聚层：降低卷积层对位置的敏感性，同时降低对空间降采样表示的敏感性
17、对于给定输入元素，最大汇聚层会输出该窗口内的最大值，平均汇聚层会输出该窗口内的平均值。

18、汇聚层的主要优点之一是减轻卷积层对位置的过度敏感。

19、我们可以指定汇聚层的填充和步幅。

20、使用最大汇聚层以及大于1的步幅，可减少空间维度（如高度和宽度）。

21、汇聚层的输出通道数与输入通道数相同。

22、输出通道数使卷积层的超参数
23、每个输入通道有独立的二维卷积核，所有通道结果相加得到一个输出通道结果
24、每个输出通道有独立的三维卷积核。

25、卷积对位置非常敏感
26、最大池化层 平均池化层
27、池化层缓解卷积层对位置的敏感性
28、池化层有窗口大小、填充、步幅作为超参数
29、LeNet是早期成功的神经网络，首先用卷积层学习图片空间信息，然后使用全连接层来转换到类别空间。

30、