《神经网络和深度学习》系列文章十二：Hadamard积，s⊙t

《神经网络和深度学习》系列文章十二：Hadamard积，s⊙t

出处： Michael Nielsen的《Neural Network and Deep Learning》，点击末尾“阅读原文”即可查看英文原文。

本节译者：哈工大SCIR本科生 王宇轩

声明：我们将在每周一，周四 定期连载该书的中文翻译，如需转载请联系[email protected]，未经授权不得转载。

---

1. 使用神经网络识别手写数字

2. 反向传播算法是如何工作的

• 热身：一个基于矩阵的快速计算神经网络输出的方法

• 关于损失函数的两个假设

• Hadamard积

• 反向传播背后的四个基本等式

• 四个基本等式的证明（选读）

• 反向传播算法

• 什么时候反向传播算法高效

• 反向传播算法再理解

3. 改进神经网络的学习方法

4. 神经网络能够计算任意函数的视觉证明

5. 为什么深度神经网络的训练是困难的

6. 深度学习

反向传播算法是以常见线性代数 *** 作为基础——诸如向量加法，向量与矩阵乘法等运算。

但其中一个 *** 作相对不是那么常用。

具体来讲，假设s和t是两个有相同维数的向量。

那么我们用s⊙t来表示两个向量的对应元素(elementwise)相乘。

因此s⊙t的元素(s⊙t)j=sjtj。

例如，

这种对应元素相乘有时被称为Hadamard积（Hadamard product）或Schur积(Schur product)。

我们将称它为Hadamard积。

优秀的矩阵库通常会提供Hadamard积的快速实现，这在实现反向传播时将会有用。

下一节我们将介绍“反向传播背后的四个基本等式”，敬请关注！

---

• “哈工大SCIR”公众号

• 编辑部：郭江，李家琦，徐俊，李忠阳，俞霖霖

• 本期编辑：俞霖霖