人工智能基础-算法工程师为什么要懂线性代数？

线性代数是什么？

在大学数学学科中，线性代数是最为抽象的一门课，从初等数学到线性代数的思维跨度比微积分和概率统计要大得多。很多人学过以后一直停留在知其然不知其所以然的阶段，若干年之后接触图形编程或机器学习等领域才发现线性代数的应用无处不在，但又苦于不能很好地理解和掌握。的确，多数人很容易理解初等数学的各种概念，函数、方程、数列一切都那么的自然，但是一进入线性代数的世界就好像来到了另一个陌生的世界，在各种奇怪的符号和运算里迷失了。

我在初接触线性代数的时候简直感觉这是一门天外飞仙的学科，一个疑问在我脑子里浮现出来：

如果看到这个问题，你的反应是“这还用问，数学当然是客观的自然规律了”，我一点儿都不觉得奇怪，我自己也曾这样认为。从中学的初等数学和初等物理一路走来，很少人去怀疑一门数学学科是不是自然规律，当我学习微积分、概率统计时也从来没有怀疑过，唯独线性代数让我产生了怀疑，因为它的各种符号和运算规则太抽象太奇怪，完全对应不到生活经验。所以，我还真要感谢线性代数，它引发了我去思考一门数学学科的本质。其实，不止是学生，包括很多数学老师都不清楚线性代数到底是什么、有什么用，不仅国内如此，在国外也是这样，国内的孟岩写过《理解矩阵》，国外的Sheldon Axler教授写过《线性代数应该这样学》，但都还没有从根本上讲清楚线性代数的来龙去脉。对于我自己来讲，读大学的时候没有学懂线性代数，反而是后来从编程的角度理解了它。很多人说数学好可以帮助编程，我恰好反过来了，对程序的理解帮助了我理解数学。

本文的目标读者是程序员，下面我就带各位做一次程序员在线性代数世界的深度历险！既然是程序员，在进入线性代数的领域之前，我们不妨先从考察一番程序世界，请思考这样一个问题：

为什么要问这样一个看起来很蠢的问题呢？因为它的答案显而易见，大家对天天使用的程序语言的认识一定胜过抽象的线性代数，很显然程序语言虽然包含了内在的逻辑，但它们本质上都是人为的设计。所有程序语言的共同性在于：建立了一套模型，定义了一套语法，并将每种语法映射到特定的语义。程序员和语言实现者之间遵守 语言契约：程序员保证代码符合语言的语法，编译器/解释器保证代码执行的结果符合语法相应的语义 。比如，C++规定用new A()语法在堆上构造对象A，你这样写了C++就必须保证相应的执行效果，在堆上分配内存并调用A的构造函数，否则就是编译器违背语言契约。

从应用的角度，我们能不能把线性代数视为一门程序语言呢？答案是肯定的，我们可以用语言契约作为标准来试试。假设你有一个图像，你想把它旋转60度，再沿x轴方向拉伸2倍；线性代数告诉你，“行！你按我的语法构造一个矩阵，再按矩阵乘法规则去乘你的图像，我保证结果就是你想要的”。实际上，线性代数和SQL这样的DSL非常相似，下面来作一些类比：

所以，从应用的角度看， 线性代数是一种人为设计的领域特定语言(DSL) ，它建立了一套模型并通过符号系统完成语法和语义的映射。实际上，向量、矩阵、运算规则的语法和语义都是人为的设计，这和一门语言中的各种概念性质相同，它是一种创造，但是前提是必须满足语言契约。

为什么要有线性代数？

可能有人对把线性代数当成一门DSL不放心，我给你一个矩阵，你就把我的图形旋转了60度沿x轴拉伸了2倍，我总感觉不踏实啊，我都不知道你“底层”是怎么做！其实，这就像有的程序员用高级语言不踏实，觉得底层才是程序的本质，老是想知道这句话编译成汇编是什么样？那个 *** 作又分配了多少内存？别人在Shell里直接敲一个wget命令就能取下一个网页，他非要用C语言花几十分钟来写一堆代码才踏实。其实，所谓底层和上层只是一种习惯性的说法，并不是谁比谁更本质。 程序的编译和解释本质上是不同模型间的语义映射 ，通常情况下是高级语言映射为低级语言，但是完全也可以把方向反过来。Fabrice Bellard用JavaScript写了一个虚拟机，把Linux跑在JavaScript虚拟机上，这就是把机器模型往JavaScript模型上映射。

建立新模型肯定依赖于现有的模型，但这是建模的手段而不是目的，任何一种新模型的目的都为了更简单地分析和解决某一类问题。线性代数在建立的时候，它的各种概念和运算规则依赖于初等数学的知识，但是一旦建立起来这层抽象模型之后，我们就 应该习惯于直接利用高层次的抽象模型去分析和解决问题 。说到线性代数是为了比初等数学更容易地分析和解决问题，下面我们通过一个例子来实际感受一下它的好处：

初等数学中三角形面积最著名的计算公式是area = 1/2 * base * height ，当三角形有一条边恰好在坐标轴上时我们就很容易算出它的面积。但是，假如同样一个三角形我们把坐标轴旋转一下，让它的边不在坐标轴上，怎么办？我们还能得到它的底和高吗？答案肯定是可以的，但是就明显复杂了，而且还要分很多种情况去分别讨论。

相反，如果我们用线性代数知识来解决这个问题就非常轻松。在线性代数中两个向量a，b的叉积(Cross Product)是一个向量，其方向与a，b垂直，其大小等于a，b构成的平行四边形的面积:

我们可以把三角形的边视为向量，所以三角形的面积等于两个边向量的叉积向量的长度除以二：

注：length表示取向量长度，cross_product表示两个向量的叉积。

这样一个在初等数学里面有点儿小难的问题在线性代数中瞬间搞定！可能有人会说，你直接基于叉积来做，当然简单了，但是叉积本身不是也挺复杂的吗？你把它展开试试看呢？是的， 模型的作用就是把一部分复杂性隐藏到模型中 ，使得模型的使用者可以更加简单地解决问题。曾经有人质疑C++太复杂，C++之父Bjarne Stroustrup这样回答：

在特定环境下，问题的复杂性是由其本质决定的，C++把一部分的复杂性纳入了语言和标准库，目的是使得应用程序更为简单。当然，并非所有场合C++都使得问题更加简单，但是从原理上讲，C++的复杂性是有道理的。除了C++，Java、SQL、CSS等各种语言和框架莫不如是，想象一下，如果不使用数据库，动不动就自己去做数据存储和管理是多么复杂啊！这样我们就不难理解为什么线性代数要定义叉积这样奇怪的运算了，它和C++把很多常用的算法和容器纳入STL是同一道理。同样的，甚至你还可以在线性代数中定义自己想要的运算拿来复用。所以，数学一点儿不死板，它和程序一样是活活泼泼的，你理解了它的来龙去脉就能驾驭自如。说到这里，我们就顺便回答一个很常见的疑惑：

其实，和程序复用一样，线性代数定义点积、叉积和矩阵运算是因为它们的应用非常广，有很大的复用价值，可以作为我们分析和解决问题的基础。比如，很多问题都涉及到一个向量到另一个向量的投影或是求两个向量的夹角，那么就会考虑专门定义点积(Dot Product)这个运算：

点积概念的提出属于设计，有发挥创造的余地；一旦设计定了，具体公式就不能随意发挥了，必须符合逻辑，保证它映射到初等数学模型的正确性。这就像一门高级语言可以定义很多概念，什么高阶函数、闭包等等，但是它必须保证映射到底层实现时在执行产生的效果符合其定义的规范。

线性代数好在哪里？

上面说了，线性代数是一种高层次抽象模型，我们可以采用学习一门程序语言的方法去学习它的语法和语义，但是这一认识不只针对线性代数，它是对每一门数学学科通用的，可能有人会有疑问

这就问到了根本上， 线性代数的核心：向量模型 。我们在初等数学中学习的坐标系属于笛卡尔所提出的解析模型，这个模型很有用，但同时也有很大的缺点。坐标系是人为加上的虚拟参考系，但是我们要解决的问题，比如求面积，图形旋转、拉伸等应用都是和坐标系无关的，建立一个虚拟的坐标系往往无助于解决问题，刚才三角形面积的例子就是这样。

向量模型很好地克服了解析模型的缺点，如果说解析模型代表了某种“绝对性”的世界观，那么向量模型就代表了某种“相对性”的世界观，我推荐把向量模型和解析模型看作对立的两种模型。

向量模型中定义了向量和标量的概念。向量具有大小和方向，满足线性组合法则；标量是只有大小没有方向的量（注：标量的另一种更深刻的定义是在旋转变换下保持不变的量）。 向量模型的优点之一是其坐标系无关性 ，也就是相对性，它在定义向量和运算规则的时候从一开始就抛开了坐标系的束缚，不管你坐标轴怎么旋转，我都能适应，向量的线性组合、内积、叉积、线性变换等等运算全部都是坐标系无关的。注意，所谓坐标系无关性不是说就没有坐标系了，还是有的，刚才三角形例子的顶点就是用坐标表示的，只是在解决问题的时候不同的坐标系不会构成影响。用一个比喻，Java号称平台无关，不是说Java就是空中楼阁，而是说你用Java编程时底层是Linux还是Windows往往对你没有影响。

向量模型有什么好处呢？除了刚才三角形面积问题是一个例子，下面我再举一个几何的例子：

这个问题如果是要从解析几何的角度去解决几乎复杂到没法下手，除非是平面恰好是过坐标轴的特殊情况，但是如果从向量模型考虑就很简单：根据平面方程，平面的法向量(Normal Vector)是v=(a, b, c)，设从平面上任意一点(x, y, z)到(x0, y0, z0)的向量为w，那么通过点积dot_product(w, v)算出w到v的投影向量p，其大小就是(x0, y0, z0)到平面a*x + b*y + c*z + d = 0的垂直距离。这里用到了向量模型的基本概念：法向量，投影向量，点积，整个问题解决过程简洁明快。

下面再给大家留一道相似的练习题（熟悉机器学习的朋友可能会发现这是线性代数在线性分类中的应用）：

离开向量，下面我们要请出线性代数的另一个主角：矩阵(Matrix)。

线性代数定义了矩阵和向量、矩阵和矩阵的乘法，运算规则很复杂，用来做什么也不清楚，很多初学者都不能很好地理解，可以说矩阵是学好线性代数的拦路虎。遇到复杂的东西，往往需要先避免一头陷入细节，先从整体上把握它。其实，从程序的角度看，无论形式多么奇怪，它无非是一种语法，语法必然对应了语义，所以理解矩阵的重点在于理解其语义。矩阵的语义不止一种，在不同的环境中有不同的语义，在同一环境中也可以有不同的解读，最常见的包括：1)表示一个线性变换；2)表示列向量或行向量的集合；3)表示子矩阵的集合。

矩阵作为一个整体对应的是线性变换语义：用矩阵A乘以一个向量v得到w，矩阵A就代表了v到w的线性变换。比如，如果想要把向量v0按逆时针方向旋转60度得到v'，只需要用旋转变换矩阵（Rotation Matrix)去乘v0就可以了。

除了旋转变换，拉伸变换也是一种常见的变换，比如，我们可以通过一个拉伸矩阵把向量沿x轴拉伸2倍（请试着自己给出拉伸矩阵的形式）。更重要的是，矩阵乘法有一个很好的性质：满足结合率，这就意味着 可以对线性变换进行叠加 。举个例子，我们可以把“沿逆时针旋转60度”的矩阵M和“沿x轴拉伸2倍”的矩阵N相乘，得到一个新矩阵T来代表“沿逆时针旋转60度并沿x轴拉伸2倍”。这是不是很像我们Shell中把多个命令通过管道进行叠加呢？

上面重点介绍了向量模型的坐标系无关性，除此之外， 向量模型的另一优点是它能描述线性关系 ，下面我们来看一个熟悉的Fibonacci数列的例子：

首先，我们构造两个向量v1=(f(n+1), f(n))和v2=(f(n+2), f(n+1))，根据Fibonacci数列性质，我们可以得到从v1到v2的递推变换矩阵：

并进一步得到：

这样就把线性递推问题转化为了矩阵的n次幂经典问题，在O（log n）时间复杂度内解决。除了线性递推数列，初等数学中著名的n元一次方程组问题也可以转化为矩阵和向量乘法形式更容易地解决。这个例子是想说明，凡是满足线性关系的系统都是向量模型的用武之地，我们往往可以把它转化为线性代数得到简洁高效的解决方案。

总结

本文提出了一种观点：从应用的角度，我们可以把线性代数视为一门特定领域的程序语言。线性代数在初等数学基础上建立了向量模型，定义了一套语法和语义，符合程序语言的语言契约。向量模型具有坐标系无关性和线性性，它是整个线性代数的核心，是解决线性空间问题的最佳模型。向量的概念、性质、关系、变换是掌握和运用线性代数的重点。

作为一个标准的程序员，应该有一些基本的数学素养，尤其现在很多人在学习人工智能相关知识，想抓住一波人工智能的机会。很多程序员可能连这样一些基础的数学问题都回答不上来。

作为一个傲娇的程序员，应该要掌握这些数学基础知识，才更有可能码出一个伟大的产品。

向量 向量（vector）是由一组实数组成的有序数组，同时具有大小和方向。一个n维向量a是由n个有序实数组成，表示为 a = [a1, a2, · · · , an]

矩阵

线性映射 矩阵通常表示一个n维线性空间v到m维线性空间w的一个映射f: v ->w

注：为了书写方便， X.T ，表示向量X的转置。 这里： X(x1,x2,...,xn).T，y(y1,y2,...ym).T ，都是列向量。分别表示v,w两个线性空间中的两个向量。A(m,n)是一个 m*n 的矩阵，描述了从v到w的一个线性映射。

转置 将矩阵行列互换。

加法 如果A和B 都为m × n的矩阵，则A和B 的加也是m × n的矩阵，其每个元素是A和B相应元素相加。 [A + B]ij = aij + bij .

乘法 如A是k × m矩阵和B 是m × n矩阵，则乘积AB 是一个k × n的矩阵。

对角矩阵 对角矩阵是一个主对角线之外的元素皆为0的矩阵。对角线上的元素可以为0或其他值。一个n × n的对角矩阵A满足： [A]ij = 0 if i ̸= j ∀i, j ∈ {1, · · · , n}

特征值与特征矢量 如果一个标量λ和一个非零向量v满足 Av = λv, 则λ和v分别称为矩阵A的特征值和特征向量。

矩阵分解 一个矩阵通常可以用一些比较“简单”的矩阵来表示，称为矩阵分解。

奇异值分解 一个m×n的矩阵A的奇异值分解

其中U 和V 分别为m × m和n×n 的正交矩阵，Σ为m × n的对角矩阵，其对角 线上的元素称为奇异值（singular value）。

特征分解 一个n × n的方块矩阵A的特征分解（Eigendecomposition）定义为

其中Q为n × n的方块矩阵，其每一列都为A的特征向量，^为对角阵，其每一 个对角元素为A的特征值。 如果A为对称矩阵，则A可以被分解为

其中Q为正交阵。

导数 对于定义域和值域都是实数域的函数 f : R → R ，若f(x)在点x0 的某个邻域∆x内，极限

存在，则称函数f(x)在点x0 处可导， f'(x0) 称为其导数，或导函数。 若函数f(x)在其定义域包含的某区间内每一个点都可导，那么也可以说函数f(x)在这个区间内可导。连续函数不一定可导，可导函数一定连续。例如函数|x|为连续函数，但在点x = 0处不可导。

加法法则

y = f(x),z = g(x) 则

乘法法则

链式法则 求复合函数导数的一个法则，是在微积分中计算导数的一种常用方法。若 x ∈ R，y = g(x) ∈ R，z = f(y) ∈ R ，则

Logistic函数是一种常用的S形函数，是比利时数学家 Pierre François Verhulst在 1844-1845 年研究种群数量的增长模型时提出命名的，最初作为一种生 态学模型。 Logistic函数定义为：

当参数为 (k = 1, x0 = 0, L = 1) 时，logistic函数称为标准logistic函数，记 为 σ(x) 。

标准logistic函数在机器学习中使用得非常广泛，经常用来将一个实数空间的数映射到(0, 1)区间。标准 logistic 函数的导数为：

softmax函数是将多个标量映射为一个概率分布。对于 K 个标量 x1, · · · , xK ， softmax 函数定义为

这样，我们可以将 K 个变量 x1, · · · , xK 转换为一个分布： z1, · · · , zK ，满足

当softmax 函数的输入为K 维向量x时，

其中，1K = [1, · · · , 1]K×1 是K 维的全1向量。其导数为

离散优化和连续优化 :根据输入变量x的值域是否为实数域，数学优化问题可以分为离散优化问题和连续优化问题。

无约束优化和约束优化 :在连续优化问题中，根据是否有变量的约束条件，可以将优化问题分为无约束优化问题和约束优化问题。 ### 优化算法

全局最优和局部最优

海赛矩阵

《运筹学里面有讲》，前面一篇文章计算梯度步长的时候也用到了： 梯度下降算法

梯度的本意是一个向量（矢量），表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大（为该梯度的模）。

梯度下降法

梯度下降法（Gradient Descent Method），也叫最速下降法（Steepest Descend Method），经常用来求解无约束优化的极小值问题。

梯度下降法的过程如图所示。曲线是等高线（水平集），即函数f为不同常数的集合构成的曲线。红色的箭头指向该点梯度的反方向（梯度方向与通过该点的等高线垂直）。沿着梯度下降方向，将最终到达函数f 值的局部最优解。

梯度上升法

如果我们要求解一个最大值问题，就需要向梯度正方向迭代进行搜索，逐渐接近函数的局部极大值点，这个过程则被称为梯度上升法。

概率论主要研究大量随机现象中的数量规律，其应用十分广泛，几乎遍及各个领域。

离散随机变量

如果随机变量X 所可能取的值为有限可列举的，有n个有限取值 {x1, · · · , xn}, 则称X 为离散随机变量。要了解X 的统计规律，就必须知道它取每种可能值xi 的概率，即

称为离散型随机变量X 的概率分布或分布，并且满足

常见的离散随机概率分布有：

伯努利分布

二项分布

连续随机变量

与离散随机变量不同，一些随机变量X 的取值是不可列举的，由全部实数 或者由一部分区间组成，比如

则称X 为连续随机变量。

概率密度函数

连续随机变量X 的概率分布一般用概率密度函数 p(x) 来描述。 p(x) 为可积函数，并满足：

均匀分布 若a, b为有限数，[a, b]上的均匀分布的概率密度函数定义为

正态分布 又名高斯分布，是自然界最常见的一种分布，并且具有很多良好的性质，在很多领域都有非常重要的影响力，其概率密度函数为

其中， σ >0，µ 和 σ 均为常数。若随机变量X 服从一个参数为 µ 和 σ 的概率分布，简记为

累积分布函数

对于一个随机变量X，其累积分布函数是随机变量X 的取值小于等于x的概率。

以连续随机变量X 为例，累积分布函数定义为：

其中p(x)为概率密度函数，标准正态分布的累计分布函数:

随机向量

随机向量是指一组随机变量构成的向量。如果 X1, X2, · · · , Xn 为n个随机变量, 那么称 [X1, X2, · · · , Xn] 为一个 n 维随机向量。一维随机向量称为随机变量。随机向量也分为离散随机向量和连续随机向量。 条件概率分布 对于离散随机向量 (X, Y) ，已知X = x的条件下，随机变量 Y = y 的条件概率为：

对于二维连续随机向量(X, Y )，已知X = x的条件下，随机变量Y = y 的条件概率密度函数为

期望 对于离散变量X，其概率分布为 p(x1), · · · , p(xn) ，X 的期望（expectation）或均值定义为

对于连续随机变量X，概率密度函数为p(x)，其期望定义为

方差 随机变量X 的方差（variance）用来定义它的概率分布的离散程度，定义为

标准差 随机变量 X 的方差也称为它的二阶矩。X 的根方差或标准差。

协方差 两个连续随机变量X 和Y 的协方差（covariance）用来衡量两个随机变量的分布之间的总体变化性，定义为

协方差经常也用来衡量两个随机变量之间的线性相关性。如果两个随机变量的协方差为0，那么称这两个随机变量是线性不相关。两个随机变量之间没有线性相关性，并非表示它们之间独立的，可能存在某种非线性的函数关系。反之，如果X 与Y 是统计独立的，那么它们之间的协方差一定为0。

随机过程（stochastic process）是一组随机变量Xt 的集合，其中t属于一个索引（index）集合T 。索引集合T 可以定义在时间域或者空间域，但一般为时间域，以实数或正数表示。当t为实数时，随机过程为连续随机过程；当t为整数时，为离散随机过程。日常生活中的很多例子包括股票的波动、语音信号、身高的变化等都可以看作是随机过程。常见的和时间相关的随机过程模型包括贝努力过程、随机游走、马尔可夫过程等。

马尔可夫过程 指一个随机过程在给定现在状态及所有过去状态情况下，其未来状态的条件概率分布仅依赖于当前状态。

其中X0:t 表示变量集合X0, X1, · · · , Xt，x0:t 为在状态空间中的状态序列。

马尔可夫链 离散时间的马尔可夫过程也称为马尔可夫链（Markov chain）。如果一个马尔可夫链的条件概率

马尔可夫的使用可以看前面一篇写的有意思的文章： 女朋友的心思你能猜得到吗？——马尔可夫链告诉你 随机过程还有高斯过程，比较复杂，这里就不详细说明了。

信息论（information theory）是数学、物理、统计、计算机科学等多个学科的交叉领域。信息论是由 Claude Shannon最早提出的，主要研究信息的量化、存储和通信等方法。在机器学习相关领域，信息论也有着大量的应用。比如特征抽取、统计推断、自然语言处理等。

在信息论中，熵用来衡量一个随机事件的不确定性。假设对一个随机变量X（取值集合为C概率分布为 p(x), x ∈ C ）进行编码，自信息I(x)是变量X = x时的信息量或编码长度，定义为 I(x) = − log(p(x)), 那么随机变量X 的平均编码长度，即熵定义为

其中当p(x) = 0时，我们定义0log0 = 0 熵是一个随机变量的平均编码长度，即自信息的数学期望。熵越高，则随机变量的信息越多；熵越低，则信息越少。如果变量X 当且仅当在x时 p(x) = 1 ，则熵为0。也就是说，对于一个确定的信息，其熵为0，信息量也为0。如果其概率分布为一个均匀分布，则熵最大。假设一个随机变量X 有三种可能值x1, x2, x3，不同概率分布对应的熵如下：

联合熵和条件熵 对于两个离散随机变量X 和Y ，假设X 取值集合为X；Y 取值集合为Y，其联合概率分布满足为 p(x, y) ，则X 和Y 的联合熵（Joint Entropy）为

X 和Y 的条件熵为

互信息 互信息（mutual information）是衡量已知一个变量时，另一个变量不确定性的减少程度。两个离散随机变量X 和Y 的互信息定义为

交叉熵和散度 交叉熵 对应分布为p(x)的随机变量，熵H(p)表示其最优编码长度。交叉熵是按照概率分布q 的最优编码对真实分布为p的信息进行编码的长度，定义为

在给定p的情况下，如果q 和p越接近，交叉熵越小；如果q 和p越远，交叉熵就越大。

程序员需要掌握本科程度的线性代数才可以学。作为一名程序员需要要掌握物理知识，数据冗余存储相关的编解码算法，这些背后本质是矩阵的计算，而这些至少需要你掌握本科程度的线性代数的知识才能够进一步的理解学习。

---