范数的定义是什么?

范数是把一个事物映射到非负实数，且满足非负性、齐次性、三角不等式，符合以上定义的都可以称之为范数。所以范数的具体形式有很多种（由内积定义可以导出范数，范数还也可以有其他定义，或其他方式导出），要理解矩阵的算子范数，首先要理解向量范数的内涵。

范数理论是矩阵分析的基础，度量向量之间的距离、求极限等都会用到范数，范数还在机器学习、模式识别领域有着广泛的应用。

特点：

L0范数与L1范数都可以实现稀疏，而L1范数比L0具有更好的优化求解特性而被广泛使用。 L0范数本身是特征选择的最直接的方案，但因为之前说到的理由，其不可分，且很难优化，因此实际应用中我们使用L1来得到L0的最优凸近似。

总结一下上两段的结论就是：L1范数和L0范数可以实现稀疏，L1因为拥有比L0更好的优化求解特性而被广泛应用。

从学习理论的角度来说，L2范数可以防止过拟合，提升模型的泛化能力。从优化或者数值计算的角度来说，L2范数有助于处理condition number不好的情况下矩阵求逆很困难的问题。

直白的说：
向量的一种范数就理解成在某种度量下的长度,比如欧式空间,二范数：||x||_2=sqrt(sum(x_i^2))
矩阵范数,通常是把矩阵拉长成一列,做向量范数eg 矩阵的F范数就是拉成向量之后的二范数
算子范数,算子A(有穷维中的矩阵A),作用在向量x上（乘法）,
||A||:=max(||Ax||),st||x||=1
至于作用,就是方便给一个抽象的空间（比如连续函数空间,函数就是一个“点”）引入极限、收敛等分析的性质,像矩阵核范数在矩阵compressed sensing里就挺重要~

酉矩阵的算子范数因为其相容性等于1，单位矩阵的算子范数为1。

应用中常将有限维赋范向量空间之间的映射以矩阵的形式表现，这时映射空间上装备的范数也可以通过矩阵范数的形式表达，矩阵范数却不存在公认唯一的度量方式。

扩展资料：

一般来讲矩阵范数除了正定性，齐次性和三角不等式之外，还规定其必须满足相容性：║XY║≤║X║║Y║。所以矩阵范数通常也称为相容范数。　

如果不考虑相容性，那么矩阵范数和向量范数就没有区别，因为mn矩阵全体和mn维向量空间同构。引入相容性主要是为了保持矩阵作为线性算子的特征，这一点和算子范数的相容性一致，并且可以得到Mincowski定理以外的信息。

矩阵的谱条件数求法：矩阵A的条件数等于A的范数与A的逆的范数的乘积，即cond(A)=‖A‖‖A-1‖，因为无穷大算子范数就是行和范数，就是行上的元素模的累加和的最大者。

A^-1=

[ 11112 -01112 000001

-01112 01112 -000001

000001 -000001 0000001]

从而‖A^-1‖∞·‖=max{|11112|+|-01112|+|000001|,|-01112|+|01112|+|-000001|,|000001|+|-000001|+|0000001|}=122241

矩阵条件数

例如，线性方程Ax=b的条件数给出了数值求解得到一个解 x有多不精确的一个上限。条件数也会增大b中存在的误差。这个放大的程度可以使得一个低条件数的系统（通常是件好事情）变得不精确而使得一个高条件数的系统（通常是件坏事情）变得精确，这取决于b的数据知道得多清楚。对于这个问题。

要证明矩阵的1-范数计算式为：║A║1 = max{ ∑|ai1|, ∑|ai2| ,…… ,∑|ain| }，可以按照如下步骤进行证明：
1 首先，我们需要定义矩阵的1-范数。对于一个n行m列的矩阵A，其1-范数定义为所有列向量的各个元素绝对值之和的最大值，即：
║A║1 = max{ ∑|aij| }, j=1,2,,m
2 接下来，我们需要证明上述公式等于max{ ∑|ai1|, ∑|ai2| ,…… ,∑|ain| }。对于每一列向量Ai，我们可以将其展开为一个n维的列向量 a=[a1,a2,,an]T，其中ai表示向量Ai的第i个元素。
3 由于矩阵的列向量是列线性无关的，因此我们可以通过线性组合将每个列向量表示为其他列向量的和。例如，对于第一列向量A1，我们有：
A1 = a1e1 + a2e2 + + anen，
其中e1, e2, , en表示第n维的单位向量。
4 根据绝对值不等式，我们可以得到：
|ai1| + |ai2| + + |ain| ≤ |a1| + |a2| + + |an|
5 由此可以得到：
∑|aij| = max{ ∑|aij| } ≤ ∑|ai1| + ∑|ai2| + + ∑|ain|,
j=1,2,,m
6 另一方面，对于每个列向量Ai，我们也有：
∑|aij| ≤ ║A║1，
j=1,2,,m
即矩阵的1-范数是所有列向量绝对值之和的上界。
7 因此，我们得到了以下结论：
max{ ∑|ai1|, ∑|ai2| ,…… ,∑|ain| } ≤ ║A║1 ≤ ∑|ai1| + ∑|ai2| + + ∑|ain|，
j=1,2,,m
8 根据上述结论，我们可以证明矩阵的1-范数计算式为：║A║1 = max{ ∑|ai1|, ∑|ai2| ,…… ,∑|ain| }。

1-范数：是指向量（矩阵）里面非零元素的个数。类似于求棋盘上两个点间的沿方格边缘的距离。||x||1=sum（abs(xi)）；2-范数（或Euclid范数）：是指空间上两个向量矩阵的直线距离。类似于求棋盘上两点见的直线距离（无需只沿方格边缘）。||x||2=sqrt(sum(xi^2))；∞－范数(或最大值范数)：顾名思义，求出向量矩阵中其中模最大的向量。||x||∞=max(abs(xi))；PS由于不能敲公式，所以就以伪代码的形式表明三种范数的算法，另外加以文字说明，希望楼主满意。相互学习，共同进步~

算子范数
算子范数这一节内容比较多，所以我分成了两部分。承接第一部分，下面我们进一步介绍算子
范数。
算子范数的计算
算子范数可以归结为求函数的约束极值，当向量的范数选的适当的时候，是有可能算出来具体
数的。由算子范数（一）中的定理1我们知道，算子范数一定是有解的，但是这个max具体应
该是哪个就不好解了。作为工科出身的我当然不是很喜欢这样的答案。下面我们就介绍几种特
殊的可以求解的算子范数的情况吧。
虽然这个题是某一列求max，但总比总体求max好很多了。下面，我们就具体证一下吧：
这个证明思路同我们之前大部分题的证明思路不太一样，用到的是双向不等式来证明等式。也
就是通过既大于等于又小于等于，最后只能是等于来证明这个等式。在具体证明过程中我们再
来感受一下：
我们接下来分别证明这两个不等式，先从2开始吧（为什么是2，因为2比较简单，呵呵）：
下面我们来证1，这个1需要用到比较特殊的构造方法：
我们介绍完列和范数之后，再来介绍一下行和范数
与列和范数证明思路非常类似，也是通过不等的关系来证明相等。
与之前我们给出的两种不等式类似的，我们先从2开始：
同上面例四中的1一样，这里的1的证明也是需要通过构造的方法来证明。但与绝对列和不同的
是，绝对列和可以通过一个矩阵乘一个向量构造出一个列和。但是，绝对行和范数没有办法通
过单纯的乘以一个向量构造出一个行。下面，请看具体的证明：
这个证明过程中用到了欧拉公式，先来复习一下吧：  ，由复数模的定义，我们可以知道，他的模是1。这里，我们构造一个特殊的向量Z，对于一般的Z，在复数域内是
这样的形式： 
我们这里注意，因为  是永远小于等于1的，所以  总是小于等于其对应位置处元素的模
的。所以下面  会有一个大于等于符号。证明中没有说到的是我们已经默认假设第S行有最大的行和范数了。
因为算子范数在很多时候并不方便计算，所以下面我们要介绍介绍谱范数的事情。
谱范数
关于谱而概念我们在特征值特征向量那一节就有介绍过，这里我们再复习一下：
A的所有特征值的全体，叫做A的谱，记作  。
这里的谱半径我们可以理解为包含所有特征值的圆的最小半径。
这里我们举一个2范数的例子：
这个题的证明同之前题的证明类似的，也是通过既大于等于又小于等于来证明等于的关系。
谱范数是对应于矩阵的最大特征值开根号。
这个证明过程中用到了Hermite矩阵，我们来复习一下。Hermite矩阵可以看成是复数域内的对
称阵。该矩阵所对应不同特征值的特征向量相互正交。Hermite矩阵的正交性保证了特征向量
正交化之后还是特征向量，而对于一般矩阵这一点不一定成立。
我们再介绍一下正定和半正定的概念，如果一个矩阵A他的二次型大于零，那么我们称这个矩
阵A是正定阵。如果这个矩阵A对应的二次型是大于等于零的，那么我们称这个矩阵是半正定
阵。对于正定阵而言，他的特征值都是大于零的，对于半正定而言，他的特征值都是大于等于
零的。
下面给出具体证明：
我们先来证明一下（1）：
（因为不同的X内积为0，相同的X内积为1）
（前面我们已经设了  而特征值为  了）
= 
矩阵的谱范数 虽然不方便计算，但他有很多很好的性质，下面我们来介绍一下：
我们具体来证明一下：
（1）
（3）反映了谱范数的酉不变行，这一点我们在矩阵范数的时候也见到过。
我们下面再来介绍一个定理：
证明如下：
第一个不等号是因为柯西不等式，第二个不等号是因为算子范数的相容性。
如果此处看不懂，请回一下我们之前行和范数以及列和范数的证明。

---