矩阵分析 (四)向量和矩阵的范数

  我们曾经用 内积 定义了向量空间中一个 元素的长度 ，它是几何长度的推广，利用这个长度的概念我们可以讨论 极限 、 逼近 的问题。在分析解决这些问题时最重要的是利用了长度的基本性质、 非负性 、 齐次性 和 三角表达式 。

  则称 为 上的向量范数，简称 向量范数 。

  设：

  规定：

  很容易证明这是范数，叫作向量的 2范数 。2范数在酉变换下不变。

  设：

  规定：

  则 是范数，叫做向量的 1范数 。

  设：

  规定：

  则 是范数，叫做 向量的 范数 。

  设 ，规定，

  则 也是范数，叫做 向量的 范数 。

  规定：

   则 是函数的范数

  在连续函数的空间中，规定：

   则 也是范数 。

  在一个向量空间之中可以构造无穷多种范数，前面所述只是最常用的范数。下面给出 从已知范数构造新的向量范数的方法 。

  规定

  则 是范数。

  由于矩阵 可以有无穷多，所以用这种方法可以 构造无穷多种范数 。

  如果：

  则称 收敛，记作：

   不收敛的序列叫作发散序列 。

  收敛是向量序列的性质，这种性质 不应该受到度量方式 的影响，也就是一个向量序列在一种范数的意义下收敛，那么它在另一种范数的意义下也应该收敛。 一个空间中的序列在一种范数下收敛，那么它在另一种范数下也是收敛的。

  则称向量范数 和 等价。

  即若 在 意义下收敛，则 在 意义下也收敛。 向量序列的收敛不受范数选择影响 。

  同一个向量在不同的范数下长度一般不同，如：

  则：

  相差很大，但是在讨论收敛时，效果也是一样的，但是要注意，这里讨论的是有限维的空间， 无穷维空间可以不等价 。

  由于一个 矩阵可以看作 维向量，因此可以按照定义向量范数的方法来定义矩阵范数，但是 矩阵之间还有矩阵的乘法，在研究矩阵范数时应该给予考虑 。

  则称 为 上矩阵的范数，简称 矩阵范数 。

  以及 上的两个矩阵范数等价。

  与 相仿，设 ，规定：

  则 是 上的矩阵范数，称 为 范数 。

  与 相仿，对于 ，规定：

  则 是 上的一种矩阵范数，称为矩阵的 Frobenius范数，简称 范数 。

  设 ，规定：

  则 是 上的矩阵范数。

  则称 矩阵范数 与向量范数 是相容的 。

  则：

  现在任取：

  则：

  是 的矩阵。规定：

  则在 中定义了一种运算。

  则：

  取：

  则：

  前面介绍了由矩阵范数定义向量范数的方法，接下来将要介绍由向量范数来定义矩阵范数的方法。

  我们知道，单位矩阵在矩阵的乘法中的作用类似于1在乘法中的作用。但是对于已经知道的矩阵范数，如 ， ， 范数， 阶单位矩阵 的范数。

  能否构造出使得 的范数呢？

  则 是 上的 矩阵范数 ，称为由向量范数 导出的矩阵范数，简称 导出范数 或者 从属范数 。

  从属范数的计算是求多元函数的最大值，计算并不容易，我们只就向量的1，2， 导出的矩阵范数分别是 ， ， ，则：

   是矩阵 的元素取模，然后把 每一列元素加起来 ，取这些列和的最大值。而 是把 每行的模加起来 ，然后取最大值。

函数norm格式n=norm(X)%X为向量，求欧几里德范数，即。n=norm(X,inf)%求-范数，即。n=norm(X,1)%求1-范数，即。n=norm(X,-inf)%求向量X的元素的绝对值的最小值，即。n=norm(X,p)%求p-范数，即，所以norm(X,2)=norm(X)。命令矩阵的范数函数norm格式n=norm(A)%A为矩阵，求欧几里德范数，等于A的最大奇异值。n=norm(A,1)%求A的列范数，等于A的列向量的1-范数的最大值。n=norm(A,2)%求A的欧几里德范数，和norm(A)相同。n=norm(A,inf)%求行范数，等于A的行向量的1-范数的最大值即：max(sum(abs(A')))。n=norm(A,'fro')%求矩阵A的Frobenius范数，矩阵元p阶范数估计需要自己编程求，计算公式如下举个例子吧a=magic(3)sum(sum(abs(a)^4))^(1/4)a=816357492ans=197411希望能帮上

直白的说：

向量的一种范数就理解成在某种度量下的长度，比如欧式空间，二范数：||x||_2=sqrt(sum(x_i^2))。

矩阵范数，通常是把矩阵拉长成一列，做向量范数。eg 矩阵的F范数就是拉成向量之后的二范数。

算子范数，算子A(有穷维中的矩阵A), 作用在向量x上（乘法），

||A||:=max(||Ax||), st ||x||=1

至于作用，就是方便给一个抽象的空间（比如连续函数空间，函数就是一个“点”）引入极限、收敛等分析的性质，像矩阵核范数在矩阵compressed sensing里就挺重要~

向量的1-范数：║x║1=│x1│+│x2│+…+│xn│
，x的1-范数是8矩阵的1-范数：║A║1
=
max{
∑|ai1|,
∑|ai2|
,……
,∑|ain|
}
（列和范数，A每一列元素绝对值之和的最大值）

L1范数是向量中各个元素绝对值之和，L1范数可以进行特征选择，即让特征的系数变为0。

L2范数是向量各元素的平方和然后求平方根，L2范数可以防止过拟合，提升模型的泛化能力，有助于处理 condition number不好下的矩阵(数据变化很小矩阵求解后结果变化很大)。

例如2维空间中，向量(3,4)的长度是5，那么5就是这个向量的一个范数的值，更确切的说，是欧式范数或者L2范数的值。

扩展资料：

注意事项：

1、当P=0时，也就是L0范数，由此可知L0范数并不是一个真正的范数，它主要被用来度量向量中非零元素的个数。

2、在实际应用中，由于L0范数本身不容易有一个好的数学表示形式，给出上面问题的形式化表示是一个很难的问题，故被人认为是一个NP难问题。所以在实际情况中，L0的最优问题会被放宽到L1或L2下的最优化。

3、由于L1范数的天然性质，对L1优化的解是一个稀疏解，因此L1范数也被叫做稀疏规则算子。通过L1可以实现特征的稀疏，去掉一些没有信息的特征，例如在对用户的爱好做分类的时候，用户有100个特征，可能只有十几个特征是对分类有用的，大部分特征如身高体重等可能都是无用的，利用L1范数就可以过滤掉。

参考资料来源：百度百科-L1范数正则化

参考资料来源：百度百科-范数

L0范数：

L1范数：

L2范数：

常用的三种p-范数诱导出的矩阵范数是：

1-范数：║A║1 = max{ ∑|ai1|, ∑|ai2| ,…… ,∑|ain| } (列和范数，A每一列元素绝对值之和的最大值)　(其中∑|ai1|第一列元素绝对值的和∑|ai1|=|a11|+|a21|++|an1|,其余类似)；

2-范数：║A║2 = A的最大奇异值 = ( max{ λi(A^HA) } ) ^{1/2} (欧几里德范数,谱范数,即A^HA特征值λi中最大者λ1的平方根，其中A^H为A的转置共轭矩阵)；

∞-范数：║A║∞ = max{ ∑|a1j|, ∑|a2j| ,, ∑|amj| } (行和范数，A每一行元素绝对值之和的最大值)　(其中为∑|a1j| 第一行元素绝对值的和，其余类似)

扩展资料：

一般来讲矩阵范数除了正定性，齐次性和三角不等式之外，还规定其必须满足相容性：║XY║≤║X║║Y║。所以矩阵范数通常也称为相容范数。　

如果║·║α是相容范数，且任何满足║·║β≤║·║α的范数║·║β都不是相容范数，那么║·║α称为极小范数。对于n阶实方阵(或复方阵)全体上的任何一个范数║·║，总存在唯一的实数k>0，使得k║·║是极小范数。

注：如果不考虑相容性，那么矩阵范数和向量范数就没有区别，因为mn矩阵全体和mn维向量空间同构。引入相容性主要是为了保持矩阵作为线性算子的特征，这一点和算子范数的相容性一致，并且可以得到Mincowski定理以外的信息。

参考资料来源：百度百科-矩阵范数

---