范数 Norm
范数是数学中一种基本的函数。常常被用来度量某个向量空间(或矩阵)中的向量的长度或大小。对于模型参数的范数,可以用来作为规则化函数。
范数的性质
在泛函分析中,它定义在赋范线性空间中,并满足一定的条件,即
1)非负性;
2)齐次性;
3)三角不等式。
范数的本质是距离,是具有 “长度” 概念的函数。常用在线性代数、泛函分析及相关的数学领域。存在的意义是为了实现比较。范数把不能比较的向量转换成可以比较的实数。
常见的几种范数:
- L0 范数:指向量中非 0 的元素的个数。
- L1 范数:指向量中各个元素绝对值之和。
- L2 范数:用来改善机器学习里面的过拟合问题。
- 核范数:是指矩阵奇异值的和。
- 弗罗贝尼乌斯范数:一种矩阵范数,常用在数值线性代数中。