非负矩阵分解 Nonnegative Matrix Factor

非负矩阵分解( NMF），是所有元素均满足非负约束下的一种矩阵分解方法。它最早由 Lee 和 Seung 于 1999 年在 Nature 杂志上提出。

NMF 的数学定义

对于任意给定的一个非负矩阵 V ，NMF 算法能够寻找到一个非负矩阵 W 和一个非负矩阵 H ，使得满足 V = W x H ，从而将一个非负矩阵分解为两个非负矩阵的乘积。

NMF 的解法

有很多方法可以求 W 和 H ，其中 Lee 和 Seung 的倍增更新法因为实现简单，最为通用。

此外有些算法是基于交替非负最小二乘法：在每一步中，首先固定 H 并通过非负最小二乘法求解法得到 W ，然后固定 W 同理求出 H 。

求解 W 或 H 的方法可以相同或不同，因为可以对 W 或 H 进行规范化（以防止过拟合）。

具体求解方法包括：投影梯度下降方法（the projected gradient descent methods），有效集法（the active set method）和 the block principal pivoting method 。

NMF 优缺点

• 优点：

1. 处理大规模数据更快更便捷；
2. 实现简便性、分解形式和分解结果上的可解释性，占用存储空间少。

• 缺点：

1. NMF 中只用一层表示隐变量，无法处理复杂学习问题；
2. NMF 只约束了 W 和 H 的非负性（这是唯一先验，只要求满足这个），而没有考虑到对于该先验，H 内部元素间的相关性。

NMF 的应用领域：

• 图像分析
• 文本聚类/数据挖掘
• 语音处理
• 机器人控制
• 生物医学工程
• 化学工程
• 信号处理
• 模式识别
• 计算机视觉