非负矩阵分解(NMF)-Non-negative Matrix
[toc]
一、简介
著名的科学杂志《Nature》于1999年刊登了两位科学家D.D.Lee和H.S.Seung对数学中非负矩阵研究的突出成果。该文提出了一种新的矩阵分解思想――非负矩阵分解(Non-negative Matrix Factorization，NMF)算法，即NMF是在矩阵中所有元素均为非负数约束条件之下的矩阵分解方法。该论文的发表迅速引起了各个领域中的科学研究人员的重视。
优点：
1. 处理大规模数据更快更便捷；
2. 简便性、分解形式和分解结果上的可解释性，以及占用存储空间少等诸多优点。
比较：
-
利用矩阵分解来解决实际问题的分析方法很多，如PCA（主成分分析）、ICA（独立成分分析）、SVD（奇异值分解）、VQ（矢量量化）等。
-
这些方法的共同特点是，元素可为正或负，即使输入的初始矩阵元素是全正的，传统的秩削减算法也不能保证原始数据的非负性。
-
在数学上，从计算的观点看，分解结果中存在负值是正确的，但负值元素在实际问题中往往是没有意义的。例如图像数据中不可能有负值的像素点；在文档统计中，负值也是无法解释的。
二、相关内容
非负矩阵分解(Non-negative Matrix Factorization，NMF)算法。是在矩阵中所有元素均为非负数约束条件之下的矩阵分解方法。
即矩阵维为非负矩阵，那么可以分解为2个非负矩阵
维、
维的乘积。（相关证明还未查阅，以后补上。）
可以显着小于
和
，可以明显降低矩阵的维度。
三、相关算法
1、乘法更新法（Multiplicative weight update method）
Lee和Seung的乘法更新规则由于实现简单而成为一种流行的方法。该算法是：
初始化：和
非负。
更新：由第n次更新第n+1次的、
。
注意：更新是基于第(i,j)元素而不是矩阵乘法完成的。
More recently other algorithms have been developed. Some approaches are based on alternating non-negative least squares: in each step of such an algorithm, first H is fixed and W found by a non-negative least squares solver, then W is fixed and H is found analogously. The procedures used to solve for W and H may be the same or different, as some NMF variants regularize one of W and H. Specific approaches include the projected gradient descent methods, the active set method, the optimal gradient method, and the block principal pivoting method among several others.
四、参考
相关库：
- http://nimfa.biolab.si/ - nimfa - A Python Library for Nonnegative Matrix
- http://www.csie.ntu.edu.tw/~cjlin/nmf/ Factorization Techniques
相关参考：
wiki：https://en.wikipedia.org/wiki/Non-negative_matrix_factorization
https://wenku.baidu.com/view/94c8af0bf78a6529647d5331.html
https://blog.csdn.net/zlp_zky/article/details/78391420
