从开始的ICA，到稀疏表示，然后2001年发明NMF。

利用矩阵分解来解决实际问题的分析方法很多，如PCA(主成分分析)、ICA(独立成分分析)、SVD(奇异值分解)、VQ(矢量量化)等。在所有这些方法中，原始的大矩阵V被近似分解为低秩的V=WH形式。这些方法的共同特点是，因子W和H中的元素可为正或负，即使输入的初始矩阵元素是全正的，传统的秩削减算法也不能保证原始数据的非负性。在数学上，从计算的观点看，分解结果中存在负值是正确的，但负值元素在实际问题中往往是没有意义的。例如图像数据中不可能有负值的像素点；在文档统计中，负值也是无法解释的。

ICA——独立分量分析

• 概述

  • 独立成分分析（Independent Component Analysis，ICA）是一种统计和计算技术，用于解释随机变量、测量数据或信号中的隐藏成分。对于通常以大量样本数据库形式给出的多元观测数据，ICA定义了一个生成模型。此模型假设观测数据变量是某些未知内在变量的现行或非线性混合，而且不仅内在变量是未知的，实现混合的系统也是未知的。我们还假设哪些内在变量是非高斯且相互独立的，并称它们为观测数据的独立成分，这些独立成分（也可称为源或因子）可以通过ICA方法找到。

  • ICA可以看成是主成分分析（PCA）和因子分析（factor analysis）的延拓。但是，ICA是一项更强有力的技术，当经典方法完全失效时，它忍让能够找到支撑观测数据的内在因子或源。

  • ICA分析的数据可能来源于许多不同的领域，包括数字图像、文档数据库，以及经济指标和心理测量。在许多示例中，测量结果是以一组并行（Parallel）信号或时间序列的形式给出，盲源分离（Blind source separation）这一术语可以用于刻画这类问题。盲源分离的典型例子有：多个麦克风拾取同时发出语音的混合信号，多个传感器记录的脑电波、手机的射频干扰信号或从某些工业过程中得到的并行时间序列。

  • IC技术也是一项相对较新的发明，它是20世纪80年代处首先在神经网络建模领域中引入的。到20世纪90年代中期，几个研究小组引入了一些极为成功的新算法，类似鸡尾酒效应问题的演示，也给人们留下深刻的印象：ICA可以从混合信号中找到每一个人的语音波形。因此，无论是在神经网络领域（特别是无监督学习），还是在更为一般的高级统计学和信号处理领域中，ICA都成为了激动人心的新话题之一。ICA在生物信号处理、语音信号分离、无线通信、故障诊断、特征提取、金融时间序列分析和数据挖掘等线上领域中的应用报道也是正在不断涌现。

摘自：《独立成分分析》周宗潭 等人译，《Independent Component Analysis》

MP——稀疏分解

• 参考

  • 稀疏表示与匹配追踪

  • mp&omp 匹配追踪 正交匹配追踪

  • matlab匹配追踪（MP）

NMF——非负矩阵分解

• 提出：著名的科学杂志《Nature》于1999年刊登了两位科学家D.D.Lee和H.S.Seung对数学中非负矩阵研究的突出成果。该文提出了一种新的矩阵分解思想——非负矩阵分解(Non-negative Matrix Factorization，NMF)算法，即NMF是在矩阵中所有元素均为非负数约束条件之下的矩阵分解方法。该论文的发表迅速引起了各个领域中的科学研究人员的重视：一方面，科学研究中的很多大规模数据的分析方法需要通过矩阵形式进行有效处理，而NMF思想则为人类处理大规模数据提供了一种新的途径；另一方面，NMF分解算法相较于传统的一些算法而言，具有实现上的简便性、分解形式和分解结果上的可解释性，以及占用存储空间少等诸多优点。为高效处理这些通过矩阵存放的数据，一个关键的必要步骤便是对矩阵进行分解操作。通过矩阵分解，一方面将描述问题的矩阵的维数进行削减，另一方面也可以对大量的数据进行压缩和概括。

• 概念：NMF是多变量分解的低秩近似技术。

• 优势：NMF相对于ICA来说，组成混合信号的各个声源统计独立性不做要求；相对于稀疏表示来说，不需要额外的非负约束。

• 参考：

  • [1] 非负矩阵分解NMF （介绍比较全）

  • [2] NMF 非负矩阵分解 – 原理与应用

  • [3] 非负矩阵分解（NMF）

  • [4] 基于非负矩阵分解的音频事件检测研究_孔令城.2014