如何理解ICA（独立成分分析） скачать в хорошем качестве

如何理解ICA（独立成分分析）

ICA认为，手上的样本X，由若干个隐变量(S)通过线性加权(A)的方式得到。那么，如何通过手上的样本X，求解出这种加权方式（A的逆，定义为W），从而求得隐变量。 说白了，就是希望找到一组基向量W（我在PCA中称之为投影矩阵），使得投影之后的样本的维度之间尽可能独立。那么如何刻画独立性呢？可以等价于刻画非高斯性（non-Gaussian），非高斯性可以通过计算随机变量的峰度（四阶矩）进行量化。再结合梯度下降法，最终可以得到我们期望的那组基向量W。 在ICA中有三个核心问题： 1、在ICA中，为什么要假设隐变量之间是相互独立（independent）呢？ 因为ICA的全称是独立成分分析（independent component analysis），它的目标就是希望找到若干个完全独立的隐变量。如果隐变量之间完全独立，那么他们之间就不存在相互影响。 2、在ICA中，为什么要假设，每个隐变量都是非高斯（non-Gaussian）呢? 有三种理解方式：第一种，根据中心极限定理，多个独立随机变量叠加后更接近高斯分布。因此作为隐信号，其高斯性更弱，将这一属性推向极致，就意味着每个隐变量都具有非高斯型；第二种，如果一个高斯分布（A）由两个高斯分布（B、C）叠加而成。仅根据A去推测B和C时有无穷种解法，但是如果A由两个非高斯分布叠加而成，那么这个解是唯一的（如何证明，我不会）；第三种，根据常识，很多隐变量都是非高斯信号，比如人唱歌、心脏跳动、传感器采集到的信号，等等。综上，假设隐变量属于高斯分布是非常合理的。 3、在PCA中，得到的投影向量之间都是正交的，而且投影之后样本的协方差矩阵中，非对角线元素都为0，说明各个维度之间的相关性为0。这跟ICA中提倡的维度之间的独立性尽可能大，有何不同？ 不相关就是两者没有线性关系，但是不排除其它关系存在，独立就是互不相干没有关联。