特征抽取 独立成分分析ICAtype
status
date
slug
summary
tags
category
icon
password
Property
问题引入
鸡尾酒宴会问题
宴会有n个客人，同时说话，不同位置有n个麦克风，请分离每人说话额信号。
鸡尾酒宴会问题属于盲源分离问题
数学描述
有个信号源
是未知的混合矩阵，用来叠加信号,
是按时间取样的 组样，
问题：仅知道，如何求？
问题分析
信号最多有一个分量是高斯分布
假设 ，那么也服从多元正态分布
，所以
为正交阵，，那么，同样可证
也就是说，都可以获得同样的， 因此是无法确定的
ICA的前提条件：
- 各个成分独立
- 各个成分中，最多有一个高斯分布
- 混合矩阵是方阵
解法一：MLE
附加假设：每个分量都是logistics分布
那么，又根据每个分量独立，可以列出似然函数
解法二：
根据中心极限定理， 的线性组合比的任何一个分量都接近正态分布
那么我们找到这样的，使得最不接近高斯分布
因此，需要解决一个问题：如何定义最不接近高斯分布
有两套方案来衡量不接近高斯分布：
- 峰度越偏离0，越不接近高斯分布
- 高斯分布的熵是最大的，定义负熵，这个值越大，说明越偏离高斯分布
Fast ICA
FastICA采用负熵的概念
是高斯函数，是任意非二次函数
等价于求这个最优化：
的常见形式可以是：
实践中发现，对于不同形式的，求得的结果差不多，但计算性能有差异
算法步骤
数据预处理
- 中心化
- 白化
其中是对角阵，对角线上的元素是是协方差矩阵的特征值
是协方差矩阵的特征吸向量。
ICA与PCA区别
- ICA提取的成分是independent
- PCA提取得成分是Orthogonal ICA认为样本数据由独立非高斯分布的隐含因子产生
- PCA认为样本的方差越大则包含的信息越大，数据特征隐含在方差最大的几个正 交方向上，但这很依赖于数据的计量单位选择
- ICA适合用于还原信号，因为人工信号往往分布有规律，不符合高斯分布
- PCA适合用于降维，也可用作对信号进行预处理，可以在一定程度上消除噪音
- 在ICA时可以使用PCA进行数据预处理
应用场景
- 声学信号处理：鸡尾酒宴会问题
- 生物医学信号处理：胎心信号、心脑信号分离
- 阵列信号处理：天线阵列、声呐
- 图像处理：图像特征提取、人脸识别
- 其它：模式识别、数据挖掘、金融等领域
ICA不足：
- 无法还原出源信号的方差，即还原后的信号尺度 与源信号有差别，无法恢复真实波形
- 无法确定还原信号的分量与对应源信号中哪个分 量对应
- 混合矩阵是奇异矩阵或近似奇异矩阵时难以计算
代码
