PCA 原理研究

前两次课介绍 PCA，大家应该对主成分分析降维有了一定的了解，我还有两个问题没有解决，课下自己查阅了些资料。

1. 主成分分析步骤是如何推导出来的？
2. 协方差矩阵的 n-1 如何了解？

主成分分析步骤的推导

PPT 上和老师分享的视频实际上在开头都有描述，较为简略。由于我们更关注 PCA 的实际操作步骤，更容易如何求矩阵的特征值和特征向量，不过这样，容易忽略：我们为什么要做矩阵正交化？我们需要回到优化目标上。

思路梳理

降维 -> 基变换、投影

分散-> 投影的方差最大

保留特征-> 基重叠最少-> 基正交（如果能找到）

引入优化目标：寻找 K 维的新正交基，使得数据变换到这组基上后方差值最大。

优化目标的实现：

上面我们导出了优化目标，但是这个目标似乎不能直接作为操作指南（或者说算法），因为它只说要什么，但根本没有说怎么做。所以我们要继续在数学上研究计算方案。

我们发现最终要达到的目的与字段内方差及字段间协方差有密切关系。

用协方差矩阵来描述我们的优化目标：

优化目标矩阵对角化等价

寻找矩阵对角化方式

求特征值，特征向量。

协方差矩阵对角化

根据上述推导，我们发现要达到优化目前，等价于将协方差矩阵对角化：即除对角线外的其它元素化为 0，并且在对角线上将元素按大小从上到下排列，这样我们就达到了优化目的。这样说可能还不是很明晰，我们进一步看下原矩阵与基变换后矩阵协方差矩阵的关系：