PCA（主成分分析）

PCA（主成分分析）是一种经典的线性降维算法，通过正交线性变换将高维数据投影到方差最大的若干方向上，从而以最少的信息损失实现维度压缩。它是数据探索、可视化与预处理中最基础也最广泛使用的统计工具之一。

PCA 的本质是寻找数据中「变化最大的方向」，将高维空间压缩为低维子空间。

• 主成分：协方差矩阵的特征向量，代表数据方差最大的正交方向
• 特征值：对应主成分所解释的方差大小，特征值越大，该方向信息量越多
• 投影：原始数据点乘以主成分矩阵，得到低维表示（得分矩阵）
• 方差解释率：每个主成分的特征值占全部特征值之和的比例，衡量信息保留程度
• 正交性：各主成分互相垂直且线性不相关，消除了原始特征间的冗余

标准 PCA 可通过特征分解或 SVD 两种路径实现，现代实现通常选用 SVD 以提升数值稳定性。

• 数据中心化：减去各特征均值，使数据以原点为中心（如需要可再做标准化）
• 协方差矩阵：计算样本协方差矩阵，描述特征间线性相关结构
• 特征分解：对协方差矩阵求特征值与特征向量，得到主成分方向
• SVD 等价：对中心化数据矩阵做奇异值分解，右奇异向量即为主成分方向，避免显式构建协方差矩阵
• 选取维度：按累计方差解释率（如 95%）确定保留的主成分数量

PCA 跨越一个多世纪，从几何直觉逐步演化为现代大规模计算工具。

• 1901：Karl Pearson 在 Philosophical Magazine 发表论文，首次用「最近平面拟合」的几何语言描述主成分思想
• 1933：Harold Hotelling 在 Journal of Educational Psychology 引入代数化的「主成分」概念，给出协方差矩阵特征分解的现代形式
• 1991：Turk 与 Pentland 将 PCA 用于人脸识别，提出「特征脸（Eigenfaces）」，成为计算机视觉早期里程碑
• 2000 年代：Kernel PCA、Sparse PCA 等变体相继出现，将方法扩展到非线性和稀疏场景
• 2011：Halko 等人提出随机化 SVD，大幅提升大规模 PCA 的计算效率，推动工业落地
• 2010 年代至今：与深度学习结合（白化预处理），以及在单细胞基因组学、推荐系统等前沿领域持续发挥基础性作用

PCA 广泛应用于机器学习流水线的早期阶段，以简化后续计算并提升模型泛化能力。

• 数据可视化：将高维数据压缩到 2–3 个主成分，用散点图直观呈现样本聚类结构
• 降噪：只保留方差大的主成分，丢弃低方差（通常是噪声）方向，实现信号提取
• 特征压缩：减少输入维度，缓解「维度诅咒」，加速下游分类或回归模型训练
• 人脸识别：Eigenface 方法正是 PCA 在图像像素空间的直接应用，是计算机视觉的经典成果
• 金融风控：提取收益率矩阵的公共因子、消除多重共线性，常用于构建风险因子模型

PCA 假设线性结构，对复杂数据存在固有局限，使用前需评估是否适用。

• 仅捕获线性关系：无法处理流形、环形等非线性数据结构，此时应考虑 Kernel PCA 或 UMAP
• 对异常值敏感：均值与协方差容易被离群点拉偏，鲁棒 PCA（RPCA）变体可缓解此问题
• 主成分可解释性差：主成分是原始特征的线性组合，业务含义往往不直观
• 须先中心化（及标准化）：忽略量纲差异会导致方差大的特征主导结果，遮盖其他特征的真实贡献
• 维度选择无黄金标准：「保留 95% 方差」是经验规则，实际应根据下游任务效果验证，不可一刀切

围绕 PCA 的核心思想，学术界发展出多种适应不同需求的变体方法。

• Kernel PCA：通过核函数将数据隐式映射到高维特征空间，再做线性 PCA，适用于非线性结构
• 稀疏 PCA（Sparse PCA）：在主成分上施加 L1 约束，使载荷向量稀疏，提升可解释性
• 增量 PCA（Incremental PCA）：分批处理数据，适合内存受限或流式数据场景
• 概率 PCA（Probabilistic PCA）：将 PCA 嵌入生成模型框架，提供缺失值处理和不确定性估计
• 鲁棒 PCA（RPCA）：将数据矩阵分解为低秩加稀疏两部分，对噪声和异常点更鲁棒

PCA 是线性降维的基准，理解其边界有助于选择合适的替代方法。

• t-SNE：非线性，专为二维可视化设计，保留局部邻域结构但不保留全局距离，计算开销大
• UMAP：非线性，兼顾局部与部分全局结构，速度快于 t-SNE，适合大规模数据集
• LDA（线性判别分析）：有监督降维，最大化类间距离而非方差，需要标签信息
• 自编码器：深度非线性降维，线性自编码器（无激活函数）与 PCA 等价；非线性版本表达能力更强
• SVD：与 PCA 数学等价，直接作用于数据矩阵而非协方差矩阵，是 PCA 的主流实现路径