SVM（支持向量机）

支持向量机（SVM）是一种以「最大化分类间隔」为核心目标的监督学习算法，通过在特征空间中寻找最优超平面来完成分类或回归任务。结合核函数技巧，SVM 能高效处理非线性问题，在中小规模、高质量特征数据上至今仍是可靠的基准方法。

SVM 将分类问题转化为凸优化问题，目标是找到间隔最大的决策边界。

• 最大间隔原则：决策超平面到两类最近样本点的距离之和称为「间隔」，SVM 令该间隔最大化，从而提升泛化能力
• 支持向量：只有靠近决策边界的少数样本点参与模型定义；删去其余样本后模型不变，这是 SVM 的独特性质
• 凸优化保证全局最优：原始问题转化为二次规划（QP），理论上有唯一最优解，不存在局部极值陷阱
• VC 理论基础：最大间隔准则来自 Vapnik-Chervonenkis 统计学习理论，间隔越大，泛化误差上界越小

1995 年 Cortes 和 Vapnik 引入软间隔，使 SVM 能处理现实中线性不可分的数据。

• 松弛变量 ξ：允许部分样本落在间隔内甚至被错误分类，每个松弛变量衡量该样本违反间隔约束的程度
• 正则化参数 C：控制「间隔最大化」与「误分类惩罚」之间的权衡；C 越大越趋向硬间隔，越小越宽松
• 硬间隔 vs 软间隔：硬间隔要求数据完全线性可分，对噪声极敏感；软间隔是工程实践中的标准形式
• 对偶转化：通过拉格朗日对偶将原始优化转化为只依赖样本内积的对偶形式，支持向量对应非零拉格朗日乘子

1992 年 Boser、Guyon 和 Vapnik 提出核函数方法，使 SVM 无需显式计算高维映射即可处理非线性分类。

• 核函数原理：用核函数 K(x, x') 替换对偶形式中的内积，隐式将数据映射到高维乃至无穷维特征空间
• 常用核函数：线性核（适合高维稀疏文本）、RBF/高斯核（通用非线性场景首选）、多项式核（可捕获特征交叉）
• 计算优势：核技巧只需计算原始空间的函数值，避免了高维映射的显式运算，复杂度与映射后维度无关
• SVR 扩展：同样的核技巧可用于支持向量回归（SVR），以 ε-不敏感损失函数替代分类目标

SVM 从统计学习理论出发，经历了数十年演进才成为工程实用算法。

• 1963：Vapnik 与 Chervonenkis 提出 VC 维理论，为 SVM 奠定统计学习基础
• 1992：Boser、Guyon、Vapnik 在 COLT 会议提出核化最大间隔分类器（「A Training Algorithm for Optimal Margin Classifiers」）
• 1995：Cortes 与 Vapnik 在 AT&T 贝尔实验室发表软间隔版本（「Support-Vector Networks」, Machine Learning Vol.20），引入松弛变量使算法实用化
• 1998：Platt 提出 SMO（序列最小优化）算法，将大型 QP 分解为两变量子问题，大幅提升训练效率
• 2001：libsvm 库发布，成为此后十年最广泛使用的 SVM 实现
• 2010 年代中期后：深度学习在大规模任务上全面超越 SVM，但 SVM 在小样本、高维稀疏、需理论保证的场景仍广泛使用

SVM 与其他分类算法在原理和适用场景上各有侧重。

• vs 逻辑回归：逻辑回归直接输出概率并对全体样本建模；SVM 专注决策边界附近的支持向量，不直接输出概率（需 Platt Scaling 校准）
• vs 随机森林：随机森林可自动处理混合类型特征和缺失值；SVM 对特征量纲敏感，需标准化，但在特征维度远高于样本量时（如文本分类）往往表现更优
• vs 神经网络：神经网络在大规模数据上通常更强；SVM 训练无需 GPU，在小样本场景有理论保证，且解唯一
• vs KNN：KNN 无需训练但预测慢且需存储全部样本；SVM 训练后预测极快，只需与支持向量计算内积

了解 SVM 的局限有助于合理选型，避免在不适合的场景中使用。

• 大规模训练慢：标准 QP 求解复杂度约为 O(n²)～O(n³)，百万级样本下训练时间难以接受；梯度提升树和深度学习在此场景已是主流
• 超参调优繁琐：核函数类型、C、γ 组合对性能影响显著，必须依赖交叉验证，对初学者不友好
• 不直接输出概率：原始输出是决策函数值，需额外 Platt Scaling 校准才能得到概率，且校准质量有限
• 特征预处理要求高：SVM 对量纲不一致和无关特征敏感，特征标准化（StandardScaler）是必要前处理步骤
• 误区「SVM 已彻底过时」：在样本量小于十万、特征质量高、需要可解释性或理论保证的场景，SVM 仍是值得考量的基线

SVM 在文本、图像、生物信息等领域有成熟的应用范式。

• 文本分类：配合 TF-IDF 特征，线性 SVM（LinearSVC）在高维稀疏文本上是强基线，速度快且效果稳定
• 图像分类（深度学习前）：HOG 特征 + RBF SVM 是行人检测、人脸识别的经典流程
• 生物信息学：基因表达分类、蛋白质结构预测等小样本高维场景仍是 SVM 优势领域
• 主流库：libsvm（C 核心库，支持多语言绑定）、scikit-learn SVC/SVR（Python 首选）、LIBLINEAR（百万级线性 SVM）
• 调参建议：先用 RBF 核 + 网格搜索（C ∈ [0.01, 1000]、γ ∈ [1e-4, 1]）建立基线，再根据数据规模决定是否切换为线性核