核心要点

  • 核心是最大间隔:找到使两类样本到超平面最小间隔最大的分界面,泛化更稳。

  • 解只由支持向量(位于间隔边界上的样本)决定,其余样本不影响。

  • 核技巧用核函数直接算高维内积,隐式映射到高维空间,无需显式计算坐标。

  • 掌握软间隔参数 C 与 RBF 的 gamma:C 控制误分容忍度,gamma 控制单样本影响范围。

标准回答

最大间隔

SVM 是判别式分类器,目标是找一个超平面把两类分开,并让间隔(margin,最近样本到超平面的距离)最大化。最大间隔意味着对噪声更鲁棒、泛化更好。优化目标是在约束「所有样本被正确分类且间隔不小于 1」下最小化权重范数,等价于一个凸二次规划,因此有全局最优解。

支持向量与软间隔

最终超平面只由落在间隔边界上的少数样本(支持向量)决定。现实数据常不可完全线性分,引入松弛变量和惩罚系数 C:C 越大越不容忍误分(易过拟合),越小间隔越宽(易欠拟合)。

核技巧

对非线性问题,把样本映射到高维空间后再线性分割。核技巧的妙处在于:对偶形式只需样本间的内积,用核函数 K(x,z) 直接给出高维内积,无需显式构造高维坐标。常用 RBF(高斯)核、多项式核,RBF 的 gamma 决定单个样本影响半径。

常见误区

⚠️ 常见踩坑

别说「核函数是把数据真的升维再计算」——核技巧的关键正是绕过显式升维,直接计算内积;也别混淆 C(误分惩罚)与 gamma(RBF 影响范围)。

追问

追问 1为什么核技巧能避免维度灾难带来的计算爆炸?

因为对偶问题只依赖样本两两内积,核函数把高维(甚至无穷维,如 RBF)内积压缩成低维输入上的一次函数求值,计算量与映射后维度无关,只与样本数有关。

追问 2C 和 gamma 如何影响模型?

C 大:惩罚误分重,决策面更贴合训练点,易过拟合;C 小:间隔更宽、更平滑。gamma 大:RBF 影响半径小,决策面弯曲、易过拟合;gamma 小:更平滑、易欠拟合。通常网格搜索联合调优。

追问 3SVM 与逻辑回归如何选择?

数据量大、特征多且近似线性可分时逻辑回归更快、可输出概率;样本量中等、需要非线性边界或追求间隔最大化时 SVM(配 RBF 核)更优。SVM 不直接给概率,需额外校准。

延伸学习

与本题相关的知识库文章、术语、工具与行业资讯。