什么是 N 元语法？对语言建模有何贡献？

n-gram 是连续 n 个 token 的片段。n-gram 语言模型 用马尔可夫假设 $P(w_t|w_{1:t-1})\approx P(w_t|w_{t-n+1:t-1})$ 估计下一个词概率，是统计 LM 基础；配合平滑（Kneser-Ney）可算 困惑度。

定义：n-gram = 文本中长度 n 的连续词序列。unigram=词，bigram=词对，trigram=三连。

语言建模：估计序列概率 $P(w_1...w_T)=\prod_t P(w_t|context)$。n-gram LM 用 $(n-1)$ 阶马尔可夫近似上下文。

训练：统计语料中 n-gram 计数 → 最大似然 → 平滑（加一、Good-Turing、Kneser-Ney）处理零计数。

贡献

1. 拼写纠错、输入法候选
2. 机器翻译候选评分（传统 SMT）
3. 语音识别语言模型分支
4. 文本分类特征（bag-of-n-grams）

局限：数据稀疏（未见 n-gram）；无法泛化到语义相似表达；n 增大指数爆炸。

评估：困惑度 Perplexity 越低越好。

现代 Transformer LM 用神经网络隐式建模任意长依赖，但 n-gram 思想仍见于 BPE token 与局部特征。详见 语言模型。