什么是 N 元语法？对语言建模有何贡献？

n-gram 是连续 n 个 token 的片段。n-gram 语言模型 用马尔可夫假设 $P(w_t|w_{1:t-1})approx P(w_t|w_{t-n+1:t-1})$ 估计下一个词概率，是统计 LM 基础；配合平滑（Kneser-Ney）可算 困惑度。

一、先给出结论和背景

• 定义：n-gram = 文本中长度 n 的连续词序列。unigram=词，bigram=词对，trigram=三连。
• 语言建模：估计序列概率 $P(w_1...w_T)=prod_t P(w_t|context)$。n-gram LM 用 $(n-1)$ 阶马尔可夫近似上下文。

二、拆开关键步骤和判断点

• 训练：统计语料中 n-gram 计数 → 最大似然 → 平滑（加一、Good-Turing、Kneser-Ney）处理零计数。
• 贡献：1. 拼写纠错、输入法候选

2. 机器翻译候选评分（传统 SMT）
3. 语音识别语言模型分支
4. 文本分类特征（bag-of-n-grams）

三、补上落地边界和取舍

• 局限：数据稀疏（未见 n-gram）；无法泛化到语义相似表达；n 增大指数爆炸。
• 评估：困惑度 Perplexity 越低越好。
  现代 Transformer LM 用神经网络隐式建模任意长依赖，但 n-gram 思想仍见于 BPE token 与局部特征。详见 语言模型。

知识库：语言模型入门。术语：语言模型、Perplexity、BLEU。