Zero-shot（零样本）

零样本推理打破了传统机器学习「每个新任务都需要标注数据」的前提，使同一模型在未见过的任务上直接推理。

• 核心前提 ：模型在大规模预训练中已隐式习得语言结构、世界知识与任务模式，零样本推理是对这些知识的「调取」而非「新学」。
  - 能力来源： 预训练语料对该任务领域的覆盖程度，以及后续指令微调（instruction fine-tuning） 的质量，共同决定零样本上限。
  -GPT-3 的里程碑意义 ：2020 年，Brown 等人系统展示了超大规模语言模型在零样本设定下跨任务迁移的能力，使该范式引发广泛关注。
  - 与少样本的关系： 零样本（zero-shot）、单样本（one-shot）、少样本（few-shot）并列为上下文学习（in-context learning） 的三种配置，区别仅在于上下文中是否包含示例。

零样本推理发生在模型前向推理阶段，不涉及任何参数更新，核心机制来自两个训练阶段的叠加。

• 大规模自回归预训练：如 GPT-3 使用的语言建模目标，让模型在海量文本中形成通用语义表示。
• 指令微调（Instruction Fine-Tuning）：FLAN、InstructGPT、Alpaca 等工作在预训练模型之上，用多样化指令数据进行监督微调，使模型能够解析和执行结构化自然语言指令。
• 提示词（Prompt）的关键作用：指令的表述方式直接影响模型对任务的理解——边界清晰、动词明确的指令通常带来更稳定的输出。
• 无梯度推理：整个过程不修改权重，因此可跨任务即时切换，是零样本的核心优势。

围绕零样本基础范式，研究者在多个方向上发展出了有影响力的变体。

• Zero-shot CoT（零样本链式思维）：Kojima 等人（2022）发现，仅在提示末尾加上「请一步一步思考」即可激活模型的推理链，显著提升复杂推理准确率。
  - 零样本分类（NLI 框架）： 将分类任务改写为自然语言推断（NLI） 问题，通过判断「假设」与「前提」的蕴含关系完成分类，绕过对标注样本的依赖。
  -多模态零样本（CLIP） ：OpenAI 的 CLIP 模型（2021）用文本描述替代图像示例，直接将图像与类别文字对齐，实现图像零样本分类。
  - 零样本跨语言迁移： 在一种语言上微调的模型，可在零样本设定下迁移到其他语言，多语言预训练（如 mBERT、XLM-R）是其基础。

零样本推理在需要快速落地或标注成本高的场景中最具实用价值。

• 快速原型验证：无需准备示例数据即可测试模型是否具备某项能力，是产品早期探索的最低成本起点。
• 长尾与新兴任务：标注样本稀少时，零样本往往是唯一可行的冷启动方式。
• 意图分类与摘要：客服机器人、文档自动摘要通常先用零样本提示测试效果，再决定是否引入示例或微调。
• 低资源语言：直接用目标语言下达指令，利用模型的多语言能力处理小语种文本。
• 代码生成：将需求以自然语言描述，无需提供代码样例即可获得初步草稿。

零样本常与几个相近概念混淆，理清边界有助于在工程中做出更好的选择。

• Zero-shot vs Few-shot 52： 少样本在提示中附带若干「输入→输出」示例，通常精度更高，但需准备示例且消耗上下文窗口（context window） 空间；任务描述清晰时，零样本更简洁。
  -Zero-shot vs Fine-tuning 162： 微调修改模型权重，对目标分布有足够数据时准确率更高、更稳定；零样本无需数据准备，但效果天花板低于针对性微调。
  -Zero-shot vs In-context Learning 260： 上下文学习是包含零样本、单样本、少样本的统称；零样本是其中示例数为零的特殊情形。
  -Zero-shot vs Zero-shot Transfer 340： 迁移学习语境下的「零样本迁移」特指跨类别或跨语言泛化，与提示工程语境下的零样本推理侧重不同，注意区分。

零样本并不意味着「万能」，对其能力边界保持清醒认识有助于避免工程中的常见踩坑。

• 领域覆盖不足：模型对高度专业的法律条文、小语种方言或冷门垂直领域表现明显下降，预训练语料是硬约束。
• 提示敏感性（Prompt Sensitivity）：措辞的细微差异可能导致输出质量大幅波动，「不需要标注数据」不等于「不需要调试提示」。
• 一致性缺失：零样本输出在多次运行间缺乏保证，生产环境建议配合评估集进行系统性测试，而非依赖少数人工判断。
• 过度乐观的解读：「模型没给例子也能回答」不代表「模型真正理解了任务」——它可能只是命中了预训练中的表层模式，遇到微小变体即失效。
• 复杂推理仍有瓶颈：对于多步骤数学推理、精密逻辑推断等任务，零样本往往不如加入示例或使用思维链（CoT）提示稳定。

零样本能力随模型规模和对齐技术的演进而持续提升。

• 2009：Palatucci、Hinton 等人（CMU）发表「Zero-shot Learning with Semantic Output Codes」（NeurIPS 2009），首次将「zero-shot learning」作为正式术语提出，应用于神经解码（fMRI）与语义属性分类。
• 2020：OpenAI 发布 GPT-3（Brown et al.），以 1750 亿参数规模系统性展示跨任务零样本能力，成为大语言模型时代零样本范式的标志性节点。
• 2021：Google 提出 FLAN，通过多任务指令微调大幅提升模型的零样本泛化能力；OpenAI 发布 CLIP，将零样本推理扩展至图像分类。
• 2022：Kojima 等人发表「Large Language Models are Zero-Shot Reasoners」，提出 Zero-shot CoT 方法；InstructGPT 进一步以 RLHF 对齐，使指令遵循更稳定。
• 2023 至今：GPT-4、Claude、Gemini 等更大规模模型的零样本能力显著提升，零样本已成为实际工程中的默认起点，而非特殊技巧。