Few-shot

Few-shot 提示是一种无需修改模型权重、仅靠在 Prompt 中提供少量输入-输出示例就能引导大语言模型完成新任务的推理范式。它是上下文学习（In-Context Learning）的核心形式，2020 年随 OpenAI GPT-3 论文的发布而被系统验证并广为人知。

Few-shot 提示让模型在不经过额外训练的前提下，仅凭 Prompt 中的示范样本推断任务逻辑。

• 示例数量：一般 2–8 个，超出此范围收益递减，过多示例还可能占满上下文窗口
• 无权重更新：模型参数完全冻结，学习发生在推理阶段的注意力计算中
• 格式为输入→输出对：每个示例呈现「问题：…\n答案：…」形式，让模型学会模式
• 与 Fine-tuning 的本质区别：Fine-tuning 持久改变权重，Few-shot 效果仅在当次推理有效

按示例数量，可将提示策略分为三个层级。

• Zero-shot：不提供任何示例，完全依赖模型预训练知识；适用于通用指令能力强的大模型
• One-shot：提供 1 个示例，帮助模型理解输出格式；适合格式敏感但语义简单的任务
• Few-shot：提供 2 个及以上示例，显著提升复杂任务准确率；示例质量比数量更关键
• 选择依据：任务越复杂、输出格式越严格，需要的示例越多；模型能力越强，所需示例越少

Few-shot 的有效性源于大语言模型在预训练中积累的模式匹配能力。

• 注意力检索：Transformer 的自注意力机制让模型动态关联示例与当前输入，识别输入-输出映射规律
• 任务归纳：模型并非死记示例，而是从中归纳出任务定义（如「将正式文本改写为口语」）
• 标签敏感性有限：研究发现即使示例标签随机打乱，模型仍能从格式中获益，说明核心作用是格式激活而非规则传授
• 示例顺序影响：示例顺序和选择对性能影响显著，不同排列可导致明显性能差异

高质量示例的构建是 Few-shot 效果的关键。

• 代表性：示例应覆盖任务边界情况，而非仅选最容易的样本
• 格式一致：所有示例的 delimiter、字段顺序、标点风格必须统一
• 质量优先于数量：2–5 个精选示例通常优于 10 个噪声样本
• 避免标签偏置：若分类任务示例全为正例，模型会系统性偏向正类
• 动态选择：可用语义相似度检索与当前输入最相关的示例（即 Dynamic Few-shot / RAG 增强）

Few-shot 学习的概念演化跨越了经典机器学习与大模型两个时代。

• 2019：GPT-2 展示了在没有明确训练的情况下完成多项任务的潜力，埋下 In-Context Learning 的种子
• 2020：OpenAI 发布 GPT-3（「Language Models are Few-Shot Learners」，NeurIPS 2020），首次系统量化 Few-shot 能力，成为里程碑；论文展示随示例数量增加性能的变化曲线
• 2022：Google 提出 Chain-of-Thought Prompting，在 Few-shot 示例中加入逐步推理过程，大幅提升复杂推理性能
• 2022：Min 等人研究发现示例标签正确性对性能影响有限，深化了学界对 ICL 机制的理解
• 2024 起：超长上下文模型（支持 100K+ token）使 Many-shot 成为可能，Dynamic Few-shot 与 RAG 结合成为主流工程实践

Few-shot 并非万能，了解其边界有助于合理使用。

• 上下文窗口限制：示例占用 token，过多示例可能挤压真实输入的空间，推高推理成本
• 示例敏感性：顺序不同、措辞细微差异均可导致明显的性能波动
• 不适合专域任务：需要大量私有知识的任务（如企业内部规范）仍需 Fine-tuning 或 RAG 补充
• 无真正学习：每次对话结束后「学到」的模式消失，不能跨对话积累；对模型从未见过的新知识几乎无效