核心要点
模型逐词生成时是按概率"挑"下一个词,不是每次都选最高的那个
temperature 越高随机性越大,回答越多样;越低越保守、越固定
想要可复现:把 temperature 设 0(或很低),有 seed 参数就固定 seed
类比掷骰子选词——同样输入也可能走出不同路径
标准回答
回答是"采样"出来的
模型每生成一个词,背后是一串候选词的概率分布。它不一定每次都选概率最高的那个,而是按概率"抽签"。这种随机抽样让回答更自然多样,但也意味着同样的问题,每次抽到的词可能不同,最终答案就不一样。可以类比掷骰子选词:规则一样,但每次点数可能不同。
temperature 控制随机程度
temperature(温度)就是这个随机性的旋钮。调高,概率被拉平,模型更敢选冷门词,回答更发散、有创意;调低(趋近 0),它几乎总选最可能的词,回答更稳定、更一致、也更保守。top-p 是类似作用的另一个旋钮。
想要每次一样怎么办
把 temperature 设为 0 或很低,若接口提供 seed 参数就固定下来,输出就基本可复现。适合需要稳定、可测试、严肃的场景(如格式化输出、抽取信息)。
常见误区
⚠️ 常见踩坑
以为 temperature=0 就 100% 确定——实际受后端实现、浮点运算、并发等影响仍可能有细微差异;也别一味追求"完全一致",创意类任务反而需要一点随机性。
追问
追问 1:什么时候该调高 temperature,什么时候该调低?
要发散、创意、多样化(写文案、头脑风暴、起名)就调高;要稳定、准确、可控(信息抽取、分类、格式化输出、客服标准答案)就调低甚至设 0。不确定先从中间值试,看效果再调。
追问 2:temperature 和 top-p 有什么区别,要一起调吗?
两者都控制随机性。temperature 缩放整体概率分布;top-p(核采样)只从累计概率前 p 的候选里挑,截掉长尾。通常调其中一个就够,常见做法是固定 top-p、主要调 temperature,避免两个一起乱调难以判断效果。
延伸学习
与本题相关的知识库文章、术语、工具与行业资讯。