核心要点
一句话定义：LLM 是基于 Transformer、在海量文本上预训练的自回归模型，核心动作是逐个预测下一个 Token。
能力来自规模：数十亿到上千亿参数 + 大语料，使模型涌现出语法、常识与 In-Context Learning 能力，无需逐任务训练。
能边界要说清：擅长「文本进、文本出」类任务（生成/问答/翻译/摘要/代码/抽取）；不擅长精确算术、训练截止后的实时信息、需可靠事实依据的回答。
幻觉的根因要点出：目标是「最可能的下一个 Token」而非「事实正确」，缺乏 grounding 时会自信编造，靠 RAG、工具调用补救。
标准回答
什么是 LLM
大语言模型（LLM）是一类基于 Transformer 架构、在海量文本上经过预训练的语言模型。它的核心机制是「自回归」：根据已有的上文，逐个预测下一个 Token（词或子词片段）。把这个过程不断重复，就生成了连贯的文本。
参数规模通常达到数十亿到上千亿，配合大规模语料，使模型学会了语法、常识和一定的推理能力。完整训练流程可参考 大语言模型训练全流程。
它能做什么
- 文本生成、续写、改写
- 问答、对话
- 翻译、摘要
- 代码生成与解释
- 信息抽取、分类
本质上，凡是能转化为「输入文本 → 输出文本」的任务，LLM 大多能胜任。
它不能（或不擅长）做什么
- 精确计算：本质是预测概率最高的 Token，而非真正执行算术，多位数乘法等容易出错。
- 实时信息：知识截止于训练数据，不知道训练之后发生的事。
- 可靠事实依据：没有外部知识 grounding 时，会「一本正经地编造」，即幻觉。
工程上常用 RAG（检索增强生成）、工具调用等手段为模型补充实时、可核查的信息。
常见误区
⚠️ 常见踩坑
初学者常以为 LLM「懂」答案或在「查数据库」。实际上它只是按概率预测下一个 Token，没有事实核查机制，所以会自信地说错——这正是幻觉的来源。
追问
追问 1：为什么 LLM 会产生幻觉？
因为它的训练目标是预测「最可能的下一个 Token」，而非「事实正确的内容」。当缺乏相关知识或没有外部信息 grounding 时，模型仍会生成流畅但可能虚构的内容。缓解手段包括 RAG、工具调用、引用来源、降低 temperature 等。
延伸学习
与本题相关的知识库文章、术语、工具与行业资讯。