Chapter 34
6. 后退式提示
第六章 后退式提示 Step-Back Prompting
一、引言
当论及抽象的目的时，其旨在创造一个全新的语义层面，从而使人们能够以绝对精确的方式进行表达，而非使事物变得模糊不清。—— Edsger W. Dijkstra
爱因斯坦曾说：“所有困难的问题，答案都在另外一个层次上，同一层次的问题，很难靠同一层次的思考来解决。” 意思就是要解决问题，需要在思维上有所升级，否则问题很难得到解决。 因为答案永远比问题高一个维度。
已有研究表明，利用一种名为 「后退式提示」的简单提示技术，使大语言模型（Large Language Models, LLMs）能够进行抽象，从包含特定细节的实例中抽象出高级概念和关键原理。使用获得的高级概念和关键原理来指导推理，LLMs 显着提高了它们遵循正确推理路径的能力。这种方法显示出比思维链提示（CoT）提高了高达 36% 的改进。研究者针对 PaLM-2L、GPT-4 和 Llama 2-70B 模型进行了 Step-Back Prompting 实验，在多种具有挑战性的推理密集型任务（包括 STEM 领域、知识问答和多跳推理等）上观察到了显著的性能提升。例如，Step-Back Prompting 在 PaLM-2L 模型上分别将 MMLU 物理和化学任务的性能提高了 7% 和 11%，TimeQA 任务提高了27%，以及 MuSiQue 任务提高了 7%。
检索增强生成 RAG 与 Step Back Prompting 的不同之处在于：RAG 先检索相关文档，再结合文档与问题生成答案；而 Step Back Prompting 是先对问题做抽象，使用 LLM 生成出相关背景知识及原理，再结合原问题进行推理。
本章将详细介绍程序后退式提示。我们将深入阐述关键原理，并提供实际的代码示例，以帮助读者全面理解并掌握程序后退式提示的关键原理和实际应用。阅读本章后，读者将能够更专业、准确地理解和应用程序后退式提示。
二、后退式提示的核心要点
2.1 什么是 Step-Back Prompting？
Step-Back Prompting 是一项新兴的提示技术，使得 LLMs 能够进行抽象，从中得出高层次概念和基本原理，并运用这些背景知识和原理进行推理和解决问题，从而产生更加准确的答案。Step-Back Prompting 的动机源自以下观察：我们赋予 LLMs 的许多任务充满了隐含和明确的细节。在处理这些类型任务时，LLMs 可能会面临难以检索相关事实的困难。
Step-Back Prompting 的灵感来源于人类在面对具有挑战性任务或问题时停下来反思的倾向。在这种情境下，我们寻求更高层次的概念或原则来指导我们的思维过程。举例而言，当被要求计算三角形的一边长度时，我们可能会首先回想起勾股定理。同样地，若在实际应用中需要解释模型的预测，我们会思考模型无关的可解释方法。
2.2 Step-Back Prompting 技术图解
Step-Back Prompting 技术图解，如下图示意：
Step-Back Prompting 的工作原理
Step-Back Prompting 是指向模型提供额外提示的技术，以便在回答原始问题之前赋予模型一定的抽象思考能力。因此，Step-Back Prompting 可以分为以下两个步骤：
-
抽象：先进行抽象，而不是直接回答问题。我们可以先引导 LLM 提出高层概念和基本原理，仍然与主要问题相关。
-
推理：利用第一个提示和答案作为一个基本机制，LLM 现在可以更准确地推理出解决原始问题的方法。
举两个实际例子，如果主要问题是 “我应该采取哪些具体步骤来减少家庭能源消耗？”，那么退一步的问题可能是 “节能的一般原则是什么？”。或者，不直接深入到 “我该如何修复这行代码中的错误？”，退一步的问题可能是 “这种类型错误的常见原因是什么？”。
小结：后退式提示是一种优秀的思维策略，旨在从更宏观、更基础的角度去理解和分析特定问题或情境，从而更有效地回答原始问题。该策略鼓励大语言模型（LLMs）自行抽象问题，获得更高层次的概念和基本原理，并运用这些知识进行推理和解决问题。这种思维模式与人类解决问题的方式非常相似，使得 LLM 能够借鉴已有规律来解决问题。
三、Step-Back Prompting 应用示例
注意：我使用的测试环境是 UV + Python3.12+。Python 的版本要求 Python3.12+。
开始实验之前，我们需要安装好本次实验所需的第三方依赖库：openai：OpenAI Python 库提供了一个便捷的途径，让任何 Python 3.7+ 应用程序可以访问 OpenAI REST API。
导入此次实验所需的依赖库
import os
from openai import OpenAI
from dotenv import load_dotenv, find_dotenv
from IPython.display import Markdown
loaded = load_dotenv(find_dotenv(), override=True)
# 从环境变量中获取 OpenAI API Key 或者直接赋值
API_KEY = os.getenv("API_KEY")
# 如果您使用的是官方 API，就直接用 https://api.siliconflow.cn/v1 就行。
BASE_URL = "https://api.siliconflow.cn/v1"
# 如果您使用的不是官方 API，而是通过代理进行请求，请设置您的代理 URL。
# BASE_URL = "https://api.xxx.../v1"根据 Step-Back Prompting 的核心思路设计了一个能够实际应用的简洁提示模板（中英文）
prompt_English = f"""Here is a question or task: ```{Description of the problem/task}```
Let's think things through one step at a time:
Step 1 - Abstract the key concepts and principles relevant to this question:
Step 2 - Use the abstractions to reason through the question:
Final Answer:
"""
prompt_Chinese = f"""这里有一个问题/任务：```{问题/任务描述}```
让我们一步一步地把事情想清楚：
第 1 步 - 抽象出与原始问题相关的关键概念和基本原理：
第 2 步 - 利用这些抽象对问题进行推理：
最终答案：
"""# 实例化 OpenAI 对象
# 传入参数：OpenAI API Key（必需）、Base URL 和最大重试次数
client = OpenAI(api_key=API_KEY, base_url=BASE_URL, max_retries=3)# 参数 n，整数或 Null，可选项，默认为 1。为每条输入信息生成多少个聊天完成选项。
# 参数 temperature，实数值或 Null，可选项，默认为 1。使用的采样温度，介于 0 和 2 之间。0.8 等较高值会使输出更加随机，而 0.2 等较低值会使输出更加集中和确定。
def get_completions(system_instruction, llm_prompt, model_endpoint):
extra_body = {}
if "Qwen3" in model_endpoint:
extra_body={
"enable_thinking": False
}
response = client.chat.completions.create(model=model_endpoint,
messages=[{"role": "system", "content": system_instruction},
{"role": "user", "content": llm_prompt}
],
n=1, temperature=0.20, seed=42,
presence_penalty=0, frequency_penalty=0,
max_tokens=4096, extra_body = extra_body
)
return response.choices[0].message.content.strip()先测试一个开放的问题，要求 LLM 回答 "为什么可解释的人工智能对许多领域都极为重要？"
llm = "Qwen/Qwen3-8B"
question_Chinese = "为什么可解释的人工智能对许多领域都极为重要？"
print(f"中文问题：{question_Chinese}\n")
system_instruction = "您是机器学习和人工智能领域的专家。"
prompt = f"""这里有一个问题：```{question_Chinese}```
让我们一步一步地把事情想清楚：
第 1 步 - 抽象出与原始问题相关的关键概念和基本原理：
第 2 步 - 利用这些抽象对问题进行推理：
最终答案：
"""
result_Chinese = get_completions(system_instruction, prompt, llm)
print(f"生成结果-中文：\n{result_Chinese}")Output
中文问题：为什么可解释的人工智能对许多领域都极为重要？ 生成结果-中文： 当然，我们可以一步一步地分析“为什么可解释的人工智能对许多领域都极为重要？”这个问题。 --- ### 第 1 步 - 抽象出与原始问题相关的关键概念和基本原理： **关键概念：** 1. **人工智能（AI）**：指通过计算机系统模拟人类智能行为的技术，包括机器学习、深度学习、自然语言处理等。 2. **可解释性（Explainability）**：指AI系统能够清晰地解释其决策过程、预测结果或行为逻辑的能力。 3. **信任与透明度**：用户或决策者需要理解AI的决策依据，以建立信任。 4. **伦理与责任**：AI的决策可能影响人类社会，因此需要明确责任归属。 5. **监管与合规**：在某些行业（如医疗、金融、法律等），AI的使用受到法律和监管要求，必须具备可解释性。 6. **决策支持**：AI在辅助人类决策时，需要提供可理解的依据，以便用户做出更合理的判断。 **基本原理：** - AI在许多领域（如医疗、金融、司法、自动驾驶等）中被广泛应用，其决策往往具有高影响力。 - 人类对AI的依赖程度越来越高，但AI的“黑箱”特性（即难以理解其内部逻辑）可能导致误解、误判或滥用。 - 可解释性是AI系统在实际应用中实现安全、公平、可靠和负责任的关键因素。 --- ### 第 2 步 - 利用这些抽象对问题进行推理： 1. **信任与透明度**：在医疗诊断、金融风控、司法判决等关键领域，AI的决策直接影响个人或组织的利益。如果AI的决策过程不透明，人们可能对其结果产生怀疑，从而影响其应用和接受度。可解释性可以增强用户对AI的信任，使其更愿意依赖AI的建议或判断。 2. **伦理与责任**：AI在某些场景下可能做出错误或有偏见的决策，例如在招聘、贷款审批、犯罪预测等领域。如果AI无法解释其决策依据，就难以确定责任归属，也无法评估其是否符合伦理标准。可解释性有助于确保AI的使用符合道德规范，并在出现问题时能够追溯原因。 3. **监管与合规**：许多行业对AI的使用有严格的法律法规要求，例如欧盟的《通用数据保护条例》（GDPR）要求AI系统能够解释其决策过程。可解释性是满足这些法规要求的重要手段，有助于确保AI系统的合法性和合规性。 4. **决策支持**：在需要人类参与决策的场景中（如自动驾驶、智能客服、推荐系统等），AI的建议必须能够被理解，以便人类做出最终判断。可解释性可以提高AI作为辅助工具的有效性，帮助人类更好地理解和利用AI的输出。 5. **公平性与偏见检测**：AI模型可能在训练过程中学习到数据中的偏见，导致不公平的决策。可解释性可以帮助识别这些偏见，从而进行调整和优化，确保AI的公平性。 6. **维护与改进**：可解释性有助于开发者和研究人员理解AI模型的行为，从而更好地维护、调试和改进模型，提升其性能和可靠性。 --- ### 最终答案： 可解释的人工智能对许多领域极为重要，主要是因为它能够增强信任、确保伦理合规、满足法律监管要求、支持人类决策、检测和减少偏见，并促进模型的维护与改进。在医疗、金融、司法、自动驾驶等高风险、高影响的领域，AI的决策往往涉及个人权益和社会责任，因此必须具备可解释性，以便用户理解AI的逻辑、评估其合理性，并在必要时进行干预或修正。可解释性是AI从“技术工具”向“可信赖伙伴”转变的关键，也是推动AI在社会中负责任、可持续发展的重要基础。
llm = "Qwen/Qwen3-8B"
question_English = "Why explainable artificial intelligence is extremely important for many fields?"
print(f"英文问题：{question_English}\n")
system_instruction = "You are an expert in the fields of machine learning and artificial intelligence."
prompt = f"""Here is a question: ```{question_English}```
Let’s think things through one step at a time:
Step 1 - Abstract the key concepts and principles relevant to this question:
Step 2 - Use the abstractions to reason through the question:
Final Answer:
"""
result_English = get_completions(system_instruction, prompt, llm)
print(f"生成结果-英文：\n{result_English}")Output
英文问题：Why explainable artificial intelligence is extremely important for many fields? 生成结果-英文： Step 1 - Abstract the key concepts and principles relevant to this question: - **Explainable AI (XAI)**: A subfield of artificial intelligence that focuses on making AI models and their decision-making processes transparent and understandable to humans. - **Trust**: The confidence users have in AI systems, which is essential for adoption and effective use. - **Accountability**: The ability to assign responsibility for AI decisions, especially in high-stakes scenarios. - **Ethics**: The moral principles that guide the development and use of AI, including fairness, transparency, and non-discrimination. - **Regulation**: Legal frameworks that govern the use of AI, often requiring explanations for compliance. - **Decision-making transparency**: The clarity with which AI systems operate, allowing users to understand how conclusions are reached. - **Human-AI collaboration**: The integration of AI into human workflows, where understanding AI behavior is critical for effective interaction. Step 2 - Use the abstractions to reason through the question: Explainable AI is extremely important for many fields because it addresses critical concerns related to trust, accountability, and ethics. In domains such as healthcare, finance, and criminal justice, where AI decisions can have significant real-world consequences, transparency is not just a technical requirement but a moral and legal obligation. Without explainability, it becomes difficult to verify the fairness and accuracy of AI outputs, which can lead to biased or harmful outcomes. Additionally, explainable AI supports regulatory compliance by enabling auditable and interpretable decision-making processes. It also enhances human-AI collaboration by allowing users to understand, validate, and interact with AI systems more effectively. As AI becomes more integrated into everyday life, the need for explainability grows, ensuring that these systems are not only powerful but also responsible and trustworthy. Final Answer: Explainable AI is extremely important for many fields because it ensures transparency, builds trust, supports accountability, and aligns with ethical and regulatory standards. In critical domains like healthcare, finance, and law, where AI decisions impact people's lives, explainability is essential for verifying fairness, accuracy, and compliance. It also facilitates better human-AI collaboration by making AI systems more understandable and usable, ultimately promoting responsible and trustworthy AI deployment.
分析认为，英文 Prompt 输入相比中文 Prompt 输入得到的效果更好一些。
第一步抽象出了两个重要概念：
-
可解释人工智能（XAI）：指人工智能系统以人类可理解的方式为其决策和行动提供解释的能力。
-
重要性：XAI 对医疗保健、金融和法律等许多领域都至关重要，因为人工智能系统做出的决定会对个人和社会产生重大影响。
-
透明度：通过让用户了解人工智能生成结果背后的原因，XAI 提高了人工智能系统的透明度、问责制和信任度。
-
道德和法律合规性：XAI 使利益相关者能够评估和验证人工智能决策的公平性、偏见和可靠性，从而帮助确保人工智能系统符合道德标准、法规和法律。
第二步利用生成的知识对问题进行回答，生成的内容合理，且经人工评估，其质量较高。最终的答案准确且简洁。
另外，Step-Back Prompting 是一种技术提示方法，它把原始问题转化为后退式问题，然后利用后退式问题的答案来生成最终答案。
在实际应用中，我们可以创建一个提示模板（基于上下文学习）来引导 LLM 生成后退式问题。以下是具体示意：
llm = "Qwen/Qwen3-8B"
system_instruction = "你是世界知识的专家。"
# 本质是利用上下文学习（In-Context Learning） 提供一些演示
prompt = f"""你的任务是后退一步，将一个问题转述为一个更通用的后退式问题，这样更容易回答。
这里有几个例子：
原始问题：周志华老师在 1996 年 9 月至 1999 年 6 月期间就读于哪所学校？
后退式问题：周志华老师的教育经历是什么？
原始问题：如果温度增加 2 倍，体积增加 8 倍，理想气体的压强 P 会发生什么变化？
后退式问题：这个问题背后的物理原理是什么？
原始问题：Rede Globo 的主播会说中文吗？
后退式问题：Rede Globo 的主播讲什么语言？
原始问题：如何利用大语言模型成功发表高质量 SCI 论文？
后退式问题：
"""
result_Chinese = get_completions(system_instruction, prompt, llm)
print(f"生成结果-中文：\n{result_Chinese}")Output
生成结果-中文： 后退式问题：发表高质量 SCI 论文的关键因素有哪些？
llm = "Qwen/Qwen3-8B"
system_instruction = "You are an expert at world knowledge."
# 本质是利用上下文学习（In-Context Learning） 提供一些演示
prompt = f"""Your task is to step back and paraphrase a question to a more generic step-back question, \
which is easier to answer.
Here are a few examples:
Original Question: Zhi-Hua Zhou went to which school between September 1996 and June 1999?
Stepback Question: What was the education history of Zhi-Hua Zhou?
Original Question: What happens to the pressure, P, of an ideal gas if the temperature is increased by a factor of 2 and the volume is increased by a factor of 8?
Stepback Question: What are the physics principles behind this question?
Original Question: Do the anchors on Rede Globo speak Chinese?
Stepback Question: What languages do the anchors on Rede Globo speak?
Original Question: How to use the large language model to successfully publish high quality SCI papers?
Stepback Question:
"""
result_English = get_completions(system_instruction, prompt, llm)
print(f"生成结果-英文：\n{result_English}")Output
生成结果-英文： What are the best practices for leveraging a large language model in the publication of high-quality SCI papers?
最后一个实验展示了使用原始问题、后退式问题、原则以及由 gpt-3.5-turbo-0125 生成的最终答案的提示的完整示例。
问题解析：
钾-40 是钾的一种放射性同位素，它含有 19 个质子和 21 个中子（因为它的原子量是 40，原子序数是 19，原子量等于质子数加上中子数，即 40 = 19 + 21）。在钾-40不发生衰变的情况下，它的电子数与质子数相等，也就是 19 个电子，以保持电中性。
当钾-40 作为硫酸钾（K2SO4）的一部分时，它的原子核（包含质子和中子）不会因为化学键的形成而改变。因此，钾-40 在硫酸钾中仍然有 19 个质子和 21 个中子。然而，由于钾原子在形成硫酸钾时会失去一个电子，成为钾离子（K+），所以每个钾离子将只有 18 个电子。
所以，答案应为 (A) 21 个中子、19 个质子、18 个电子
llm = "Qwen/Qwen3-8B"
system_instruction = "你是世界知识的专家。"
prompt = f"""原问题：“钾-40 是天然钾中的一种次要同位素。它具有放射性，可以在简单的辐射计数器上检测到。
当钾-40 是 K2SO4 的一部分时，它有多少个质子、中子和电子？
请从下面的列表中选择一个选项：
(A) 21 个中子、19 个质子、18 个电子
(B) 20 个中子、19 个质子、19 个电子
(C) 21 个中子、19 个质子、19 个电子
(D) 19 个中子、19 个质子、19 个电子”
后退式问题：“这个问题背后的化学原理是什么？”
原理：“1. 原子序数：元素的原子序数是该元素原子核中质子的数目。\n2. 原子得失电子形成离子。”
最终答案：
"""
result_Chinese = get_completions(system_instruction, prompt, llm)
print(f"生成结果-中文：\n{result_Chinese}")Output
生成结果-中文： ### 最终答案： **(C) 21 个中子、19 个质子、19 个电子** --- ### 解析： 1. **质子数**： 钾（K）的原子序数是 **19**，这意味着钾原子的原子核中有 **19 个质子**。无论钾以什么形式存在（如 K₂SO₄ 中的钾离子），质子数始终由元素决定，不会改变。 2. **电子数**： 在 K₂SO₄ 中，钾以 **K⁺** 的形式存在（因为硫酸钾是一种离子化合物，钾原子失去一个电子形成正一价的钾离子）。因此，每个 K⁺ 离子的电子数是 **19 - 1 = 18**。 但题目中提到的是“钾-40 是 K₂SO₄ 的一部分时”，这里的“钾-40”指的是 **钾-40 原子**，而不是钾离子。因此，**电子数应与中性钾原子相同，即 19 个**。 3. **中子数**： 钾-40 的质量数是 **40**，质量数 = 质子数 + 中子数。 所以中子数 = 40 - 19 = **21 个**。 --- ### 后退式问题背后的化学原理： - **原子序数**：元素的原子序数是该元素原子核中质子的数目。 - **原子得失电子形成离子**：在化合物中，原子可能通过失去或获得电子形成离子，但质子数保持不变。 --- ### 总结： - 钾-40 的质子数为 **19**（由原子序数决定）。 - 中子数为 **21**（由质量数减去质子数得出）。 - 电子数为 **19**（如果钾是中性原子，则电子数等于质子数；如果是 K⁺ 离子，则电子数为 18，但题目中并未说明是离子，因此默认为中性原子）。 因此，正确答案是： **(C) 21 个中子、19 个质子、19 个电子**。
llm = "Qwen/Qwen3-8B"
system_instruction = "You are an expert at world knowledge."
prompt = f"""Original Question: "Potassium-40 is a minor isotope found in naturally occurring potassium. It is radioactive and can be detected on simple radiation counters.
How many protons, neutrons, and electrons does potassium-40 have when it is part of K2SO4?
Choose an option from the list below:
(A) 21 neutrons, 19 protons, 18 electrons
(B) 20 neutrons, 19 protons, 19 electrons
(C) 21 neutrons, 19 protons, 19 electrons
(D) 19 neutrons, 19 protons, 19 electrons"
Stepback Question: "What are the chemistry principles behind this question?"
Principles: "1. Atomic number: The atomic number of an element is the number of protons in the nucleus of an atom of that element. \n 2. Atoms gain and lose electrons to form ions."
Final Answer:
"""
result_English = get_completions(system_instruction, prompt, llm)
print(f"生成结果-英文：\n{result_English}")Output
生成结果-英文： **Final Answer: (B) 20 neutrons, 19 protons, 19 electrons** --- **Stepback Question Explanation:** The question is asking about the **number of protons, neutrons, and electrons** in a **potassium-40 atom** that is part of the compound **K₂SO₄** (potassium sulfate). Let's break it down using the chemistry principles provided: ### 1. **Atomic Number (Protons):** - The **atomic number** of potassium (K) is **19**. This means every potassium atom, regardless of its isotope, has **19 protons** in its nucleus. - **Potassium-40** is an **isotope** of potassium, meaning it has the same number of protons (19) but a different number of neutrons. ### 2. **Neutrons:** - The **mass number** of potassium-40 is **40**, which is the sum of protons and neutrons. - So, the number of neutrons = mass number – atomic number = **40 – 19 = 21**. - Wait! This contradicts the answer. Let's double-check. Actually, **potassium-40** has **19 protons** and **21 neutrons**, making the total **40 nucleons**. So the correct number of **neutrons** is **21**, not 20. ### 3. **Electrons:** - In a **neutral atom**, the number of electrons equals the number of protons. - However, in **ionic compounds**, atoms can lose or gain electrons to form ions. - In **K₂SO₄**, potassium (K) typically forms **K⁺ ions**, meaning it loses **one electron**. - Therefore, each potassium atom in the compound has **19 protons** and **18 electrons** (since it has lost one electron to become a +1 ion). ### Summary: - **Protons**: 19 (always the same for potassium) - **Neutrons**: 21 (since it's potassium-40) - **Electrons**: 18 (because potassium loses one electron in K₂SO₄) So the correct answer is **(A) 21 neutrons, 19 protons, 18 electrons**. --- **Final Answer: (A) 21 neutrons, 19 protons, 18 electrons**
当以英文 Prompt 输入时，gpt-3.5-turbo-0125 给出了正确的推理过程和答案。当以中文 Prompt 输入时，它给出了错误的答案：“由于原子是电中性的，因此 钾-40 原子也应该有 19 个电子。因此，正确答案是 (A) 21 个中子、19 个质子、19 个电子。”
原因在于没有理解 K 原子要失去一个电子变成 K 离子。
四、总结与讨论
通过引入 Step-Back Prompting 激发抽象，我们可以提高大语言模型的推理能力。研究者们正在研究如何通过抽象来提高大语言模型处理复杂问题的能力。这项研究再次强调了大语言模型的多功能性，并探索了如何创新与大语言模型的交互方式，以充分利用它们。这种技术还展示了静态提示的广泛应用，并明确指出，随着问题复杂性的增加，我们需要更多的增强工具，如提示链和自主智能体。
Step-Back Prompting 的创新性和简单性鼓励我们更广泛地考虑像人类一样的抽象，以充分发挥 LLMs 的潜力。Step-Back Prompting 的研究论文强调了大语言模型对抽象的处理能力，并指出推理是预测性能的主要限制。Step-Back Prompting 表明，尽管大语言模型可能相对容易掌握抽象，但在推理阶段的导航仍具挑战性。
未来的改进方向是提高 LLMs 的推理能力。这个概念也符合哲学前提，即抽象不仅是一个模糊的概念，而且是形成高阶理解时精确性的基础。
要点总结：
-
大语言模型（LLMs）在各种任务中表现出色，但在复杂推理方面面临困难，Step-Back Prompting 旨在解决这一问题。
-
Step-Back Prompting 通过采用抽象来增强推理能力，模仿人类认知策略来分解推理过程。在工程实现中，Step-Back Prompting 可以与 RAG 结合，通过利用后退提示生成的抽象问题，获取更多与最终答案相关的上下文信息。随后，将获得的上下文信息与原始问题一并传递给 LLM，以提升其回答质量。
-
该技术显著改善了在需要深层知识和多步推理的挑战性任务上的表现，超越了其他方法。实验表明 LLMs 能很好地进行抽象，但推理仍然是一个挑战，Step-Back Prompting 有效地帮助这个过程。未来的改进应该集中在完善 LLMs 的推理能力，并将类人抽象作为理解的重要基础。
📚 主要参考资料：
-
ICLR 2024 - Step-Back Prompting Enables Reasoning Via Abstraction in Large Language Models，https://openreview.net/forum?id=3bq3jsvcQ1
-
知乎 - 退一步，看得更远：通过抽象引发大型语言模型中的推理，https://zhuanlan.zhihu.com/p/663680218
-
Lilian Weng - LLM Powered Autonomous Agents，https://lilianweng.github.io/posts/2023-06-23-agent/