核心要点

  • 三层 Engineering 的演进逻辑Prompt Engineering(2023)→ Context Engineering(2024-2025)→ Harness Engineering(2026)。每一层抽象层级提升:从单轮提示→多轮上下文→系统级编排。

  • Prompt Engineering:关注单次模型调用的输入优化。核心技能:提示模板设计、Few-shot 示例选择、CoT 引导。局限:无法处理多轮对话、工具调用、状态管理。

  • Context Engineering:关注多轮交互中的上下文管理。核心技能:上下文窗口管理、记忆系统、RAG。突破:解决了"模型记不住"的问题,但仍局限于单 Agent 场景。

  • Harness Engineering:关注 Agent 系统的整体编排。核心技能:工具路由、多 Agent 协调、错误恢复、可观测性。突破:解决了"Agent 不可靠"的问题,使 Agent 从实验走向生产。

  • AIEWF 2026 共识:Ryan Lopopolo "Agents are not hard. The harness is hard." Lilian Weng "Harness Engineering for Self-Improvement"——Harness 不仅是可靠性工程,还是自我改进的基础设施。

简要回答

从 Prompt Engineering 到 Context Engineering 到 Harness Engineering,是 AI 工程抽象层级的三次跃迁:Prompt 关注单次输入优化,Context 关注多轮上下文管理,Harness 关注系统级编排。2026 年 AIEWF 将 Harness Engineering 列为定义性技能,标志着 AI 工程从"写好提示词"到"设计好系统"的范式转变。核心差异:Prompt 是写好提示词,Context 是管理上下文,Harness 是设计整个 Agent 系统

标准回答

一、Prompt Engineering(2023)

Prompt Engineering 是 AI 工程的第一阶段,关注单次模型调用的输入优化。

核心技能:

  • 提示模板设计(System Prompt、User Prompt)
  • Few-shot 示例选择(从大量示例中选择最相关的)
  • CoT 引导(Chain-of-Thought、Tree-of-Thought)
  • 输出格式约束(JSON mode、structured output)

典型场景:单次问答、文本分类、信息提取。

局限:

  • 无法处理多轮对话(每轮独立,无状态)
  • 无法调用工具(只能生成文本)
  • 无法管理上下文(超过窗口就丢失)

二、Context Engineering(2024-2025)

Context Engineering 是 AI 工程的第二阶段,关注多轮交互中的上下文管理。

核心技能:

  • 上下文窗口管理(分层存储、动态压缩)
  • 记忆系统(短期记忆、长期记忆、工作记忆)
  • RAG(检索增强生成)
  • 对话历史管理(滑动窗口、摘要压缩)

典型场景:多轮对话、知识问答、代码助手。

突破:解决了"模型记不住"的问题。Claude Code上下文压缩算法是业界标杆。

局限:

  • 仍局限于单 Agent 场景
  • 无法处理工具调用失败
  • 无法协调多个 Agent

三、Harness Engineering(2026)

Harness Engineering 是 AI 工程的第三阶段,关注 Agent 系统的整体编排。

核心技能:

  • 工具路由(智能选择工具、动态调整优先级)
  • 多 Agent 协调(任务分配、通信协议、冲突解决)
  • 错误恢复(自动重试、回滚、死循环检测)
  • 可观测性(日志、指标、追踪)

典型场景:复杂编码任务、自动化工作流、多 Agent 协作。

突破:解决了"Agent 不可靠"的问题。Omnigent(Databricks 开源)是首个元 Harness。

四、AIEWF 2026 共识

Ryan Lopopolo: "Agents are not hard. The harness is hard."

Lilian Weng: "Harness Engineering for Self-Improvement"——Harness 不仅是可靠性工程,还是自我改进的基础设施。通过 Harness 层收集 Agent 执行数据,用于持续优化模型和策略。

五、常见误区

  • 混淆 Harness 和 Agent Framework:Framework 是工具(LangGraph、AutoGen),Harness 是设计模式。
  • 认为 Harness 只适用于编码 Agent:Harness 适用于所有 Agent 场景。
  • 忽略可观测性:没有可观测性的 Harness 是黑盒,无法调试和优化。

常见误区

⚠️ 常见踩坑

误区一:混淆 Harness 和 Agent Framework。Framework 是工具(LangGraph、AutoGen),Harness 是设计模式。好的 Harness 可以用任何 Framework 实现。选择 Framework 时应关注其 Harness 能力(工具路由、错误恢复、可观测性),而非品牌或生态。

误区二:认为 Harness 只适用于编码 Agent。Harness 适用于所有 Agent 场景——客服、数据分析、自动化工作流。任何需要多步骤、多工具、多 Agent 协作的场景都需要 Harness。

误区三:忽略可观测性。没有可观测性的 Harness 是黑盒,无法调试和优化。可观测性是 Harness 的核心组件之一,必须从设计之初就纳入。

误区四:认为 Prompt Engineering 已过时。三层 Engineering 是递进关系,不是替代关系。Prompt Engineering 仍然是基础,Context Engineering 和 Harness Engineering 都依赖良好的 Prompt 设计。

追问

追问 1如何量化 Harness 的工程价值?

通过对比相同模型在不同 Harness 下的表现:任务完成率、错误率、延迟、成本。具体方法:(1) 基线测试:无 Harness 直接调用模型,记录任务完成率和平均延迟;(2) 简单 Harness:加入工具路由和错误恢复,对比任务完成率和错误恢复率提升;(3) 完整 Harness:加入多 Agent 协调和可观测性,对比端到端延迟和成本效率。对比三组指标,量化每一步的提升幅度。Ryan Lopopolo 在 AIEWF 2026 提出"Agents are not hard. The harness is hard."——Harness 的价值在于让 Agent 从实验走向生产,量化价值是说服管理层投入的关键。

追问 2Harness Engineering 的核心指标是什么?

四大核心指标:任务完成率(端到端成功率)、错误恢复率(自动恢复 vs 人工干预)、工具调用成功率(工具路由准确性)、上下文利用率(有效 token 占比)。进阶指标:可观测性覆盖率(多少步骤有日志和追踪)、成本效率(每完成任务的 Token 消耗)、延迟分布(P50/P95/P99)。这些指标共同构成 Harness 的质量评估体系。

追问 3如何设计一个可观测的 Harness?

三层可观测性架构:日志层(每步的输入输出、工具调用参数和结果)、指标层(工具调用的成功率和延迟、上下文的使用率、错误的发生频率)、追踪层(端到端任务执行轨迹、Agent 决策链路)。具体实现:使用 OpenTelemetry 标准、集成 LangSmith 或 Helicone、建立 Dashboard 实时监控。关键原则:可观测性不是事后调试,而是实时反馈——让开发者看到 Agent 的每一步决策。

🔗 相似问题

同一考点的不同问法,换着练更稳

没找到想看的面试题?把你想看的告诉我们 →

延伸学习

按主题分类的相关资源,便于系统复习