Physical Prompting 与传统 Fine-Tuning 在机器人学习中的架构差异是什么？如何判断你的场景该用哪种方法？

Physical Prompting 与 Fine-Tuning 的架构差异在于适应时机：前者在推理时根据单次演示动态调整策略输出（不更新权重），后者在训练时通过梯度更新调整参数。Physical Prompting 依赖 ICRL（In-Context Reinforcement Learning）机制——轨迹编码器将演示压缩为任务意图向量，ICRL Head 在推理时根据奖励结构动态调整输出。决策框架基于三个维度：任务变化频率（> 每周一次）、精度要求（> 1 毫米）、执行次数（< 1000 次）——满足至少两个条件时优先评估 Physical Prompting。2026 年实际部署中两者常组合使用：Fine-Tuning 训练基础策略，Physical Prompting 做即时适应。

一、架构差异的本质：适应时机不同

Physical Prompting 与 Fine-Tuning 的根本差异不在于「谁更好」，而在于「什么时候适应」。

Physical Prompting（推理时适应）：

• 类比 LLM 的 In-Context Learning——给模型一个示例（物理演示），它在推理时即时调整输出，不更新权重
• 核心机制是 ICRL（In-Context Reinforcement Learning）：轨迹编码器将单次演示（视觉+本体感觉）压缩为「任务意图向量」，同时提取演示中的奖励结构（成功动作=正奖励，失败动作=负奖励）；ICRL Head 在推理时接收当前观测、任务意图和奖励结构，动态调整策略输出
• 适应发生在毫秒级前向传播中，骨干权重始终不变

Fine-Tuning（训练时适应）：

• 传统机器学习范式——收集数据→训练→部署
• 通过梯度下降（反向传播）调整策略网络权重
• 适应发生在小时/天级训练循环中，部署后权重固定

二、机制差异的工程含义

关键差异：Physical Prompting 的演示质量直接决定推理表现——一次包含错误动作的演示会导致策略输出显著下降。Fine-Tuning 因为数据量大，可以通过统计平均缓冲单条数据的噪声。

三、成本-收益交叉点

两种方法的成本结构不同：

• Fine-Tuning：高固定成本（数据收集+训练）+ 低边际成本（部署后几乎零成本）
• Physical Prompting：零固定成本 + 中等边际成本（每次演示的收集成本+推理计算成本）

交叉点取决于三个维度：

1. 任务变化频率：每天/每周变化 → Physical Prompting 优势大；每月/每年变化 → Fine-Tuning 更经济
2. 精度要求：毫米级以上 → Physical Prompting 可接受；亚毫米级 → Fine-Tuning 更可靠
3. 执行次数：< 1000 次 → Physical Prompting 零固定成本优势显现；> 10000 次 → Fine-Tuning 固定成本被摊薄

决策矩阵：

• 三个条件都满足（任务多变、精度适中、执行次数少）→ 优先 Physical Prompting
• 三个条件都不满足（任务固定、精度要求高、执行次数多）→ Fine-Tuning
• 混合场景 → 组合使用

四、2026 年的实际部署：组合使用是常态

GEN-1.5 的架构原生支持组合方法：

• 策略骨干：通过 Fine-Tuning 训练任务特定的基础策略（例如「通用抓取」能力）
• ICRL Head：在该基础策略上做推理时即时适应（例如适应特定形状的物体）

这种组合的优势：Fine-Tuning 提供精度保底（亚毫米级），Physical Prompting 提供灵活性（秒级适应新任务）。

五、常见误区

误区一：「Physical Prompting 会替代 Fine-Tuning。」 错。两者解决不同象限的问题，2026 年的实际部署是组合使用。Physical Prompting 在任务多变场景有优势，但在高精度、长周期任务上仍不如 Fine-Tuning 可靠。

误区二：「Physical Prompting 不需要数据。」 以偏概全。它不需要「每个任务」的数据，但需要大规模预训练数据（GEN-1.5 用了 100 万+ 小时仿真数据）和高质量的单次演示。演示质量敏感是其核心约束。

误区三：「Fine-Tuning 过时了。」 错。对于任务固定、精度要求高的场景（如汽车焊接），Fine-Tuning 仍是更可靠的选择。Physical Prompting 是工具箱中的新扳手，不是银弹。