Physical Prompting（物理提示）

Physical Prompting 的核心是 In-Context Reinforcement Learning（ICRL）——把 LLM 的 In-Context Learning 与强化学习的奖励信号结合：

• 轨迹编码器：将单次演示（视觉+本体感觉）压缩为「任务意图向量」，同时提取演示中的奖励结构（成功动作=正奖励，失败动作=负奖励）
• ICRL Head：推理时接收当前观测、任务意图和奖励结构，动态调整策略输出——相似于演示中的成功状态则倾向输出类似动作，相似于失败状态则避开
• 骨干权重不变：整个适应过程不更新策略骨干权重，适应完全发生在推理时（毫秒级前向传播）

与 LLM ICL 的关键差异：输入维度爆炸（视觉+本体感觉+触觉 vs 文本 token）、动作空间连续（关节角度 vs 离散词表）、物理约束不可违抗（碰撞/伤人 vs 错误单词）。

Generalist AI 于 2026-08-19 发布 GEN-1.5，相比 2026-04 的 GEN-1（仍需每任务约 1 小时数据）实现 one-shot learning：

• 数据需求：数秒单次演示（vs GEN-1 的 1 小时 / 传统微调的数千条）
• 部署时间：秒级（vs 天级）
• sim-to-real gap：部分内化到预训练（100 万+ 小时仿真数据），性能差距从传统方法的 30-40% 降至 15-20%

架构三组件：多模态编码器（视觉+本体感觉→任务意图向量）、策略骨干（大规模 Transformer）、ICRL Head（推理时动态适应）。

Physical Prompting 与 Fine-Tuning 解决不同象限的问题：

• Fine-Tuning 适合：任务固定、周期长、精度要求高（亚毫米级）。例如汽车焊接——任务数月不变，愿意花一周训练换长期高精度。
• Physical Prompting 适合：任务多变、周期短、精度要求适中（毫米级）。例如柔性分拣——每天处理不同零件，无法为每个新零件花一周训练。

成本-收益交叉点：任务数量少且执行次数多时 Fine-Tuning 单位成本更低；任务数量多且执行次数少时 Physical Prompting 零固定成本优势显现。

2026 年实际部署中两者常组合使用：Fine-Tuning 训练任务特定基础策略，Physical Prompting 在该策略上做即时适应。

Physical Prompting 在 2026 年仍处于早期阶段，存在多个未解决局限：

• 演示质量敏感：包含错误动作的演示导致策略输出显著下降，缺乏自动化质量评估工具
• 长序列任务误差累积：ICRL 的「浅层适应」在超过 20 步的任务中成功率显著下降
• 缺乏可解释性：失败时难以诊断原因（演示质量？ICRL 范围？预训练偏差？）
• 硬件依赖：GEN-1.5 主要支持 Generalist AI 自家硬件平台，跨平台迁移成本高
• 安全验证不足：推理时适应机制缺乏形式化安全保证

适用判据：任务可在 5 秒内完整演示、精度要求毫米级以上（非亚毫米级）、任务变化频率 > 每周一次、每任务执行次数 < 1000 次——满足至少两个条件时值得优先评估。