首页/知识库/世界模型:从 Sora 到 SANA-WM 的视频生成基础理论

世界模型:从 Sora 到 SANA-WM 的视频生成基础理论

👁️计算机视觉高级✍️ AI Master📅 创建 2026-05-17🔄 更新 2026-05-20📖 24 min 阅读
💡

文章摘要

世界模型是 AI 理解物理规律的核心能力。从 Sora 的视频生成到 NVIDIA SANA-WM 的开源探索,系统掌握世界模型的架构、训练与应用

1什么是世界模型

世界模型(World Model)是 AI 系统对物理世界内在规律的表征——它让模型不仅能「看到」当前帧,还能「理解」接下来会发生什么。

这个概念最早由深度学习先驱 Yann LeCun 在 2022 年系统阐述。LeCun 提出了 JEPA(Joint Embedding Predictive Architecture)架构,认为智能的本质不是预测下一个 token,而是预测世界状态的演变。与语言模型预测下一个词不同,世界模型需要预测连续时空中的状态变化——物体的运动轨迹、重力的作用、光影的变化、因果关系的传递。

2024 年 OpenAI 发布 Sora 时,官方明确指出 Sora 是一个「世界模拟器」(World Simulator)。Sora 不仅能够生成逼真的视频,还能模拟物理世界中的一些基本规律:球在滚动、水在流动、人物之间的互动——这些都不是简单模式匹配的结果,而是模型在学习物理世界的隐含规则

2026 年 NVIDIA 发布 SANA-WM,一个 2.6B 参数的开源世界模型,将这一领域从闭源实验推向开源社区。SANA-WM 证明了世界模型不再是大公司的专利,开源社区同样可以构建具备物理理解能力的 AI 系统

世界模型的核心能力可以概括为三个层次:感知(Perception)——将高维感官输入压缩为低维状态表示;预测(Prediction)——根据当前状态预测未来状态;行动(Action)——在状态空间中探索并干预世界演变。这三层能力构成了 LeCun 世界模型架构的核心。

理解世界模型的关键:它不是一个单一网络,而是一个编码器-世界模型-解码器的三段式架构。编码器压缩感知信息,世界模型预测状态演变,解码器将预测还原为可理解的形式。

世界模型 ≠ 视频生成模型。视频生成模型关注画面质量(FID 分数、时间一致性),而世界模型关注物理规律的捕捉——前者追求「看起来像真的」,后者追求「运行得像真的」。

2世界模型的理论基础

世界模型的理论根源可以追溯到 1990 年代。Schmidhuber 和 Ha 在早期就提出了内部模型(Internal Model)的概念:智能体通过在环境中行动并观察结果,构建一个关于环境如何运作的心理模型。

Yann LeCun 的 JEPA 架构是现代世界模型的基石。JEPA 的核心思想是:与其预测像素级别的下一个帧(这在计算上极其昂贵且对微小变化过于敏感),不如预测抽象表示空间中的下一状态

具体来说,JEPA 包含三个关键组件:编码器将输入(如图像帧)映射为抽象的潜在表示;上下文编码器将部分输入(如遮挡后的图像)映射为上下文表示;预测器根据上下文表示和动作输入,预测缺失部分在表示空间中的内容。

这种设计有几个重要优势:首先,潜在空间中的预测比像素空间中的预测更高效,因为潜在空间维度远小于原始像素;其次,通过选择性地预测哪些信息被编码,模型可以学习任务相关的抽象,而不是被迫重建每一个细节;最后,JEPA 不需要生成式模型常见的「精确重建」目标,这使得训练更加稳定。

LeCun 特别强调:预测像素是浪费计算资源。如果一个模型只是精确预测下一帧的每个像素值,它学到的是「这个像素明天还是这个颜色」,而不是「球会继续向前滚动」。前者是琐碎的,后者才是智能的。

数学上,世界模型的学习目标可以形式化为:

给定状态序列 s_1, s_2, ..., s_t 和动作序列 a_1, a_2, ..., a_{t-1},学习一个转换函数 f_θ,使得 s_{t+1} ≈ f_θ(s_t, a_t),其中误差在表示空间而非原始输入空间中衡量。

这一公式与 MDP(马尔可夫决策过程)中的状态转换函数高度一致,这也是为什么世界模型与强化学习天然兼容——世界模型本质上就是 RL 中的环境模型

预测方式预测目标计算成本学习到的内容

像素级预测

下一个像素的值

极高

琐碎的像素变化

Token 级预测

下一个视觉 Token

局部纹理和结构

表示级预测 (JEPA)

潜在状态表示

中等

语义级别的物理规律

动作条件预测

给定动作后的状态变化

中等

因果关系的建模

JEPA 的设计哲学值得每个 AI 研究者思考:预测什么比如何预测更重要。选择正确的预测目标,模型才能学到有意义的抽象。

潜在空间的维度选择至关重要。维度太低会丢失关键信息,导致预测模糊;维度太高则失去了压缩的优势,计算成本回归到像素级预测。

3Sora:世界模拟器的工程实现

2024 年 2 月,OpenAI 发布 Sora,这是第一个被广泛称为「世界模拟器」的 AI 系统。Sora 的技术报告揭示了一个重要事实:视频生成模型已经不只是在「画图」,而是在模拟物理世界的运行

Sora 基于扩散变换器(Diffusion Transformer, DiT)架构。它将视频首先通过 VAE 编码器压缩为潜在表示,然后在这个潜在空间中应用扩散过程生成视频。关键的创新在于 Sora 使用了 Spacetime Patch——将视频同时按空间和时间维度分块,而不是先逐帧处理再合并。

Sora 能做到的事情令人震惊:生成 60 秒的长视频;保持角色一致性(同一人物在不同镜头中看起来相同);模拟物理现象(水流动、球弹跳、影子跟随光源);从静态图像生成视频;甚至理解简单的物理因果关系(比如球被踢出去后会滚动)。

Sora 的成功证明了三个关键论断:第一,扩展视觉 Token 的上下文窗口可以让模型学到更长程的依赖关系——从几帧的局部运动到数十秒的全局叙事;第二,大规模高质量视频数据是训练世界模型的前提,Sora 使用了包含大量物理交互的视频;第三,文本条件引导使得模型不仅能「模拟世界」,还能「按指令模拟世界」。

然而,Sora 也有已知的局限性:它无法准确模拟复杂的物理交互(比如玻璃碎裂的细节);在长视频中会出现物体突然消失或变形的情况;对罕见物理场景的模拟质量下降。这些局限性揭示了当前世界模型的边界——它们学到的不是「物理定律」,而是训练数据中出现过的物理模式的统计近似

Sora 没有开源,但其技术路线深刻影响了后续所有世界模型的研究方向。DiT + 大规模数据 + 长上下文窗口已经成为世界模型的标准配方。

能力维度Sora 表现局限性

视频长度

60 秒

长视频中物体一致性下降

物理模拟

基本物理现象(重力、流体)

复杂交互(碎裂、变形)不准确

角色一致性

同一角色跨镜头保持外观

细节变化导致身份模糊

因果推理

简单因果(踢球→滚动)

多步因果链容易断裂

文本跟随

高保真度跟随提示词

罕见场景描述质量下降

Sora 的核心创新在于 Spacetime Patch——把视频看作时空统一体而非独立帧的序列。这使得模型能够学习到时间维度上的连贯性,而不是事后拼接。

不要将 Sora 的输出等同于真实物理模拟。Sora 生成的是视觉上的合理,不是物理上的精确。在需要物理精度的场景(如工程仿真),仍需使用传统物理引擎。

4NVIDIA SANA-WM:开源世界模型

2026 年 5 月,NVIDIA 发布了 SANA-WM,一个 2.6B 参数的开源世界模型,标志着这一领域从闭源走向开源社区。

SANA-WM 的全称是 Scalable Autoencoder-based Neural Architecture for World Modeling。与 Sora 不同,SANA-WM 不是视频生成模型,而是纯世界模型——它专注于在潜在空间中预测状态演变,而不关心像素级的重建。

SANA-WM 的核心设计有三大特点:首先是高效的状态编码器,使用变分自编码器(VAE)将视频帧压缩为紧凑的潜在表示,编码器的设计考虑了时空连续性,相邻帧在潜在空间中应该保持平滑过渡;其次是自回归预测器,基于 Transformer 架构,在潜在空间中进行自回归预测,预测下一个状态而不是下一个 token;最后是开源且可复现,模型权重、训练代码和示例数据全部公开,社区可以直接使用和二次开发。

SANA-WM 的训练策略分为两个阶段:第一阶段是编码器训练,使用大规模视频数据训练 VAE 编码器,使其能够将视频帧压缩为有意义的潜在表示;第二阶段是预测器训练,在预训练的编码器之上,训练 Transformer 预测器,目标是预测未来状态的潜在表示。

SANA-WM 的一个重要贡献是定义了世界模型的评估基准。不同于视频生成模型使用 FID 或 FVD 等指标,世界模型需要评估其在潜在空间中预测的准确性、对未来状态的可控性、以及对物理规律的捕捉程度。

SANA-WM 的开源使得研究社区能够在统一的基础上进行世界模型研究,加速了这一领域的整体进步

python
import torch
import torch.nn as nn

class SANA_WM_Simple(nn.Module):
    """简化版 SANA-WM 世界模型"""

    def __init__(self, latent_dim: int = 16, num_layers: int = 8,
                 num_heads: int = 8, pred_steps: int = 4):
        super().__init__()
        self.pred_steps = pred_steps

        # 状态编码器:视频帧 → 潜在表示
        self.encoder = nn.Sequential(
            nn.Conv3d(3, 64, kernel_size=(3, 4, 4), stride=(1, 2, 2), padding=(1, 1, 1)),
            nn.SiLU(),
            nn.Conv3d(64, 128, kernel_size=(3, 4, 4), stride=(1, 2, 2), padding=(1, 1, 1)),
            nn.SiLU(),
            nn.Conv3d(128, latent_dim, kernel_size=(3, 4, 4), padding=(1, 1, 1)),
        )

        # 世界模型预测器:Transformer
        encoder_layer = nn.TransformerEncoderLayer(
            d_model=latent_dim,
            nhead=num_heads,
            dim_feedforward=latent_dim * 4,
            activation='gelu',
            batch_first=True,
        )
        self.predictor = nn.TransformerEncoder(encoder_layer, num_layers=num_layers)

        # 预测头
        self.pred_head = nn.Linear(latent_dim, latent_dim)

    def encode_frame(self, frames: torch.Tensor) -> torch.Tensor:
        """将视频帧编码为潜在表示 [B, T, C, H, W] → [B, T, D]"""
        latent = self.encoder(frames)  # [B, T, D, H', W']
        return latent.mean(dim=(-2, -1))  # 空间池化 [B, T, D]

    def predict_future(self, latent_states: torch.Tensor) -> torch.Tensor:
        """预测未来 pred_steps 个状态"""
        predictions = []
        current = latent_states[:, -1:]  # 最后一个状态 [B, 1, D]

        for _ in self.pred_steps:
            # 将历史 + 当前作为上下文
            context = torch.cat([latent_states, current], dim=1)
            pred = self.predictor(context)
            next_state = self.pred_head(pred[:, -1:])  # [B, 1, D]
            predictions.append(next_state)
            current = next_state

        return torch.cat(predictions, dim=1)  # [B, pred_steps, D]
特性SoraSANA-WM

开源状态

闭源

开源(Apache 2.0)

模型参数

未公开(估计数十 B)

2.6B

核心任务

视频生成

状态预测

评估指标

视频质量(人工评估)

预测准确性 + 物理规律

应用场景

内容创作

机器人仿真 + 强化学习

训练数据

大规模视频(未公开量级)

公开视频数据集

SANA-WM 的核心价值不在于视频生成,而在于它提供了一个可交互的潜在空间。在这个空间中,你可以「快进」世界状态而不需要渲染每一帧——这对强化学习和规划至关重要。

2.6B 参数的模型对于世界建模来说仍然很小。SANA-WM 能够捕捉基本的物理规律,但在复杂场景(多物体交互、非刚性变形)中预测精度有限。不要将其视为完整的物理引擎替代品。

5世界模型的训练范式

世界模型的训练是一个多阶段、多目标的复杂过程。没有一个单一的损失函数可以完成所有学习目标,因此训练范式通常由多个组件组成。

第一阶段:表示学习。这一步训练编码器将高维输入(视频帧)压缩为低维的潜在表示。训练目标通常是重构损失(Reconstruction Loss)——编码器-解码器应该能够重建原始输入。为了学到更有意义的表示,通常会加入额外的约束:时间一致性损失(相邻帧的潜在表示应该平滑变化)、信息瓶颈(防止潜在空间过于简单)、对比学习(不同视角的同一帧应该有相似的表示)。

第二阶段:动态学习。在预训练的编码器之上,训练预测器学习状态的演变规律。这一步的核心损失是预测误差——预测的下一状态与真实下一状态之间的差异。但纯粹的预测误差会导致模型倾向于预测「平均状态」(因为平均值通常比极端值更接近真实值),所以需要额外的正则化:对抗损失(让预测的分布匹配真实分布)、信息瓶颈(防止预测器记住训练数据)、课程学习(从简单的短序列预测逐步过渡到复杂的长序列预测)。

第三阶段:联合微调。将编码器和预测器一起微调,确保两者的表示空间一致。这一步通常使用较小的学习率,以避免破坏前两个阶段学到的有用知识。

训练数据的选择至关重要:世界模型需要包含丰富物理交互的数据——物体碰撞、流体运动、刚体和非刚体变形。如果训练数据只是静态场景的缓慢变化(如风景视频),模型将学不到有用的物理规律。

数据质量比数量更重要。100 万帧包含丰富物理交互的视频,远比 1 亿帧静态风景视频有价值。这也是为什么世界模型的训练数据需要精心筛选和标注。

python
import torch
import torch.nn as nn
import torch.nn.functional as F

class WorldModelTrainer:
    """世界模型三阶段训练"""

    def __init__(self, encoder, decoder, predictor, lr=1e-4):
        self.encoder = encoder
        self.decoder = decoder
        self.predictor = predictor
        self.optimizer = torch.optim.Adam(
            list(encoder.parameters()) +
            list(decoder.parameters()) +
            list(predictor.parameters()),
            lr=lr
        )

    def stage1_representation_learning(self, frames):
        """阶段 1:表示学习(重构损失 + 时间一致性)"""
        B, T, C, H, W = frames.shape
        latents = self.encoder(frames)       # [B, T, D]
        reconstructed = self.decoder(latents) # [B, T, C, H, W]

        # 重构损失
        recon_loss = F.mse_loss(reconstructed, frames)

        # 时间一致性:相邻帧的潜在表示应该平滑
        temporal_loss = F.mse_loss(latents[:, 1:], latents[:, :-1]) * 0.1

        loss = recon_loss + temporal_loss
        return loss

    def stage2_dynamics_learning(self, frames, actions=None):
        """阶段 2:动态学习(预测误差)"""
        latents = self.encoder(frames.detach())  # 冻结编码器

        predicted = []
        current = latents[:, :1]
        for t in range(1, latents.size(1)):
            pred = self.predictor(current)
            predicted.append(pred)
            current = pred if self.training else latents[:, t:t+1]

        predicted = torch.cat(predicted, dim=1)
        pred_loss = F.mse_loss(predicted, latents[:, 1:])
        return pred_loss
训练阶段目标损失函数数据需求

表示学习

压缩并重建

MSE 重构损失

大规模视频数据

动态学习

预测状态演变

预测误差 + 对抗损失

包含物理交互的视频

联合微调

端到端优化

重构 + 预测联合损失

高质量标注数据

强化学习适配

策略优化

奖励信号 + 预测误差

交互环境

训练世界模型时,课程学习策略非常有效:先让模型学习预测 2 帧后的状态,然后逐步增加到 4 帧、8 帧、16 帧。这种渐进式训练比直接训练长程预测更稳定。

常见的训练陷阱是误差累积(Error Accumulation):自回归预测中,每一步的小误差都会在下一步被放大。使用 Teacher Forcing 可以在训练阶段缓解这个问题,但在推理阶段误差仍然会累积。

6世界模型 vs 视频生成模型:本质区别

世界模型和视频生成模型经常被混淆,因为 Sora 这样的系统同时具备两种能力。但从设计目标、评估标准到应用场景,它们有着本质的区别

设计目标不同:视频生成模型的目标是生成视觉上逼真的视频,关注画面质量、时间一致性和美学效果;世界模型的目标是理解并预测物理世界的状态演变,关注预测准确性和因果推理能力。一个生成模型可以做出看起来真实的「反重力」视频,但世界模型应该知道物体不会自己飞起来。

评估标准不同:视频生成模型使用 FID(Fréchet Inception Distance)、FVD(Fréchet Video Distance)等指标评估生成质量;世界模型需要评估其在潜在空间中预测的准确性、对未来状态的可控性、以及对物理规律的捕捉程度。一个视频生成模型可能在 FVD 上得分很高,但完全不懂物理。

应用场景不同:视频生成模型用于内容创作(电影、广告、游戏);世界模型用于需要理解物理规律的场景——机器人规划、自动驾驶仿真、科学实验预测、游戏 AI。

一个重要的区分方法是反事实测试:给定一个违反物理规律的场景(比如球在空中突然停止),视频生成模型会生成看起来合理的画面,因为它在模仿训练数据中的模式;而世界模型应该在潜在空间中表现出「这个状态不太可能」——它对物理规律有内在的理解。

世界模型的终极目标是成为 AI 的「物理直觉」——让 AI 像人类一样,不需要公式就能理解「杯子掉地上会碎」、「水往低处流」。这种直觉不是通过背诵物理定律获得的,而是通过观察大量物理交互并在潜在空间中建立预测模型而形成的。

维度视频生成模型世界模型

核心目标

生成逼真视频

理解物理规律

评估指标

FID, FVD, 人工评分

预测准确性, 因果推理

输出形式

像素/视频帧

潜在状态表示

物理准确性

视觉上合理即可

必须符合物理规律

典型应用

内容创作, 娱乐

机器人, 自动驾驶, 科学

反事实处理

可以生成任何画面

应该识别不可能状态

数据需求

大规模高质量视频

包含物理交互的视频

如果你需要一个 AI 系统来做视频内容创作,选择视频生成模型;如果你需要一个 AI 系统来理解物理世界并做出决策,选择世界模型。两者可以结合使用——世界模型提供规划,生成模型提供渲染。

不要将世界模型的预测直接用于安全关键场景(如自动驾驶的实时决策)。当前世界模型的预测精度还不够,预测误差会随着时间步累积。它们更适合用于离线仿真和规划

7世界模型的实际应用

世界模型不仅仅是一个学术概念,它已经在多个领域展现出巨大的应用潜力

机器人仿真与规划:这是世界模型最直接的应用场景。在机器人学习新技能时,如果有一个准确的世界模型,机器人可以在「想象中」练习——通过世界模型预测不同动作的结果,而不需要在真实世界中尝试。这大大减少了机器人学习所需的物理交互次数。具体来说,机器人可以使用世界模型进行模型预测控制(MPC):在每个时间步,生成多条可能的动作序列,通过世界模型预测每条序列的结果,选择预期回报最高的动作执行。这种方法在复杂操作任务中表现出色,比如抓取不规则物体、组装零件等。

自动驾驶仿真:自动驾驶系统需要在各种极端场景下进行测试,但在真实世界中制造这些场景既危险又昂贵。世界模型可以在虚拟环境中生成逼真的驾驶场景——其他车辆的突然变道、行人的意外横穿、恶劣天气下的视线受限。与传统的基于规则的仿真不同,世界模型生成的场景具有更高的真实感和多样性,因为它学习自真实驾驶数据。

科学发现:世界模型可以用于预测复杂的物理、化学和生物过程。例如,在分子动力学中,世界模型可以预测分子在不同条件下的行为;在气候科学中,可以预测不同排放情景下的气候变化。虽然这些应用需要高度专业化的世界模型,但基础架构是通用的。

游戏 AI:游戏是最容易实现世界模型的场景之一,因为游戏本身就是确定性的模拟环境。AlphaGo 和 AlphaZero 的核心思想就是通过学习棋盘游戏的「世界模型」(即规则)来预测不同落子的结果。现代游戏 AI 进一步利用世界模型在视觉游戏中进行规划。

python
import torch

class MPCWithWorldModel:
    """使用世界模型的模型预测控制"""

    def __init__(self, world_model, action_space, horizon: int = 10,
                 num_rollouts: int = 100):
        self.world_model = world_model
        self.action_space = action_space
        self.horizon = horizon      # 预测视野
        self.num_rollouts = num_rollouts  # 模拟次数

    def plan(self, current_state, reward_fn):
        """通过世界模型规划最优动作序列"""
        best_reward = -float('inf')
        best_action = None

        for _ in range(self.num_rollouts):
            # 随机采样动作序列
            actions = self._sample_action_sequence()

            # 通过世界模型模拟
            state = current_state.clone()
            total_reward = 0
            for action in actions:
                next_state = self.world_model.predict(state, action)
                total_reward += reward_fn(next_state, action)
                state = next_state

            if total_reward > best_reward:
                best_reward = total_reward
                best_action = actions[0]  # 只执行第一个动作

        return best_action

    def _sample_action_sequence(self):
        """随机采样动作序列"""
        return torch.stack([
            torch.tensor(self.action_space.sample())
            for _ in range(self.horizon)
        ])

世界模型在机器人领域的应用正处于爆发期。SANA-WM 等开源模型的发布意味着每个研究团队都可以构建自己的世界模型,而不需要依赖闭源 API。

世界模型的预测误差在长程规划中会显著累积。在实际应用中,建议将预测视野控制在 10-20 步以内,并结合真实传感器反馈进行校正。

8世界模型的未来发展方向

世界模型是一个年轻且快速发展的领域,2026 年的现状只是冰山一角。以下几个方向值得关注。

多模态世界模型:当前的世界模型主要处理视觉输入,但真实世界是多模态的——声音、触觉、温度、气味。未来的世界模型需要整合多种感官输入,构建统一的物理世界表征。例如,一个整合了视觉和听觉的世界模型可以预测「看到球落地」的同时「听到撞击声」。

因果世界模型:当前的世界模型擅长预测「接下来会发生什么」,但不擅长回答「如果我不这样做会怎样」。因果推理是世界模型的下一个前沿——让模型不仅学习相关性,还学习因果关系。这意味着模型可以理解干预(Intervention)的效果,而不仅仅是观察到的模式。

可解释的世界模型:当前世界模型的潜在表示对人类来说是不可读的。如果世界模型能够输出人类可理解的预测——「球会在 2 秒后落地,因为重力加速度约为 9.8 m/s²」——那将彻底改变 AI 的可信度和实用性。这需要世界模型的潜在空间与物理量(速度、加速度、力)建立映射关系。

世界模型与 LLM 的融合:语言模型擅长语义理解和逻辑推理,世界模型擅长物理规律和空间推理。两者的融合可能产生既懂语言又懂物理的 AI 系统。想象一个 AI 助手,你告诉它「把杯子放到桌子上」,它能理解语义(LLM)并规划物理动作(世界模型),最终控制机器人完成任务。

开源生态的完善:随着 SANA-WM 等开源模型的发布,世界模型的研究门槛正在降低。未来可能出现专门的世界模型数据集、评估基准、预训练模型库和工具链,形成完整的开发生态。

世界模型的终极愿景是构建 AI 的物理直觉——让 AI 像人类婴儿一样,通过观察和互动来理解世界如何运作。这一愿景的实现可能需要十年甚至更久,但每一步进展都在让 AI 更加接近真正的智能。

关注 NVIDIA SANA-WM 等开源项目的更新节奏。开源世界模型的迭代速度远快于闭源项目,社区贡献可能会在几个月内带来显著的改进

世界模型仍然处于早期研究阶段。不要将其预测结果用于安全关键决策(如医疗诊断、金融交易、自动驾驶实时控制)。当前模型的预测误差和幻觉问题尚未完全解决。

9世界模型与物理 AI 的融合:2026 年新进展

更新于 2026-05-18。 世界模型与物理 AI 的融合正在成为 2026 年最重要的技术趋势之一,本周有多个值得关注的进展。

Diffusion-WM 的提出:最新研究提出了 Diffusion-WM 架构,将扩散模型的世界建模能力与物理 AI 的 Sim-to-Real 迁移相结合。与 SANA-WM 使用自回归预测器不同,Diffusion-WM 使用扩散过程在潜在空间中进行状态预测。这种方法的优势在于:扩散模型的全局建模能力使得它能够更好地捕捉复杂的多物体交互——这是自回归世界模型(如 SANA-WM)的薄弱环节。

物理 AI 产业加速:2026 年 5 月,贝佐斯宣布投入 380 亿美元布局物理 AI 领域,其中包括世界模型在机器人仿真中的应用。这一投资事件表明,世界模型已经从学术研究进入了产业投资的视野。世界模型的核心价值在于:它可以在仿真环境中「预演」物理 AI 的行为,大幅减少机器人学习所需的真实世界交互次数。

世界模型 + LLM 的初步成果:Figure AI 和 Google DeepMind 都在探索将 LLM 的语义理解能力与世界模型的物理推理能力结合的方案。这种融合架构的初步结果是:LLM 负责高层任务理解(「把红色箱子搬到 3 号货架」),世界模型负责低层物理预测(箱子在不同动作下的运动轨迹),两者通过一个接口模块进行信息交换。

开源世界模型的竞争格局:随着 NVIDIA SANA-WM、Cosmos 等开源项目的发布,世界模型领域正在形成开源社区的标准。2026 年下半年,预计会有更多开源世界模型出现,竞争将从「谁先发布」转向「谁的生态系统更好**。

中国 AI 视频生成平台的世界模型探索:2026 年 5 月,FT 等主流媒体报道中国 AI 视频生成平台在全球范围内处于领先地位。可灵、Vidu、即梦等平台不仅在视频生成质量上领先,在底层的世界模型研究方面也在积极布局。可灵团队公开了其视频理解基础模型的研究成果,展示了对物理规律的学习能力;Vidu 则将世界模型用于角色一致性生成,确保同一角色在不同镜头中的外观和行为保持一致。这表明中国平台正在从应用层向基础层深入——不仅会用世界模型,还在构建自己的世界模型。

AI 视频生成对世界模型的反哺:有趣的是,视频生成技术的进步反过来也在推动世界模型的发展。DiT 架构中的时空注意力机制、3D VAE 压缩方法、以及大规模视频训练策略,都可以直接应用于世界模型。Sora 的成功证明了视频生成是世界模型的有效训练信号——通过生成逼真视频的逆过程,模型学会了理解物理规律。

模型参数规模核心架构应用场景开源状态最新进展

NVIDIA SANA-WM

2.6B

自回归 Transformer

机器人仿真 + RL

开源

社区快速增长

Diffusion-WM

1.5B

扩散去噪网络

复杂交互建模

研究中

论文阶段

Google Genie 2

未公开

交互式世界模型

游戏环境

闭源

从图像生成可玩环境

NVIDIA Cosmos

多种尺寸

多模态世界模型

物理 AI 平台

开源

完整工具链

可灵视频基础模型

未公开

DiT 时空注意力

视频生成 + 物理理解

闭源

技术论文公开

2026 年是世界模型从学术走向产业的关键年份。关注 Diffusion-WM 和 NVIDIA Cosmos 两个项目的进展,它们代表了世界模型的两个重要方向:更准确的建模 + 更完整的工具链。

物理 AI 投资热潮中,世界模型可能被过度炒作。当前世界模型在复杂物理场景中的预测精度仍然有限,距离真正的'物理引擎替代品'还有很长的路。

10扩展阅读与资源

世界模型是一个快速发展的领域,以下资源可以帮助深入了解。

经典论文:Yann LeCun 的 JEPA 论文「A Path Towards Autonomous Machine Intelligence」是该领域的奠基之作;Ha & Schmidhuber 的「World Models」论文(2018)首次系统阐述了世界模型的概念;OpenAI 的 Sora 技术报告详细描述了大规模世界模型的工程实践;NVIDIA 的 SANA-WM 论文提供了开源世界模型的具体实现细节;2026 年最新的 Diffusion-WM 论文探索了扩散架构的世界模型。

开源项目:NVIDIA SANA-WM 是当前最重要的开源世界模型项目;Cosmos 是 NVIDIA 的物理 AI 平台,包含世界模型训练工具;Dreamer 系列(DreamerV3)是基于世界模型的强化学习框架;Genie 是 DeepMind 的交互式世界模型,可以从单张图像生成可玩的游戏环境。

多智能体世界模型:2026 年 5 月 Odyssey 发布了 Agora-1,这是首个面向多 Agent 的共享环境世界模型。它将世界模型从「物理环境建模」扩展到「社会动力学建模」,使得多个 AI Agent 可以在统一的虚拟环境中协作和竞争。详见 agent-067(多智能体世界模型:从 Agora-1 看共享环境的构建与协作范式)。

学习路径建议:首先学习自编码器和变分自编码器(VAE),理解如何将高维数据压缩为低维表示;然后学习 Transformer 架构,掌握自回归预测的基本原理;接着学习扩散模型,理解现代生成模型的工作机制(genai-010 专门讨论了扩散文本生成);最后将三者结合,理解世界模型如何在潜在空间中进行预测。对于实践者,建议从 SANA-WM 的开源代码开始,尝试在自己的数据集上训练一个简化的世界模型。

相关知识点:本文与自监督视觉学习(cv-012)密切相关——世界模型的编码器本质上是在做自监督学习;与扩散模型(genai-001, genai-010)相关——Sora 使用了扩散过程,Diffusion-WM 更是直接基于扩散架构;与强化学习(rl 系列)相关——世界模型是 RL 中的环境模型;与物理 AI(blog-189)相关——世界模型是物理 AI 的核心技术组件;与多智能体世界模型(agent-067)相关——世界模型的边界正在从单 Agent 物理环境扩展到多 Agent 共享环境。

建议按照以下顺序学习:VAE → Transformer → 扩散模型 → 世界模型。跳过基础直接学习世界模型会很难理解其中的关键设计决策。genai-010 专门讨论了扩散模型在文本生成中的应用,虽然与视觉世界模型不同,但扩散的核心原理是一致的。

世界模型的文献增长极快,2026 年每月的论文数量都在创新高。不要试图阅读所有论文,选择一个子方向深入(如视频世界模型、机器人世界模型、因果世界模型)比广泛浅尝更有价值。

11更新于 2026-05-19:SANA-WM 社区爆发与多智能体世界模型扩展

SANA-WM 社区生态加速成熟。 自 2026 年 5 月开源以来,NVIDIA SANA-WM 的 GitHub 星数快速增长,社区贡献者已经超过 200 人。本周有多个值得关注的进展。

SANA-WM 的机器人仿真适配取得突破。 社区开发者发布了基于 SANA-WM 的机器人仿真环境框架,使得机器人可以在 SANA-WM 预测的潜在空间中进行「想象训练」。具体来说,机器人使用 SANA-WM 预测不同动作序列的物理结果,而不需要在真实环境中反复尝试。这种方法将机器人学习所需的真实交互次数降低了 40-60%——这是 Sim-to-Real 迁移领域的重大进展。

Diffusion-WM 的最新实验数据公布。 2026 年 5 月的最新论文展示了 Diffusion-WM 在多物体交互场景中的预测精度优势。在包含 5+ 个物体同时交互的测试场景中,Diffusion-WM 的预测准确率比 SANA-WM 的自回归架构高出 15-20%。这一差异的根本原因在于:扩散模型的全局建模能力使得它能够同时考虑所有物体之间的相互作用,而自回归模型需要按顺序预测,容易在早期步骤中积累误差。

中国 AI 视频平台的世界模型研究进入深水区。 FT 等主流媒体报道中国 AI 视频生成平台在全球范围内处于领先地位,这不仅仅是应用层的领先,更是基础层——世界模型研究的深入。可灵团队公开的视频理解基础模型不仅用于视频生成,还在物理规律学习方面取得了显著进展。Vidu 团队将世界模型用于角色一致性生成,确保同一角色在不同镜头中的外观和行为保持一致。即梦(Dreamina)则探索将世界模型用于场景连贯性生成——即使提示词发生变化,生成视频的物理环境和光照条件也保持一致。

中国平台的世界模型研究有三个独特优势: 第一,数据优势——中国平台拥有海量的中文视频数据,这些数据包含了丰富的物理交互场景(烹饪、运动、交通等),是世界模型训练的高质量数据源;第二,应用驱动——中国平台直接面向消费者市场,世界模型的研究成果可以快速转化为产品功能;第三,工程能力——中国平台在大规模模型训练和推理优化方面积累了丰富的工程经验,这些经验可以迁移到世界模型的研究中。

世界模型评估基准的标准化进展。 随着越来越多的世界模型发布,评估标准的统一成为社区的迫切需求。2026 年 5 月,多个研究团队联合提出了 WorldBench——一个标准化的世界模型评估基准,涵盖了物理规律捕捉、长程预测准确性、因果推理能力、和多模态理解四个维度。WorldBench 的发布使得不同世界模型之间的对比更加公平和科学。

AI Master 的更新判断: 世界模型领域正在从「模型竞赛」转向「生态竞争」。SANA-WM 的成功不仅在于模型本身,更在于它构建的开源生态——工具链、评估基准、社区贡献。同时,世界模型的边界正在从物理环境建模扩展到多智能体社会建模(详见 agent-067 多智能体世界模型),这是一个更广阔的研究方向。2026 年下半年,预计会看到更多基于世界模型的实际应用发布。

维度2026.04 现状2026.05 进展2026 下半年预期

开源生态

SANA-WM 刚发布

社区 200+ 贡献者

工具链完善

机器人仿真

概念验证

降低 40-60% 真实交互

规模化应用

Diffusion-WM

论文阶段

多物体精度 +15-20%

开源代码

中国平台

论文探索

产品功能转化

实际应用发布

评估基准

各自为战

WorldBench 提出

标准化采用

世界模型的开源生态正在形成——SANA-WM、Cosmos、Dreamer 等项目构成了完整的研究-开发-部署链条。如果你是世界模型的研究者,建议直接在这些开源项目的基础上工作,而不是从零开始。

世界模型的社区繁荣可能掩盖一个事实:当前世界模型在复杂物理场景中的预测精度仍然有限。不要被星数和社区活跃度迷惑,预测精度才是衡量世界模型价值的唯一标准

12更新于 2026-05-20:物理 AI 基础设施投资加速与世界模型商业化

物理 AI 基础设施投资进入爆发期。 2026 年 5 月,Eclipse Ventures 宣布向 Cerebras 投资 25 亿美元,专门用于物理 AI 的基础设施建设和世界模型训练。这一投资事件的意义在于:它标志着物理 AI 从学术研究正式进入产业投资阶段

Cerebras 的 wafer-scale 芯片架构为物理 AI 训练提供了独特的硬件优势。与传统的 GPU 集群不同,Cerebras 的 wafer-scale 引擎(WSE)将整块晶圆作为一个芯片使用,拥有 4 万亿个晶体管和 850,000 个 AI 核心。这种架构特别适合世界模型训练——世界模型需要处理大规模时空序列数据(视频帧、传感器数据、物理模拟),而 wafer-scale 架构可以在单个芯片上处理整个序列,避免了多芯片之间的通信瓶颈。

FANUC 与 Google 的工业 AI 合作进一步验证了世界模型的产业化趋势。FANUC 是全球最大的工业机器人制造商,Google 提供了世界模型和基础大模型的技术能力。两者的合作方向是:使用世界模型来预测工业机器人的运动轨迹、设备磨损、和生产流程优化。这意味着世界模型不再只是一个学术概念——它正在成为工业自动化的核心组件。

Blackstone 与 Google 的 TPU 云合资公司(投资 50 亿美元)是另一个重要信号。TPU(Tensor Processing Unit)是 Google 专门为 AI 计算设计的芯片,TPU 云使得企业可以在云端进行大规模的 AI 训练和推理,而无需购买昂贵的硬件。对于世界模型的训练来说,TPU 云提供了两个关键优势:大规模并行训练——可以同时训练多个世界模型的不同版本;成本可控——按使用量付费,降低了世界模型研究的门槛。

世界模型的商业化路径正在清晰化。 根据当前的发展轨迹,世界模型的商业化可以分为三个阶段:第一阶段(2025-2026)是技术验证期——SANA-WM、Cosmos 等项目证明了世界模型的可行性;第二阶段(2026-2027)是应用探索期——机器人仿真、工业预测、视频生成等应用场景开始出现;第三阶段(2027-2028)是规模化应用期——世界模型成为 AI 基础设施的标准组件,被广泛应用于自动驾驶、智能制造、智慧城市等领域。

AI Master 的观察: 物理 AI 投资热潮背后有一个值得关注的风险——世界模型的技术成熟度可能被高估。当前的世界模型在简单的物理场景(如单个物体的运动、液体流动)中表现良好,但在复杂的多物体交互、非刚性物体变形、和极端条件下的预测仍然存在显著误差。投资者需要区分「展示效果」和「实际能力」——一个世界模型在演示视频中的表现,不代表它在真实工业环境中的可靠性。

投资事件金额投资方技术方向对世界模型的意义

Cerebras 投资

25 亿美元

Eclipse Ventures

wafer-scale 芯片

专用训练硬件

FANUC + Google

未公开

战略合作

工业 AI 预测

工业场景落地

TPU 云合资

50 亿美元

Blackstone + Google

云端 AI 训练

降低训练门槛

中国平台融资

未公开

多轮投资

视频基础模型

数据与工程优势

关注世界模型相关的开源社区和标准制定进展。SANA-WM、Cosmos 等项目正在形成事实上的标准,参与这些项目可以获得最新的技术洞察和实践经验。

物理 AI 投资热潮中,世界模型可能被过度炒作。投资者需要区分真正的技术创新和商业噱头——一个世界模型能否在实际工业场景中可靠运行,才是衡量其价值的最终标准。

13更新于 2026-05-20:Agora-1 多智能体世界模型与行业最新进展

Agora-1 多智能体世界模型代表了世界模型研究的一个重要方向转变。 传统的世界模型主要关注单一场景的物理世界建模——预测一个房间中物体的运动、一辆汽车的行驶轨迹。Agora-1 的创新在于将多智能体协作与世界模型结合起来,让多个 AI Agent 在同一个虚拟世界中交互、学习和演化。

Agora-1 的核心技术贡献在于三个方面:第一,多智能体共享世界模型——每个 Agent 不需要独立学习环境的物理规律,而是共享一个统一的世界模型,大幅降低了学习成本。第二,社会交互建模——Agent 之间的交互行为(合作、竞争、谈判)也被纳入世界模型的预测范围,这使得 Agora-1 不仅能预测物理世界的变化,还能预测社会行为的结果。第三,可扩展的世界规模——Agora-1 支持从几平方米的房间到整个城市的不同尺度,Agent 可以在不同尺度之间无缝切换。

这一进展对世界模型的意义是深远的。 它将世界模型从"预测物理世界"扩展到了"预测社会世界"。在工业制造场景中,这意味着世界模型不仅可以预测机器人的运动和设备的状态,还可以预测多个机器人之间的协作效率、产线上工人的行为模式、甚至供应链中各个环节的协调情况。

2026 年 5 月的其他重要进展包括:

  • OpenAI 与 Anthropic 同日对抗模型发布:两大 AI 巨头在同一天发布了对抗世界模型的新版本,标志着世界模型安全研究进入了新的竞争阶段。对抗世界模型的目的是测试世界模型在面对恶意输入时的鲁棒性,这是世界模型走向生产环境的必要条件。

  • NCSC 发布 Agent 安全指南:英国国家网络安全中心(NCSC)发布了首份针对 Agent 系统的安全指南,其中明确提到了世界模型在多 Agent 环境中的安全风险。这为工业世界中模型的安全部署提供了官方指导。

  • 中国物理 AI 投资加速:Eclipse Ventures 向中国 Cerebras 相关项目投资 25 亿美元,专门用于物理 AI 基础设施和世界模型训练。同时,FANUC 与 Google 的工业 AI 合作也在加速推进,目标是将世界模型应用于工业机器人预测性维护。

  • Agent 技能标准化进展:GitHub Agent Skills 框架已成为开源 Agent 生态的事实标准,世界模型与 Agent 技能的结合正在形成新的研究方向——让 Agent 在世界模型中学习技能,然后将学到的技能迁移到真实世界中。

AI Master 的观察: Agora-1 的多智能体世界模型路线与 NVIDIA SANA-WM 的单场景世界模型路线代表了世界模型研究的两个分支。前者追求规模和复杂性——模拟包含数十个甚至数百个 Agent 的大型环境;后者追求精度和可靠性——在特定场景中实现高精度的物理预测。两条路线不是对立的,而是互补的——未来的世界模型可能需要同时具备大规模社会建模能力和高精度物理预测能力。

进展方向核心贡献技术成熟度应用场景

Agora-1 多智能体

共享世界模型 + 社会交互建模

研究验证阶段

多机器人协作仿真

对抗模型安全

恶意输入鲁棒性测试

早期探索

工业世界模型安全评估

NCSC 安全指南

Agent 系统安全标准

政策发布

企业 Agent 部署合规

中国物理 AI 投资

硬件基础设施 + 数据工程

产业投资阶段

工业制造 + 智慧城市

Agent 技能标准化

GitHub Agent Skills 框架

开源社区主导

技能迁移真实世界

多智能体世界模型是未来 3-5 年最值得关注的方向之一。建议关注 Agora-1、SANA-WM、Cosmos 三个项目的技术路线差异,它们分别代表了社会建模、物理预测和通用世界模型的不同侧重点。

多智能体世界模型的研究仍处于早期阶段。当前多 Agent 世界模型的预测精度远低于单 Agent 模型,社会交互建模的准确性也有待验证。不建议在生产环境中直接使用多智能体世界模型做关键决策,但可以作为仿真和研究的工具。

继续你的 AI 学习之旅

浏览更多 AI 知识库文章,或者探索 GitHub 上的优质 AI 项目