多模态学习（十二）：Gemini 3.5 多模态世界模型

多模态学习在过去五年经历了从「单模态拼接」到「统一表征」的范式转变。早期的 CLIP 模型通过对比学习将图像和文本映射到同一嵌入空间，但这仍然是两个独立编码器的拼接——视觉和语言各自编码，只在训练目标层面对齐。

Gemini 3.5 的发布（2026 年 5 月 19 日 Google I/O）代表了真正的多模态统一：一个模型同时理解文本、图像、音频、视频和代码，并能在这些模态之间自由转换。这不是五个独立的模型拼在一起，而是一个统一的神经网络，从底层架构上支持任意模态的输入和输出。

世界模型的概念在这里至关重要。Gemini Omni 被 Google 定义为「世界模型」——不仅能处理已有数据，还能生成物理世界一致的新内容。当你输入「一只猫在雨中奔跑」时，模型不是简单地从训练数据中检索相似片段，而是基于对物理规律、运动学、光照条件的内在理解，生成从未见过的但物理正确的视频帧。

这一转变的深远意义在于：从「理解已有内容」到「创造新内容」，多模态模型不再是被动分类器，而是主动生成器。这标志着 AI 从感知走向创造的关键转折点。

从技术演进路线来看，Gemini 3.5 系列包括三个核心组件：

• Gemini 3.5 Flash：高效多模态理解与推理模型，专为 Agent 任务优化
• Gemini Omni：统一多模态生成模型，支持视频生成和编辑
• Gemini Spark：基于 3.5 Flash 构建的个人 AI Agent，实现 24 小时后台任务执行

这三者构成了 Google 的多模态 AI 三叉戟——理解、生成、执行，覆盖了 AI 应用的全生命周期。

Gemini 3.5 Flash 是 Google 在 2026 年 5 月 19 日 I/O 大会上发布的最新高效模型，其核心设计目标是「为 Agent 任务而生」——不是追求极致的单项基准分数，而是优化模型在复杂、多步骤任务中的整体表现。

关键基准数据（来源：Google 官方博客 + LLM Stats，2026 年 5 月）：

• Terminal-Bench 2.1：76.2%，在 Agent 执行类基准上超越了此前的 Gemini 3.1 Pro
• 代码生成：在多个编程基准上排名进入前 50，接近前沿模型水平
• 多模态理解：图像理解、图表解读、文档分析能力在 Flash 系列中最强
• 推理速度：输出速度达到同类前沿模型的 4 倍，但质量损失控制在可接受范围内

上下文窗口：100 万 token，支持超长文档、大规模代码库、多轮对话的完整上下文保留。这一设计使得 Agent 可以在长时间任务链中保持对完整任务历史的感知，不需要频繁重置上下文。

定价策略（来源：Google API 文档，2026 年 5 月）：

• 输入：$1.50 / 百万 token
• 输出：$9.00 / 百万 token
• 对比：价格约为 GPT-4o 的 不到一半，但性能在 Agent 类任务上接近或超越

为什么 Flash 系列比 Pro 更适合 Agent 任务？ 核心在于 Agent 任务的特性——Agent 通常需要频繁调用模型进行工具选择、结果解析、中间状态判断，这些操作的单次请求往往不要求极致的推理深度，但要求低延迟、低成本、高吞吐量。Flash 模型在速度和成本上的优势，使得构建一个需要数百次模型调用的 Agent 系统的总成本大幅降低。

并行函数调用是 Gemini 3.5 Flash 的另一个关键能力。与传统的「一次只调用一个工具」不同，3.5 Flash 可以在单次推理中并行发出多个工具调用请求——比如同时查询数据库、调用搜索 API、读取文件系统——然后在模型内部整合这些结果。这大大减少了 Agent 的执行延迟。

Gemini Omni 是 Google I/O 2026 上最具技术野心的发布——一个真正的世界模型，能接受文本、图像、音频、视频作为输入，并生成高质量视频。这是 AI 视频生成领域的一次架构革命。

核心突破：统一架构替代分裂架构。在此之前，Google 的多模态生成是分裂的——Veo 3.1 负责视频生成，Nano Banana 负责图像生成，Gemini 负责文本理解。每种模态由不同的模型处理，用户需要在不同产品之间切换。Omni 将所有生成能力统一到单一模型家族中，基于 Gemini 的多模态理解骨干网络扩展而来。

工作原理：Omni 采用了自回归扩散混合架构（Autoregressive-Diffusion Hybrid）。对于文本和语言任务，它使用自回归生成（类似传统 LLM 的逐 token 预测）；对于视频生成任务，它切换到扩散模型模式，在潜在空间中逐步去噪生成视频帧。两种模式共享底层的多模态表征层，这意味着模型对世界的理解同时服务于理解和生成。

对话式编辑是 Omni 的一个革命性功能——你不需要学习复杂的提示工程语法，只需用自然语言描述你想要的修改：「把天空换成日落的颜色」「让猫跑得更快一些」「把场景从室内移到室外」。模型会理解这些编辑意图，并在保持视频其他部分不变的前提下进行精确修改。

物理一致性是 Omni 与早期视频生成模型的关键区别。早期模型（如 2023-2024 年的 Sora 早期版本）生成的视频经常出现物理不合理的情况——物体穿过墙壁、人物突然变形、光影方向不一致。Omni 通过引入世界知识先验（World Knowledge Prior）——即从 Gemini 海量训练数据中学到的物理规律——来约束生成过程，使得输出视频在运动学、动力学、光学上都更加合理。

首发版本：Gemini Omni Flash 已于 2026 年 5 月 19 日上线，通过 Gemini App 和 API 可用。

Gemini Spark 是 Google I/O 2026 的另一项重要发布——基于 Gemini 3.5 Flash 构建的个人 AI Agent，能够在后台持续执行任务，并与 Google Workspace 深度集成。

核心能力：

• 24 小时后台运行：与传统的「你问它答」式交互不同，Spark 是一个持续运行的 Agent——它可以监控邮件、分析文档、跟踪日程、执行研究任务，不需要用户持续在线对话
• Workspace 深度集成：直接操作 Gmail、Google Docs、Sheets、Calendar、Drive——不是简单的 API 调用，而是理解文档内容、提取关键信息、执行复杂工作流
• 多步骤任务编排：Spark 可以将复杂任务分解为多个子任务，并自主选择合适的工具（搜索、代码执行、数据分析）来完成每个子任务

技术实现：Spark 的核心是 Gemini 3.5 Flash 的 Agent 能力——并行函数调用、低延迟推理、100 万 token 上下文窗口。当 Spark 需要执行一个复杂任务（如「分析本周收到的所有客户邮件，提取关键行动项并更新项目文档」）时，它会：

1. 使用 3.5 Flash 的文本理解能力批量处理邮件
2. 通过并行函数调用同时查询日历、文档数据库、项目管理系统
3. 在长上下文中整合所有信息，生成结构化摘要
4. 通过 Workspace API 更新相关文档

与传统聊天助手的本质区别：传统助手是被动响应的——你说话，它回答。Spark 是主动执行的——它可以自主发起操作，在后台完成任务后再通知用户。这种从「对话式」到「执行式」的转变，是 AI Agent 发展的下一个关键阶段。

与 Google Workspace 的集成深度远超第三方 Agent——因为它直接运行在 Google 的基础设施上，拥有对 Workspace 数据的原生访问权限，不需要通过复杂的 API 认证和数据同步流程。

要理解 Gemini 3.5 系列为什么能在多模态领域实现突破，需要深入了解其统一架构的技术细节。

表征层：统一的模态无关嵌入空间。Gemini 3.5 的核心创新之一是构建了一个模态无关的嵌入空间——无论是文本 token、图像 patch、音频帧还是视频片段，都被映射到同一个高维向量空间中。这意味着模型可以在这个空间中进行跨模态的相似度计算、信息融合和推理。

这种统一表征的实现依赖于两个关键技术：

1. 模态特异性编码器：每种输入模态（文本、图像、音频、视频）首先通过专门的编码器转换为中间表征。这些编码器针对各自模态的特点进行了优化——文本编码器使用 Transformer，图像编码器使用 Vision Transformer，音频编码器使用音频专用架构。
2. 模态融合层：所有编码器的输出被送入一个共享的 Transformer 层，在这里不同模态的信息通过自注意力机制进行深度融合。这个融合层是模型真正「理解」跨模态关系的核心。

生成层：自回归与扩散的混合。在生成端，Gemini 3.5 采用了混合策略：

训练策略方面，Gemini 3.5 采用了多阶段训练：

• 预训练阶段：在海量多模态数据上进行自监督学习，学习跨模态的通用表征
• 指令微调阶段：使用高质量指令数据，学习遵循用户指令的能力
• Agent 对齐阶段：专门针对 Agent 任务（工具使用、多步骤推理、并行函数调用）进行优化
• 安全对齐阶段：通过 RLHF（人类反馈强化学习）和自动化安全测试，确保模型行为符合安全标准

上下文缓存技术是 Gemini 3.5 的重要优化——当 Agent 需要多次访问相同的长上下文（如大型代码库、长文档）时，可以将上下文的编码结果缓存，后续推理直接复用，避免了重复编码的计算开销。这使得处理百万级 token 上下文时的实际延迟大幅降低。

评估 Gemini 3.5 的技术地位，需要将其与同期的前沿模型进行系统性对比。以下是截至 2026 年 5 月的主要多模态模型对比。

多模态理解能力对比：

视频生成能力对比：

Agent 生态对比：

Gemini 3.5 的核心竞争优势在于三点：第一，多模态统一性最强——一个模型覆盖所有主流模态的理解和生成，而竞争对手往往需要多个模型组合；第二，Agent 原生设计——从架构层面为 Agent 任务优化，而不是在通用模型上「打补丁」；第三，Google 生态整合——与 Workspace、Search、Android 的深度集成是其他模型难以复制的。

竞争劣势也很明显：首先，Gemini 3.5 的开源程度低于 Llama 系列和 Qwen 系列，限制了社区生态的繁荣；其次，在纯文本推理和代码生成方面，Claude Opus 4.7 和 GPT-4.5 仍然保持微弱优势；最后，Google 的 API 生态系统成熟度不如 OpenAI 和 Anthropic，开发者工具链仍在建设中。

构建像 Gemini 3.5 这样的多模态世界模型，最大的挑战之一不是模型架构，而是训练数据的规模、质量和合法性。

数据规模：Gemini 3.5 的训练数据估计覆盖了数千亿规模的图文对、数百万小时的视频、数十亿小时的音频，以及数万亿 token 的文本。这种规模的数据无法通过人工标注获得——大部分依赖于互联网上的弱监督数据（网页图文对、视频字幕、音频转写等）。

数据质量控制是多模态训练的关键环节。Gemini 团队采用了多层数据过滤：

1. 基础过滤：去除低质量、重复、有害内容
2. 模态对齐检查：确保图文对、音视频对之间的语义一致性
3. 多样性保证：平衡不同语言、文化、领域的数据比例
4. 事实性验证：对包含事实性声明的文本进行自动验证

数据合法性是多模态模型面临的重大挑战。Gemini 的训练数据来源于互联网上的公开内容，但「公开可获取」不等于「合法可训练」。2024-2026 年间，多起针对 AI 训练数据的版权诉讼推动了行业数据治理标准的提升。Google 在 Gemini 3.5 中采取了以下措施：

• 对受版权保护的内容进行数据溯源标记，确保可以追踪数据来源
• 建立了数据退出机制，允许内容创作者选择退出训练数据集
• 对生成内容进行水印标记，便于识别 AI 生成的内容

隐私保护方面，Gemini 3.5 的训练数据经过了严格的去标识化处理——移除个人身份信息（PII）、模糊人脸、过滤敏感内容。对于涉及个人隐私的内容（如社交媒体帖子），Google 采用了差分隐私技术，确保无法从训练数据中反推出个人身份。

数据治理对模型质量的影响：高质量、多样化的训练数据是多模态模型能力的上限。如果训练数据缺乏某个领域（如医学影像、法律文档），模型在该领域的表现就会显著下降。这也是为什么 Gemini 3.5 在某些垂直领域（如法律文书、医学诊断）的能力仍然需要专门微调的原因。

本节通过具体代码示例，演示如何使用 Gemini 3.5 Flash API 构建多模态应用。

基础调用：通过 Google AI Studio 或 Vertex AI 调用 Gemini 3.5 Flash API，模型 ID 为 gemini-3.5-flash。以下是 Python SDK 的基础用法。

多模态输入：Gemini 3.5 Flash 支持同时传入多种模态的输入——你可以在同一个请求中发送文本、图像和音频，模型会自动融合这些信息并生成响应。

Agent 工具调用：Gemini 3.5 Flash 的并行函数调用能力使得构建 Agent 变得非常简单——你只需要定义工具描述，模型会自动选择合适的工具并并行调用。

上下文缓存：对于需要重复使用长上下文的应用（如 RAG 系统、代码补全），Gemini 3.5 Flash 提供了上下文缓存 API，可以将编码后的上下文结果缓存并复用，显著降低延迟和成本。

from google import genai

# 初始化客户端
client = genai.Client(api_key="YOUR_API_KEY")

# 多模态输入：文本 + 图像
response = client.models.generate_content(
    model="gemini-3.5-flash",
    contents=[
        "描述这张图片中的关键信息，并提取所有可见文字",
        genai.types.Part.from_uri(
            file_uri="gs://your-bucket/image.jpg",
            mime_type="image/jpeg"
        )
    ]
)
print(response.text)

# Agent 工具调用：并行函数调用
tools = [
    {
        "function_declarations": [
            {
                "name": "search_database",
                "description": "搜索内部数据库获取信息",
                "parameters": {"type": "OBJECT", "properties": {"query": {"type": "STRING"}}}
            },
            {
                "name": "read_file",
                "description": "读取指定路径的文件内容",
                "parameters": {"type": "OBJECT", "properties": {"path": {"type": "STRING"}}}
            }
        ]
    }
]

response = client.models.generate_content(
    model="gemini-3.5-flash",
    contents="查找数据库中关于客户 A 的最新合同，并读取合同文件",
    tools=tools
)

# 模型会并行调用 search_database 和 read_file
for fc in response.function_calls:
    print(f"工具: {fc.name}, 参数: {fc.args}")

# 上下文缓存：降低长上下文重复推理成本
from google.genai.types import Content, CachedContent

# 创建缓存内容（如大型代码库或长文档）
cached_content = CachedContent.create(
    model="gemini-3.5-flash",
    system_instruction="你是一个代码审查专家",
    contents=[
        # 长上下文：10 万 token 的代码库
        {"role": "user", "parts": [{"text": large_codebase}]}
    ],
    ttl="3600s"  # 缓存有效期 1 小时
)

# 使用缓存进行推理（成本大幅降低）
response = client.models.generate_content(
    model="gemini-3.5-flash",
    contents="请审查第 127 行到 150 行的代码",
    cached_content=cached_content.name
)
# 缓存命中时，只需为新请求的 token 付费，缓存部分的费用降低约 75%

Gemini 3.5 和 Omni 的发布标志着多模态 AI 进入了一个新阶段。基于当前技术演进方向，以下是对 2026-2027 年多模态领域关键趋势的预判。

趋势一：多模态统一成为标配。到 2027 年，所有前沿模型将支持文本、图像、音频、视频的统一理解和生成。分裂的多模态架构（不同模态用不同模型）将被淘汰，一个模型处理一切成为行业标准。

趋势二：世界模型从生成走向推理。当前的世界模型（如 Omni）主要关注「生成物理一致的内容」——这是对物理规律的被动遵守。下一阶段的世界模型将具备「基于物理规律进行推理」的能力——不仅能生成合理的视频，还能预测物理过程的结果、解释异常现象的原因。这将推动多模态模型从「创作者」走向「分析师」。

趋势三：Agent 与多模态深度融合。Gemini Spark 代表了这一趋势的起点——一个多模态 Agent 可以「看」屏幕截图、「听」音频会议、「读」文档、「写」报告。到 2027 年，个人和企业 AI Agent 将普遍具备多模态能力，不再局限于文本交互。

趋势四：开源多模态模型突破。目前统一多模态模型主要被巨头公司垄断（Google、OpenAI、Meta）。但随着 Llama 3.3 的多模态能力和 Qwen 系列的持续进步，开源社区有望在 2026-2027 年推出接近旗舰水平的统一多模态模型。这将大幅降低中小团队的 AI 应用门槛。

趋势五：多模态安全和治理标准化。随着多模态 AI 在关键场景中的应用增加，针对多模态模型的安全标准、审计框架、合规要求将快速完善。预计 2026 年底将出现第一个多模态 AI 安全的行业标准（类似 MLflow 之于 MLOps），涵盖内容真实性验证、深度伪造检测、版权合规等领域。

Gemini 3.5 系列的发布不仅仅是一次产品更新，它代表了 AI 发展路线的一个关键分水岭。

从分离到统一：过去的 AI 系统需要为不同模态选择不同的模型——文本用 LLM、图像用 ViT、视频用扩散模型、音频用音频专用模型。Gemini 3.5 将这些能力统一到一个模型家族中，这意味着开发者不再需要管理多个模型、协调不同模型的输入输出格式、处理模态间的数据转换。

从被动到主动：Gemini Omni 的世界模型能力和 Spark 的 Agent 能力，共同构成了一个「能理解、能创造、能执行」的 AI 系统。这不再是被动等待用户输入的工具，而是能够主动感知环境、自主制定计划、持续执行任务的智能体。

从实验室到生产：Gemini 3.5 Flash 的定价（$1.50/$9 per M token）和速度（4x 同类模型），使得多模态 AI 在生产环境中变得经济可行。当 Agent 系统的单次调用成本降低到美分级、延迟降低到秒级时，多模态 AI 的大规模部署就不再是理论上的可能，而是工程上的必然。

对 AI 学习者的启示：如果你正在学习 AI，多模态方向是最值得投入的领域之一。原因有三：第一，多模态是 AI 的终极形态——人类感知世界的方式就是多模态的，任何单模态的 AI 都只是通向这个目标的中间阶段；第二，多模态人才稀缺——同时理解视觉、语言、音频、视频处理的技术人员远少于单一模态的专家；第三，多模态应用空间巨大——从医疗影像分析到自动驾驶，从内容创作到科学研究，多模态 AI 的应用场景几乎覆盖所有行业。

最后的提醒：多模态世界模型虽然强大，但它不是万能的。它不能替代领域专家的深度知识、不能替代专用工具的精确计算、不能替代人类的价值判断。多模态 AI 的价值在于扩展人类的能力边界，而不是替代人类本身。