Chapter 58
什么是GAIA？
什么是GAIA？
GAIA 是一个用于评估AI助手在需要核心能力组合的真实世界任务上的表现的基准，这些核心能力包括推理、多模态理解、网页浏览和熟练的工具使用。
此论文介绍了GAIA "GAIA: A Benchmark for General AI Assistants"。
该基准包含466个精心策划的问题，这些问题对人类来说在概念上简单，但对当前的AI系统来说却极具挑战性。
为了说明差距：
- 人类：约92%的成功率
- 带有插件的GPT-4：约15%
- 深度研究（OpenAI）：在验证集上的得分为67.36%
GAIA突出了AI模型的当前局限性，并提供了一个严格的基准来评估向真正通用AI助手发展的进展。
🌱 GAIA的核心原则
GAIA围绕以下支柱精心设计：
- 🔍 现实世界的难度：任务需要多步骤推理、多模态理解和工具交互。
- 🧾 人类可解释性：尽管对AI来说很难，但每个任务在概念上对人类来说仍然简单易懂。
- 🛡️ 不可游戏化：正确答案需要完整的任务执行，使得蛮力破解无效。
- 🧰 评估的简单性：答案简洁、事实性强且明确———作为一个理想的基准测试。
难度等级
GAIA任务被组织为三个递增复杂度的等级，每个等级测试特定技能：
- 一级：需要少于5个步骤和最少的工具使用。
- 二级：涉及更复杂的推理和多个工具之间的协调以及5-10个步骤。
- 三级：需要长期规划和各种工具的高级集成。
困难GAIA等级（Hard GAIA）的问题示例
在2008年画作“乌兹别克斯坦的刺绣”中展示的水果中，哪些曾在1949年10月的早餐菜单中被提供，作为后来用于电影《最后航程》的远洋班轮的一部分？请将这些水果以逗号分隔的列表形式给出，按照它们在画作中从12点位置开始的顺时针排列顺序，并使用每种水果的复数形式。
正如您所见，这个问题在几个方面对AI系统提出了挑战：
- 需要一个结构化的响应格式
- 涉及多模态推理（例如，分析图像）
- 需要多跳检索相互依赖的事实：
- 识别画作中的水果
- 发现哪个远洋班轮用于最后航程
- 查找该船1949年10月的早餐菜单
- 需要正确的排序和高级规划以按正确顺序解决
这种任务突出了单独的LLM往往不足的地方，使GAIA成为基于智能体的系统的理想基准，这些系统可以在多个步骤和模态上进行推理、检索和执行。
实时评估
为了鼓励持续的基准测试，GAIA在Hugging Face上提供了一个公共排行榜，您可以在其中测试您的模型对300个测试问题的表现。
👉 在这里查看排行榜
想深入了解GAIA？