AGI 基准测试争议

Kaggle Measuring AGI 竞赛评审过程中暴露的问题：评测不一致性——评审过程中存在标准不统一、评分规则模糊；AGI 定义困境——什么是 AGI？如何衡量一个系统是否达到 AGI 水平？社区缺乏共识；基准测试局限——现有基准测试（MMLU、HumanEval、ARC 等）只能衡量特定能力，无法全面评估通用智能；竞赛公正性——参赛者对评审过程的透明度和一致性提出质疑。

当前 AGI 基准测试的主要局限：能力碎片化——只测离散能力（语言理解、代码生成、逻辑推理），无法评估通用智能的整体表现；静态性——基准测试是静态的，无法评估系统在动态环境中的适应能力和持续学习能力；可刷分性——基准测试可以被针对性优化（overfitting to benchmarks），高分不一定代表真正的通用智能。

AGI 评测正在从静态基准测试向动态评测演进：动态评测——在真实环境中评估系统表现，而非静态数据集；持续学习评估——评估系统在部署后的学习能力；安全评估——评估系统的安全性、可控性、对齐程度。Kaggle 争议推动了 AGI 评测方法论的改进，但核心问题（AGI 定义）仍未解决。