众包AI安全测试模式崛起
Gray Swan是一家专注于AI安全测试的匹兹堡初创公司，其核心产品Arena是一个汇聚全球15000名安全专业人士的众包红队测试平台。
关键信息
- 融资: 4000万美元新轮融资
- 联合创始人: Kolter（同时担任OpenAI Foundation董事会成员）
- 测试规模: 参与者在近一年内完成了超过1000次安全挑战
- 参与者收益: 一名23岁安全工程师通过越狱测试已赚取1万美元
安全挑战范围
- 诱导模型泄露敏感数据（如医疗记录）
- 绕过版权保护（如输出完整歌词）
- 对Claude Mythos和GPT-5进行越狱攻击
- 提示注入和对抗性测试
业务扩展
Gray Swan正从服务AI实验室扩展到向企业销售AI Agent安全工具，帮助构建Agent的企业客户识别和修复安全漏洞。