Needle：轻量工具调用模型的新范式
2026 年 5 月 12 日，Cactus Compute 在 Hacker News 上展示了 Needle 项目。
技术亮点
- 参数量：仅 2600 万参数，可以运行在边缘设备和手机上
- 蒸馏来源：从 Google Gemini 的工具调用能力中蒸馏学习
- 能力：API 调用、函数选择、参数填充
- 性能：在工具调用基准上接近大型模型的表现
行业意义
Neel Nanda 等研究者此前指出，AI Agent 的成本瓶颈不是推理本身，而是大型模型的 token 费用。Neel 的 Needle 项目证明，工具调用这一特定能力可以通过蒸馏大幅压缩模型体积，为边缘 AI Agent 提供了新可能。
社区反响
HN 上 650 分和 184 条评论表明，社区对小模型工具调用能力有巨大需求。开发者认为这是 AI Agent 走向轻量化的关键一步。
来源： GitHub + Hacker News
链接： https://github.com/cactus-compute/needle