大语言模型2026-05-14 00:06·Hacker News + GitHub

Needle:将 Gemini 工具调用能力蒸馏到仅 26M 参数的微型模型

Cactus Compute 在 Hacker News 上发布 Needle 项目,成功将 Gemini 的工具调用能力蒸馏到一个仅 2600 万参数的微型模型中。该项目获得 572 票热评,展示了小模型在特定任务上可以达到接近大模型的能力。

小模型也能调用工具:Needle 项目

2026 年 5 月 12 日,Hacker News Show HN 发布。

技术要点

  • 将 Gemini 的工具调用能力蒸馏到 26M 参数模型
  • 模型大小仅约 50MB,可在边缘设备运行
  • 支持标准工具调用协议

意义

  • 展示了知识蒸馏在工具调用领域的可行性
  • 小模型 + 特定能力 = 低成本 AI 应用
  • 适合端侧部署和低带宽场景

社区反响

  • Hacker News 572 票,165 条评论
  • 引发关于蒸馏 vs 原生训练的讨论

来源: Hacker News + GitHub
链接: https://github.com/cactus-compute/needle