Needle
将 Gemini 工具调用能力蒸馏到 26M 参数微型模型的开源项目，Hacker News 572 票热评。仅需约 50MB 即可在边缘设备运行工具调用，展示了知识蒸馏在 Agent 领域的可行性，适合端侧部署和低带宽场景。
🎯适用场景：本地模型运行与推理服务
📊 仓库数据
📈 上次抓取以来 ↓-1 ⭐
✅ 优点
- •仅 26M 参数，模型约 50MB
- •可在边缘设备运行
- •支持标准工具调用协议
- •HN 社区高度认可（572 票）
⚠️ 限制
- •仅蒸馏工具调用能力，非通用对话模型
- •新项目，生态和文档仍在建设中
- •性能与原始 Gemini 有差距
🔗 相关工具
LiteRT-LM
github.com/google-ai-edge/LiteRT-LM
Google AI Edge 出品的端侧 LLM 推理框架——在移动和边缘设备上高性能部署大语言模型。5.3K+ stars，是 Google 在端侧 AI 领域的正式产品级方案
🎯移动端 AI 应用、离线 LLM 推理、边缘设备智能交互
Ollama
github.com/ollama/ollama
本地运行开源大语言模型的最简方案，支持 Llama、Qwen、DeepSeek 等主流模型，一键安装、自动下载模型、提供 OpenAI 兼容 API，是 AI 开发者本地部署的首选工具
🎯生产环境模型推理服务
gpt4free
github.com/xtekky/gpt4free
多模型免费访问平台，66,037+ stars。提供多种大语言模型的免费访问接口，包括 GPT-4、Claude、Gemini 等主流模型的聚合调用方案
🎯本地模型运行与推理服务
LocalAI
github.com/mudler/LocalAI
开源本地 AI 引擎，45,607+ stars。完全兼容 OpenAI API 的本地 AI 推理引擎，支持 LLM、语音识别、图像生成等多种模型，数据完全本地处理保护隐私
🎯生产环境模型推理服务、多模态内容理解与生成
New API
github.com/QuantumNous/new-api
统一的 AI 模型网关，支持聚合和分发各类 LLM API。自动转换为 OpenAI/Claude/Gemini 兼容格式，是 LLM 路由与统一接入的集中式网关方案。36K+ stars。
🎯多 LLM 模型统一接入、API 路由聚合、LLM 服务分发网关
Kronos
github.com/shiyu-coder/Kronos
面向金融市场的 Foundation Model，将金融市场语言建模为序列预测问题。支持金融时间序列分析、市场趋势预测和量化交易策略生成。由 shiyu-coder 团队开发，GitHub 20K+ 星，周增 3200+ 星，是金融 AI 领域增长最快的项目之一。采用类 Transformer 架构处理结构化金融数据，可对接主流交易 API。
🎯金融时间序列预测、量化交易策略生成、市场趋势分析