Sweep
Sweep AI 编码助手，8.7K+ stars。面向 JetBrains 的 AI 编码助手，支持代码重构、Bug 修复和功能添加
🎯适用场景：本地模型运行与推理服务
📥 收录于 2026/5/12
📊 仓库数据
✅ 优点
- •GitHub Issue 自动转 PR
- •支持代码重构与 Bug 修复
- •与 GitHub 工作流深度集成
- •7.7K+ stars
⚠️ 限制
- •复杂任务成功率依赖底层模型
- •需要 GitHub 仓库权限
- •高级功能可能需付费
🔗 相关工具
GPT4Free
github.com/xtekky/gpt4free
多模型免费访问平台，66,037+ stars。提供多种大语言模型的免费访问接口，包括 GPT-4、Claude、Gemini 等主流模型的聚合调用方案
🎯本地模型运行与推理服务
omlx
github.com/jundot/omlx
Apple Silicon 专用 LLM 推理服务器，支持连续批处理和 SSD 缓存，从 macOS 菜单栏管理。为 Mac 用户提供了一键式 LLM 本地部署方案，14K+ stars
🎯本地模型运行与推理服务
Infinity
github.com/infiniflow/infinity
AI 原生数据库，8.1K+ stars。为 LLM 应用构建的 AI 原生数据库，提供超快的混合搜索能力，支持向量和全文检索
🎯本地模型运行与推理服务
Needle
github.com/cactus-compute/needle
将 Gemini 工具调用能力蒸馏到 26M 参数微型模型的开源项目，Hacker News 572 票热评。仅需约 50MB 即可在边缘设备运行工具调用，展示了知识蒸馏在 Agent 领域的可行性，适合端侧部署和低带宽场景。
🎯本地模型运行与推理服务
Deep Chat
github.com/OvidijusParsiunas/deep-chat
deep-chat 是一个高度可定制的 AI 聊天组件，支持嵌入到任何网站中。兼容 OpenAI、Claude、Gemini、Ollama、HuggingFace 等多种 AI 后端，并提供 React、Vue、Svelte、Solid 等主流前端框架支持，适合快速为网站添加 AI 对话功能。4K+ stars。
🎯网站嵌入 AI 聊天功能、多框架前端项目集成、AI 客服和咨询机器人
Ollama
github.com/ollama/ollama
本地运行开源大语言模型的最简方案，支持 Llama、Qwen、DeepSeek 等主流模型，一键安装、自动下载模型、提供 OpenAI 兼容 API，是 AI 开发者本地部署的首选工具
🎯生产环境模型推理服务