GPT4Free
多模型免费访问平台，66,037+ stars。提供多种大语言模型的免费访问接口，包括 GPT-4、Claude、Gemini 等主流模型的聚合调用方案
🎯适用场景：本地模型运行与推理服务
📊 仓库数据
📈 Stars 变化 ↓6 小时 -1· 统计区间 6/28 18:12 → 6/29 00:15（6 小时）
✅ 优点
- •免费访问主流大模型
- •多模型聚合调用
- •API 接口统一
- •降低 AI 使用门槛
⚠️ 限制
- •稳定性和可用性不保证
- •可能存在法律和伦理争议
- •不适合生产环境使用
🔗 相关工具
omlx
github.com/jundot/omlx
Apple Silicon 专用 LLM 推理服务器，支持连续批处理和 SSD 缓存，从 macOS 菜单栏管理。为 Mac 用户提供了一键式 LLM 本地部署方案，14K+ stars
🎯本地模型运行与推理服务
Sweep
github.com/sweepai/sweep
Sweep AI 编码助手，8.7K+ stars。面向 JetBrains 的 AI 编码助手，支持代码重构、Bug 修复和功能添加
🎯本地模型运行与推理服务
Infinity
github.com/infiniflow/infinity
AI 原生数据库，8.1K+ stars。为 LLM 应用构建的 AI 原生数据库，提供超快的混合搜索能力，支持向量和全文检索
🎯本地模型运行与推理服务
Needle
github.com/cactus-compute/needle
将 Gemini 工具调用能力蒸馏到 26M 参数微型模型的开源项目，Hacker News 572 票热评。仅需约 50MB 即可在边缘设备运行工具调用，展示了知识蒸馏在 Agent 领域的可行性，适合端侧部署和低带宽场景。
🎯本地模型运行与推理服务
Continue
github.com/continuedev/continue
开源 AI 编程助手，33K+ stars。支持 VS Code 和 JetBrains IDE，集成多种 LLM 提供商，提供代码补全、对话、编辑等能力，是 Cursor 的开源替代方案。
🎯IDE 内 AI 辅助编程和代码审查
Open Notebook
github.com/lfnovo/open-notebook
开源的 NotebookLM 替代品，支持 18+ AI 提供商（OpenAI/Anthropic/Ollama/Qwen 等），支持播客生成、内容转换、完整 REST API，支持 Docker 本地部署
🎯私人 AI 学习笔记、播客内容生成、多模型学习助手