omlx

多模型免费访问平台，66,037+ stars。提供多种大语言模型的免费访问接口，包括 GPT-4、Claude、Gemini 等主流模型的聚合调用方案

🎯本地模型运行与推理服务

将 Gemini 工具调用能力蒸馏到 26M 参数微型模型的开源项目，Hacker News 572 票热评。仅需约 50MB 即可在边缘设备运行工具调用，展示了知识蒸馏在 Agent 领域的可行性，适合端侧部署和低带宽场景。

🎯本地模型运行与推理服务

Sweep AI 编码助手，8.7K+ stars。面向 JetBrains 的 AI 编码助手，支持代码重构、Bug 修复和功能添加

🎯本地模型运行与推理服务

AI 原生数据库，8.1K+ stars。为 LLM 应用构建的 AI 原生数据库，提供超快的混合搜索能力，支持向量和全文检索

🎯本地模型运行与推理服务

Apple Silicon 上最快的本地 AI 引擎，比 Ollama 快 4.2 倍，缓存 TTFT 仅 0.08 秒。17 种工具解析器，提示词缓存，推理分离

🎯Mac 本地 LLM 推理、Claude Code/Cursor 加速

原生 macOS 应用，可与本地 LLM 聊天并获取文件/文件夹/网站信息，无需安装其他软件，基于 llama.cpp 驱动

🎯Mac 用户与本地 LLM 交互并检索本地文件信息