omlx
Apple Silicon 专用 LLM 推理服务器,支持连续批处理和 SSD 缓存,从 macOS 菜单栏管理。为 Mac 用户提供了一键式 LLM 本地部署方案,14K+ stars
📊 仓库数据
📈 上次抓取以来 ↑+22 ⭐
✅ 优点
- •GitHub 15K+ stars,持续成长
- •支持本地部署
- •上手简单
- •Python 生态友好
⚠️ 限制
- •需要 Python 环境
- •学习曲线较陡
- •文档可能需要完善
🔗 相关工具
Ollama
开源⭐ 172k↑+15github.com/ollama/ollama
本地运行开源大语言模型的最简方案,支持 Llama、Qwen、DeepSeek 等主流模型,一键安装、自动下载模型、提供 OpenAI 兼容 API,是 AI 开发者本地部署的首选工具
🎯 本地运行开源 LLM、离线 AI 开发、模型测试
gpt4free
开源⭐ 66kgithub.com/xtekky/gpt4free
多模型免费访问平台,66,037+ stars。提供多种大语言模型的免费访问接口,包括 GPT-4、Claude、Gemini 等主流模型的聚合调用方案
🎯 模型对比测试、低成本 AI 体验、学习和研究用途
LocalAI
开源⭐ 46k↑+9github.com/mudler/LocalAI
开源本地 AI 引擎,45,607+ stars。完全兼容 OpenAI API 的本地 AI 推理引擎,支持 LLM、语音识别、图像生成等多种模型,数据完全本地处理保护隐私
🎯 隐私敏感场景、离线 AI 应用、本地模型部署、开发测试环境
Kronos
开源⭐ 25k↑+25github.com/shiyu-coder/Kronos
面向金融市场的 Foundation Model,将金融市场语言建模为序列预测问题。支持金融时间序列分析、市场趋势预测和量化交易策略生成。由 shiyu-coder 团队开发,GitHub 20K+ 星,周增 3200+ 星,是金融 AI 领域增长最快的项目之一。采用类 Transformer 架构处理结构化金融数据,可对接主流交易 API。
🎯 金融市场分析、量化策略生成、时间序列预测、投资组合优化
LLM CLI
免费⭐ 12k↑+3github.com/simonw/llm
Simon Willison 出品的命令行 LLM 工具,支持 OpenAI、Anthropic、Google、LocalAI 等数十种模型。最新版本 0.31(2026 年 4 月)新增 GPT-5.5 支持、verbosity 文本详细度参数和 image_detail 图像细节参数。是 AI 开发者在终端中快速测试不同模型、比较输出的首选工具。MIT 协议开源,21K+ stars,社区活跃度高。
🎯 模型对比测试、快速原型验证、自动化脚本集成、CI/CD 中的 AI 检查
KrillinAI
免费⭐ 10k↑+1github.com/krillinai/krillinai
视频翻译配音工具,10K+ stars。由 LLM 驱动的视频翻译和配音工具,支持多语种视频翻译和配音生成