Ollama

开源LLM 运行时⭐ 173k↑+29

本地运行开源大语言模型的最简方案，支持 Llama、Qwen、DeepSeek 等主流模型，一键安装、自动下载模型、提供 OpenAI 兼容 API，是 AI 开发者本地部署的首选工具

🎯适用场景：生产环境模型推理服务

#本地部署#开源模型#API

📥 收录于 2026/4/13

访问工具📖 官方文档

📊 仓库数据

Stars173,387
Forks16,474
语言Go
上线2023/6/26
更新2026/6/6

📈 上次抓取以来 ↑+29 ⭐

✅ 优点

  • •一键安装极简体验
  • •支持众多开源模型
  • •OpenAI 兼容 API
  • •本地运行数据隐私安全

⚠️ 限制

  • •需要较好 GPU 才能运行大模型
  • •显存要求高
  • •不如云端模型能力强

🔗 相关工具

LocalAI

开源⭐ 47k

github.com/mudler/LocalAI

开源本地 AI 引擎，45,607+ stars。完全兼容 OpenAI API 的本地 AI 推理引擎，支持 LLM、语音识别、图像生成等多种模型，数据完全本地处理保护隐私

🎯生产环境模型推理服务、多模态内容理解与生成

#本地部署#隐私保护#OpenAI 兼容#多模型
语言Go
🍴 Forks4,139
📅 上线2023/3/18
🔄 更新2026/6/6
📥 收录2026/4/20

ONNX Models

开源⭐ 139k↑+1

github.com/onnx/models

ONNX 官方预训练模型集合，涵盖视觉、NLP、音频等多种模态，所有模型以 ONNX 格式提供，可直接用于跨平台部署。

🎯预训练 ONNX 模型获取——适合需要将模型部署到多种硬件平台的开发者，一次训练多端部署

#ONNX#预训练模型#跨平台#推理
语言Jupyter Notebook
🍴 Forks34,529
🔄 更新2026/6/6
📥 收录2026/5/28

llama.cpp

开源⭐ 115k↑+7

github.com/ggml-org/llama.cpp

高性能 C++ LLM 推理引擎，支持在 CPU/GPU 上运行各种开源大语言模型，GGUF 量化格式首创者，本地 AI 生态核心基础设施

🎯本地 LLM 部署、端侧 AI 推理、离线 AI 应用、模型量化和格式转换

#inference#llm#local-ai#gguf+1
语言C++
🍴 Forks19,253
🔄 更新2026/6/6
📥 收录2026/6/6

DeepSeek-V3

开源⭐ 104k↑+2

github.com/deepseek-ai/DeepSeek-V3

深度求索开源 MoE 架构大语言模型，671B 参数但仅激活 37B，推理成本低且性能对标 GPT-4 级别，支持多语言

🎯高性价比 LLM 部署、中文场景优化、MoE 架构研究

#moe#llm#open-weight#chinese+1
语言Python
🍴 Forks16,730
🔄 更新2026/6/6
📥 收录2026/6/6

GPT4All

开源⭐ 77k↓1

github.com/nomic-ai/gpt4all

开源本地 LLM 聊天应用和推理框架，提供一键安装的桌面应用和 Python 生态，支持多种开源模型本地运行

🎯本地 AI 聊天、隐私敏感的文档问答、离线 AI 助手

#chat#local-ai#llm#desktop+1
语言C++
🍴 Forks8,322
🔄 更新2026/6/6
📥 收录2026/6/6

gpt4free

开源⭐ 66k↑+3

github.com/xtekky/gpt4free

多模型免费访问平台，66,037+ stars。提供多种大语言模型的免费访问接口，包括 GPT-4、Claude、Gemini 等主流模型的聚合调用方案

🎯本地模型运行与推理服务

#免费模型#API聚合#多模型#开源
语言Python
🍴 Forks13,578
📅 上线2023/3/29
🔄 更新2026/6/6
📥 收录2026/4/20
← 浏览全部 888 个工具