node-llama-cpp

开源LLM 运行时 › 本地运行时⭐ 2.1k

基于 llama.cpp 的 Node.js 本地 AI 模型运行库，支持 JSON schema 输出约束、函数调用和 GPU 加速

🎯适用场景：Node.js 项目需要本地运行 LLM 时的高性能方案

#llama.cpp#node.js#local-ai#gguf#json-schema#function-calling

📥 收录于 2026/6/9

访问工具

📊 仓库数据

Stars2,093
Forks197
语言TypeScript
更新2026/6/9

✅ 优点

  • •Node.js 原生绑定，无缝集成 JS 生态
  • •支持 JSON schema 输出约束
  • •GPU 加速（CUDA/Metal/Vulkan）

⚠️ 限制

  • •需要编译原生模块
  • •Node.js 绑定维护成本较高

🔗 相关工具

llama.cpp

开源⭐ 116k↑+32

github.com/ggml-org/llama.cpp

高性能 C++ LLM 推理引擎，支持在 CPU/GPU 上运行各种开源大语言模型，GGUF 量化格式首创者，本地 AI 生态核心基础设施

🎯本地 LLM 部署、端侧 AI 推理、离线 AI 应用、模型量化和格式转换

#推理#大语言模型#本地 AI#gguf+1
语言C++
🍴 Forks19,387
🔄 更新2026/6/10
📥 收录2026/6/6

llamafile

开源⭐ 25k↑+27

github.com/mozilla-ai/llamafile

用单个可执行文件分发和运行大型语言模型，支持跨平台本地推理的轻量级方案，无需复杂环境配置即可快速启动 AI 模型

🎯本地运行 LLM 的轻量级方案

#本地 LLM#推理#跨平台#gguf
语言C++
🍴 Forks1,380
🔄 更新2026/6/10
📥 收录2026/5/31

Ollama

开源⭐ 174k↑+18

github.com/ollama/ollama

本地运行开源大语言模型的最简方案，支持 Llama、Qwen、DeepSeek 等主流模型，一键安装、自动下载模型、提供 OpenAI 兼容 API，是 AI 开发者本地部署的首选工具

🎯生产环境模型推理服务

#本地部署#开源模型#API
语言Go
🍴 Forks16,524
📅 上线2023/6/27
🔄 更新2026/6/10
📥 收录2026/4/13

DeepSeek-V3

开源⭐ 104k↑+2

github.com/deepseek-ai/DeepSeek-V3

深度求索开源 MoE 架构大语言模型，671B 参数但仅激活 37B，推理成本低且性能对标 GPT-4 级别，支持多语言

🎯高性价比 LLM 部署、中文场景优化、MoE 架构研究

#moe#大语言模型#open-weight#chinese+1
语言Python
🍴 Forks16,734
🔄 更新2026/6/10
📥 收录2026/6/6

GPT4All

开源⭐ 77k↑+1

github.com/nomic-ai/gpt4all

开源本地 LLM 聊天应用和推理框架，提供一键安装的桌面应用和 Python 生态，支持多种开源模型本地运行

🎯本地 AI 聊天、隐私敏感的文档问答、离线 AI 助手

#chat#本地 AI#大语言模型#桌面端+1
语言C++
🍴 Forks8,324
🔄 更新2026/6/10
📥 收录2026/6/6

GPT4Free

开源⭐ 66k↓-4

github.com/xtekky/gpt4free

多模型免费访问平台，66,037+ stars。提供多种大语言模型的免费访问接口，包括 GPT-4、Claude、Gemini 等主流模型的聚合调用方案

🎯本地模型运行与推理服务

#免费模型#API聚合#多模型#开源
语言Python
🍴 Forks13,574
📅 上线2023/3/30
🔄 更新2026/6/10
📥 收录2026/4/20
← 浏览全部 940 个工具