llm_note

开源LLM 运行时⭐ 881

LLM Note 是大语言模型学习笔记，涵盖模型推理、Transformer 架构解析和 LLM 框架代码分析。包含 CUDA 编程、KV Cache 优化等实战内容。

🎯适用场景：LLM 学习资源、模型推理优化、Transformer 架构学习

#Cuda-programming#Kv-cache#Llm#Llm-inference

📥 收录于 2026/6/3

访问工具

📊 仓库数据

Stars881

Forks87

语言Python

更新2026/5/20

✅ 优点

•系统性学习笔记
•涵盖 CUDA 和 KV Cache 实战
•适合开发者入门

⚠️ 限制

•笔记质量参差不齐
•部分内容为中文需翻译

🔗 相关工具

bitsandbytes

开源⭐ 8.3k

github.com/bitsandbytes-foundation/bitsandbytes

PyTorch k-bit 量化库，让大语言模型可在消费级 GPU 上运行。支持 4-bit/8-bit 量化、QLoRA 微调，是本地部署大模型的核心工具。8.2K+ stars。

🎯大模型消费级 GPU 部署、QLoRA 微调、内存优化推理

#Llm#Machine-learning#Pytorch#Qlora

语言Python

🍴 Forks859

🔄 更新2026/6/4

📥 收录2026/6/3

EAGLE

开源⭐ 2.4k↑+2

github.com/SafeAILab/EAGLE

LLM 推理加速技术，包含 EAGLE-1/2/3 三代推测解码实现，可显著提升大语言模型推理速度

🎯LLM 推理加速、推测解码优化、降低推理延迟

#Large-language-models#Llm-inference#Speculative-decoding

语言Python

🍴 Forks284

🔄 更新2026/6/4

📥 收录2026/6/3

kvpress

开源⭐ 1.1k

github.com/NVIDIA/kvpress

KVPress 是 NVIDIA 开源的 KV Cache 压缩工具，通过智能压缩技术减少大语言模型推理时的显存占用。支持多种压缩算法，显著提升长上下文处理能力。

🎯LLM 推理优化、KV Cache 压缩、长上下文处理

#Inference#Kv-cache#Kv-cache-compression#Large-language-models

语言Python

🍴 Forks147

🔄 更新2026/6/3

📥 收录2026/6/3

Ollama

开源⭐ 173k↑+26

github.com/ollama/ollama

本地运行开源大语言模型的最简方案，支持 Llama、Qwen、DeepSeek 等主流模型，一键安装、自动下载模型、提供 OpenAI 兼容 API，是 AI 开发者本地部署的首选工具

🎯生产环境模型推理服务

#本地部署#开源模型#API

语言Go

🍴 Forks16,429

📅 上线2023/6/26

🔄 更新2026/6/4

📥 收录2026/4/13

gpt4free

开源⭐ 66k↑+1

github.com/xtekky/gpt4free

多模型免费访问平台，66,037+ stars。提供多种大语言模型的免费访问接口，包括 GPT-4、Claude、Gemini 等主流模型的聚合调用方案

🎯本地模型运行与推理服务

#免费模型#API聚合#多模型#开源

语言Python

🍴 Forks13,580

📅 上线2023/3/29

🔄 更新2026/6/4

📥 收录2026/4/20

LocalAI

开源⭐ 47k↑+8

github.com/mudler/LocalAI

开源本地 AI 引擎，45,607+ stars。完全兼容 OpenAI API 的本地 AI 推理引擎，支持 LLM、语音识别、图像生成等多种模型，数据完全本地处理保护隐私

🎯生产环境模型推理服务、多模态内容理解与生成

#本地部署#隐私保护#OpenAI 兼容#多模型

语言Go

🍴 Forks4,133

📅 上线2023/3/18

🔄 更新2026/6/4

📥 收录2026/4/20

← 浏览全部 817 个工具