LMOps
微软开源的大语言模型和多模态大模型通用技术库，涵盖预训练、提示工程、promptist 等 LLM 全链路核心技术。
🎯适用场景：LLM 预训练、提示工程、prompt 优化研究
📊 仓库数据
✅ 优点
- •微软官方出品，质量有保障
- •覆盖 LLM 全生命周期技术
- •与 Microsoft 生态集成好
⚠️ 限制
- •stars 量相对中等
- •文档偏学术风格，入门门槛稍高
🔗 相关工具
BitNet
github.com/microsoft/bitnet
微软 1-bit LLM 官方推理框架，将模型权重量化为 1-bit，大幅降低推理成本
🎯金融 AI 应用与量化分析
llm-action
github.com/liguodongiot/llm-action
生成式 AI 指南，4.9K+ stars。生成式 AI 研究更新、工具和资源的一站式资源库，涵盖最新进展和实用工具
🎯生成式 AI 技术学习、LLM 训练/推理/部署实践参考
Mooncake
github.com/kvcache-ai/Mooncake
Mooncake 是月之暗面 Kimi 的推理服务平台，基于 disaggregation 架构设计，通过 KVCache 分离管理实现大规模 LLM 推理服务的高效部署和弹性扩展
🎯大规模 LLM 推理服务部署、KVCache 管理与优化、高并发推理场景
vLLM
github.com/vllm-project/vllm
高吞吐 LLM 推理引擎，77,418+ stars。采用 PagedAttention 显存优化技术，吞吐量比 HuggingFace Transformers 高 24 倍，是生产环境部署大模型推理的首选方案，支持 OpenAI 兼容 API
🎯生产环境模型推理服务
Netdata
github.com/netdata/netdata
AI 全栈可观测性平台，78,515+ stars。实时监控服务器性能、应用指标和网络流量，内置 AI 异常检测引擎，自动发现并预警系统问题。零配置、开箱即用，每秒采集数千指标，是最轻量的基础设施监控方案。
🎯服务器与基础设施实时监控、AI 异常检测预警
Grafana
github.com/grafana/grafana
开源可观测性和数据可视化平台。支持可视化指标、日志、追踪等多源数据，兼容 Prometheus、Loki、Elasticsearch、InfluxDB 等后端。是 MLOps 团队监控模型和基础设施的首选仪表盘工具。
🎯MLOps 模型监控仪表盘、AI 服务指标可视化、训练任务实时追踪