Neural Compressor
Intel 开源的低比特量化与模型压缩工具，支持 INT8/FP8/INT4 等多种量化格式，兼容 PyTorch、TensorFlow 和 ONNX Runtime。
🎯适用场景：模型量化压缩——将大模型压缩为低精度格式，在保持精度的同时大幅减少显存和推理延迟。
📥 收录于 2026/6/9
📊 仓库数据
✅ 优点
- •Intel 官方维护，工业级可靠性
- •支持多种量化格式（INT8/FP8/INT4 等）
- •兼容主流深度学习框架
⚠️ 限制
- •部分高级功能依赖 Intel 硬件
- •文档较复杂，上手有一定学习成本
🔗 相关工具
BitNet
github.com/microsoft/bitnet
微软 1-bit LLM 官方推理框架，将模型权重量化为 1-bit，大幅降低推理成本
🎯金融 AI 应用与量化分析
AirLLM
github.com/lyogavin/airllm
仅需单张 4GB GPU 即可运行 70B 大模型推理。采用层卸载和量化技术，让消费级显卡也能跑超大模型，是资源受限场景下大模型推理的破局方案
🎯消费级 GPU 上的大模型推理、低资源 LLM 部署场景
Nexa SDK
github.com/qualcomm/nexa-sdk
跨平台 LLM/VLM 推理引擎——在 GPU、NPU 和 CPU 上运行前沿模型。零日模型支持、量化优化、多硬件后端，是端侧 AI 部署的统一推理方案
🎯端侧 LLM/VLM 推理运行时，适用于手机、IoT 设备等边缘部署场景
Kronos
github.com/shiyu-coder/Kronos
面向金融市场的 Foundation Model，将金融市场语言建模为序列预测问题。支持金融时间序列分析、市场趋势预测和量化交易策略生成。由 shiyu-coder 团队开发，GitHub 20K+ 星，周增 3200+ 星，是金融 AI 领域增长最快的项目之一。采用类 Transformer 架构处理结构化金融数据，可对接主流交易 API。
🎯金融时间序列预测、量化交易策略生成、市场趋势分析
UniLM
github.com/microsoft/unilm
UniLM 是微软的统一预训练模型仓库，涵盖跨任务、跨语言、跨模态的大规模自监督预训练。包含 BEiT、LayoutLM、Kosmos、TextDiffuser 等多个经典模型，是多模态 AI 研究的重要参考资源。22K+ stars。
🎯多模态预训练模型研究、文档 AI、视觉语言模型开发
Qbot
github.com/UFund-Me/Qbot
AI 自动量化交易机器人，支持完全本地部署。集成深度学习模型进行投资策略研究，支持回测、实盘交易和多种加密货币及股票市场的自动化交易，提供在线文档和量化交易研究平台。十七点五 K+ stars。
🎯AI 驱动量化交易策略研究、自动交易机器人部署、加密货币投资分析