Kronos

微软 1-bit LLM 官方推理框架，将模型权重量化为 1-bit，大幅降低推理成本

🎯金融 AI 应用与量化分析

仅需单张 4GB GPU 即可运行 70B 大模型推理。采用层卸载和量化技术，让消费级显卡也能跑超大模型，是资源受限场景下大模型推理的破局方案

🎯消费级 GPU 上的大模型推理、低资源 LLM 部署场景

UniLM 是微软的统一预训练模型仓库，涵盖跨任务、跨语言、跨模态的大规模自监督预训练。包含 BEiT、LayoutLM、Kosmos、TextDiffuser 等多个经典模型，是多模态 AI 研究的重要参考资源。22K+ stars。

🎯多模态预训练模型研究、文档 AI、视觉语言模型开发

AI 自动量化交易机器人，支持完全本地部署。集成深度学习模型进行投资策略研究，支持回测、实盘交易和多种加密货币及股票市场的自动化交易，提供在线文档和量化交易研究平台。十七点五 K+ stars。

🎯AI 驱动量化交易策略研究、自动交易机器人部署、加密货币投资分析

阿里巴巴端侧 AI 推理引擎，15K+ stars。轻量高效的移动端和边缘端推理引擎，支持 LLM 端侧部署，在 ARM、RISC-V 等平台上提供极致性能

🎯手机、IoT 等设备上的轻量模型与 LLM 端侧推理部署

PyTorch k-bit 量化库，让大语言模型可在消费级 GPU 上运行。支持 4-bit/8-bit 量化、QLoRA 微调，是本地部署大模型的核心工具。8.2K+ stars。

🎯大模型消费级 GPU 部署、QLoRA 微调、内存优化推理