标准回答
TRL：官方标准、生态最全
TRL 是 HuggingFace 的官方训练库，提供 SFTTrainer（监督微调）、DPOTrainer（偏好对齐）、PPOTrainer（RLHF）等开箱即用的 Trainer，和 Transformers、PEFT、Accelerate、Datasets 这套生态无缝衔接。它是「标准答案」式的选择：文档全、社区大、对齐方法跟得最快，适合既要 SFT 又要 DPO/RLHF 的正经项目。
Axolotl：配置化、适合做实验
Axolotl 的核心卖点是 YAML 配置驱动——模型、数据集、LoRA 还是全量、序列长度、量化都写在一份配置里，改几行就能换一组实验，不用动代码。它底层也复用了 HuggingFace 生态，支持多种模型与训练方法，特别适合需要批量扫参、快速对比的研究和实验场景。
Unsloth：极致性能、单卡友好
Unsloth 手写了大量 Triton kernel 做深度优化，在不掉精度的前提下，单卡 LoRA/QLoRA 微调速度大约能快 2 倍、显存占用明显下降。它的定位很清晰：资源有限、只有单张消费卡或想把训练成本压到最低时，Unsloth 是性价比最高的那个。
LLaMA-Factory：易用 UI、上手最快
LLaMA-Factory 在国内社区很流行，自带 Web UI、内置大量模型和方法预设，点几下就能配好一次微调，对不想写训练脚本的人和教学场景很友好。
怎么选
要标准生态和对齐训练选 TRL；要配置化快速做实验选 Axolotl；单卡要极致省显存省时间选 Unsloth；想要图形界面零代码上手选 LLaMA-Factory。它们并不互斥——很多人用 Unsloth 的加速内核去跑，再用 TRL 的 Trainer 做对齐。
常见误区
⚠️ 常见踩坑
别把这几个工具当成互相替代、二选一的关系——它们很多时候是分层组合的：底层都依赖 HuggingFace 生态，Unsloth 可以作为加速后端嵌进 TRL/Axolotl 的训练流程，Axolotl/LLaMA-Factory 本质是在 TRL 这类 Trainer 之上包了配置层或 UI。也别只看「谁更快」就选 Unsloth——多机多卡大规模训练、复杂 RLHF 流程时，TRL 这类标准生态的成熟度和可维护性更重要。
追问
追问 1：Unsloth 是怎么做到又快又省显存的？
它没有改训练算法，而是把 LoRA 微调里最耗时的算子用 Triton 手写成融合 kernel，减少了中间张量的反复读写和显存占用，同时优化了反向传播的重计算策略。再叠加 4bit 量化加载基座模型，单卡显存进一步下降。所以它的「快 2 倍、省显存」是工程层面的算子优化结果，数值上和标准实现基本等价，不牺牲精度。代价是支持的模型架构和场景没有 TRL 那么全，主要面向单卡 LoRA/QLoRA。
追问 2：只做 DPO/RLHF 对齐，应该用哪个？
优先 TRL。它的 DPOTrainer、PPOTrainer、以及近年的 GRPO 等对齐算法是官方维护、跟进最快、文档最全的，复杂的偏好数据格式和参考模型管理都封装好了。Axolotl 和 LLaMA-Factory 也支持 DPO，但它们多是在 TRL 之上做配置封装，遇到要自定义损失或调试细节时，直接用 TRL 更可控。Unsloth 偏 SFT/LoRA 加速，做完整 RLHF 不是它的强项。
追问 3：从单卡实验到多机大规模训练，工具该怎么切换？
早期单卡验证想法时用 Unsloth 或 LLaMA-Factory，迭代快、成本低；要批量扫超参可以转 Axolotl，靠 YAML 一次起多组实验。等到要上多机多卡做大规模 SFT 或 RLHF，则倾向 TRL 配 Accelerate/DeepSpeed/FSDP，因为分布式、ZeRO 切分、对齐流程的成熟度和社区支持最好。关键是保持数据格式和评测一致，让不同阶段的结果可比。
没找到想看的面试题？把你想看的告诉我们 →
延伸学习
按主题分类的相关资源，便于系统复习