Chapter 80
让 Phi-3 成为行业专家
让 Phi-3 成为行业专家
要将 Phi-3 模型应用到某个行业，需要向 Phi-3 模型中添加行业业务数据。我们有两种不同的方案，第一种是 RAG（检索增强生成），第二种是微调。
RAG 与微调的对比
检索增强生成
RAG 是数据检索 + 文本生成。企业的结构化数据和非结构化数据存储在向量数据库中。在搜索相关内容时，会找到相关的摘要和内容形成上下文，并结合 LLM/SLM 的文本补全能力生成内容。
微调
微调是在已有模型基础上的改进。它不需要从模型算法开始，但需要不断积累数据。如果你希望在行业应用中获得更精准的术语和语言表达，微调是更好的选择。但如果数据变化频繁，微调可能会变得复杂。
如何选择
-
如果我们的回答需要引入外部数据，RAG 是最佳选择。
-
如果需要输出稳定且精准的行业知识，微调会是不错的选择。RAG 优先拉取相关内容，但可能无法完全把握专业细节。
-
微调需要高质量的数据集，如果数据量较小，效果不会明显。RAG 更加灵活。
-
微调是一个黑箱，带有一定的神秘性，难以理解其内部机制。但 RAG 更容易追溯数据来源，从而有效调整幻觉或内容错误，提供更好的透明度。
应用场景
-
垂直行业需要特定的专业词汇和表达，微调 是最佳选择。
-
问答系统，涉及不同知识点的综合，RAG 是最佳选择。
-
自动化业务流程结合，RAG + 微调 是最佳选择。
如何使用 RAG
向量数据库是以数学形式存储数据的集合。向量数据库使机器学习模型更容易记住之前的输入，支持搜索、推荐和文本生成等应用场景。数据可以基于相似度指标而非精确匹配进行识别，使计算机模型能够理解数据的上下文。
向量数据库是实现 RAG 的关键。我们可以通过 text-embedding-3、jina-ai-embedding 等向量模型将数据转换为向量存储。
了解更多关于创建 RAG 应用的信息 https://github.com/microsoft/Phi-3CookBook
如何使用微调
微调中常用的算法有 Lora 和 QLora。如何选择？
Lora 和 QLora
LoRA（低秩适配）和 QLoRA（量化低秩适配）都是使用参数高效微调（PEFT）技术对大型语言模型（LLM）进行微调的方法。PEFT 技术旨在比传统方法更高效地训练模型。
LoRA 是一种独立的微调技术，通过对权重更新矩阵应用低秩近似来减少内存占用。它训练速度快，性能接近传统微调方法。
QLoRA 是 LoRA 的扩展版本，结合了量化技术以进一步减少内存使用。QLoRA 将预训练 LLM 的权重参数精度量化到 4 位，比 LoRA 更节省内存。但由于额外的量化和反量化步骤，QLoRA 训练速度比 LoRA 慢约 30%。
QLoRA 使用 LoRA 作为辅助，修正量化过程中引入的误差。QLoRA 使得在相对较小且易获取的 GPU 上微调拥有数十亿参数的大型模型成为可能。例如，QLoRA 可以用 2 块 GPU 微调需要 36 块 GPU 的 70B 参数模型。
免责声明：
本文件使用 AI 翻译服务 Co-op Translator 进行翻译。虽然我们力求准确，但请注意，自动翻译可能包含错误或不准确之处。原始语言的原文应被视为权威来源。对于重要信息，建议使用专业人工翻译。对于因使用本翻译而产生的任何误解或误释，我们不承担任何责任。