第一章 简介

本课程深入探讨如何利用检索增强生成（Retrieval-Augmented Generation, RAG）技术，使大型语言模型（Large Language Models, LLMs）能够在用户自有数据上回答问题。本课程的目标是介绍构建和实现高质量RAG系统所需的关键技术和评估框架。

一、背景

在本课程中，我们首先探讨了RAG技术的重要性。RAG通过有效的检索技术为LLM提供高度相关的上下文信息，从而生成准确的答案。此外，我们还将介绍如何通过有效的评估框架，在初始开发和部署后维护期间，高效地迭代和改进RAG系统。

二、课程内容概览

• 高级检索方法：介绍了两种先进的检索方法——句子窗口检索和自动合并检索，这些方法比传统方法能够为LLM提供更好的上下文信息。

  • 句子窗口检索：不仅检索最相关的句子，还检索文档中该句子前后的句子窗口。
  • 自动合并检索：将文档组织成树状结构，当子节点被识别为相关时，提供父节点的完整文本作为上下文。

• 评估指标：解释了如何使用三个评估指标（上下文相关性、根据性和答案相关性）来评估LLM问答系统的性能。

  • 上下文相关性：衡量检索到的文本块与用户问题的相关程度。
  • 根据性：评估生成的答案是否基于可靠的信息源。
  • 答案相关性：判断生成的答案是否与用户问题直接相关。

• 实践应用：本课程后半部分将提供实践操作，教授如何使用这些检索方法和评估方法迭代优化RAG系统，并展示如何使用系统化的实验跟踪来建立基线并快速改进。

三、专家指导

• Jerry Liu：作为LlamaIndex的联合创始人兼CEO，Jerry将分享他在社交媒体上关于RAG实践进化的见解。
• Anupam Datta：作为TruEra的联合创始人兼首席科学家，Anupam将利用他在可信AI领域以及如何监控、评估和优化AI应用效果的十多年研究经验，为课程提供深入洞察。

四、课程亮点

• 句子窗口检索和自动合并检索：这两种方法通过提供更连贯的文本块，优化了LLM的上下文理解能力。
• RAG三元组评估体系：介绍了一套有效的度量标准来评估RAG系统在检索、理解和生成答案方面的性能。
• 实践操作：课程将通过代码演示和实际案例，让学员亲自实践这些高级检索和评估方法。

五、受众与预期成果

• 适合人群：本课程适合数据科学家、机器学习工程师和AI研究人员，要求学员具备基本的机器学习和自然语言处理知识。
• 预期成果：完成课程后，学员将能够设计和实施高效的RAG系统，优化LLM的上下文检索能力，并有效评估和改进这些系统的性能。

六、致谢

感谢所有参与本课程创建的人员，包括LlamaIndex团队的Logan Markehwich，TruEra团队的Shayak Sen、Joshua Reini、Barbara Lewis，以及DeepLearning.ai团队的Eddie Shyu和Dialla Ezzeddine。