RAG 索引流程中的文档解析（Parsing）怎么做？有哪些难点？

在 RAG 索引（ingestion）流程中，解析（Parsing）是「原始文件 → 干净结构化文本」的第一道工序，发生在切分（Chunking）和嵌入（Embedding）之前。它的目标不是简单地把字符抠出来，而是还原文档的逻辑结构与阅读顺序，并保留可供检索和引用的元数据。

典型步骤

1. 格式识别：判断文件类型（PDF、Word、PPT、HTML、Markdown、图片等），不同格式走不同解析器。
2. 文本提取：对原生可选中文本直接抽取；对扫描件 / 图片型 PDF 需要 OCR 先识别成文本。
3. 版面分析（Layout Analysis）：识别标题层级、正文段落、列表、表格、页眉页脚、脚注、图注，重建正确的阅读顺序（尤其是多栏排版）。
4. 清洗与规范化：去除水印、重复页眉页脚、乱码与多余空白，统一编码、全角半角、换行，做必要的去重。
5. 保留层级与元数据：输出时带上标题路径、页码、所属章节、表格归属等信息，供后续切分对齐结构、检索时回溯出处。

为什么单独强调它
解析决定了进入向量库的「原料」质量。表格被打散成乱序文本、跨页段落被截断、公式变成乱码，都会在检索阶段制造噪声并污染答案，且后续环节无法修复。因此工程上常把解析当成一个独立、可评测、可替换的模块。

常用工具（2026）

• Unstructured：开源、统一处理多格式并输出带类型的元素（Title/NarrativeText/Table 等）。
• LlamaParse：面向 RAG 的托管解析服务，对复杂 PDF、表格还原较好。
• PyMuPDF / pdfplumber：轻量、可控的 PDF 文本与表格抽取，适合结构相对规整的文档。
• 视觉文档大模型（VLM / 文档理解模型）：把整页当图像理解，对复杂版面、扫描件、图文混排鲁棒性更强，但成本与延迟更高。

实践中通常按文档复杂度做分层策略：规整文档用轻量库，复杂版面或扫描件再升级到 LlamaParse 或视觉模型。