Hybrid Search（混合检索）

混合检索（Hybrid Search）将基于词频统计的稀疏检索（如 BM25）与基于神经网络嵌入的稠密向量检索并行运行，再通过融合算法合并排名结果，兼顾精确关键词匹配和语义相似度召回。它是当前检索增强生成（RAG）系统中提升检索质量最常用的增强策略之一。

单一检索方法各有盲区，混合检索的出发点正是取长补短。

• 稀疏检索（BM25/TF-IDF）擅长精确匹配——产品编号、专有名词、罕见术语；遇到同义词或语义改写则召回率骤降。
• 稠密向量检索（Dense Retrieval）能捕捉语义相似、近义表达，但对完全依赖精确字符串的查询（如代码片段、型号）反而容易遗漏。
• 两者结合后，召回率与精确率均显著提升，尤其在领域专有术语密集的文档库中效果明显。
• 在 RAG 流水线中，检索质量直接决定最终答案质量，混合检索已成为生产环境的事实标准。

稀疏检索以倒排索引为基础，通过词频和文档频率对文档打分。

• BM25（Best Match 25）是目前最主流的稀疏检索函数，在 TF-IDF 基础上加入词频饱和与文档长度归一化，综合性能优于早期 TF-IDF。
• 查询词与文档词必须字面完全匹配才会产生得分贡献，因此对精确词项高度敏感。
• 索引构建和查询速度极快，适合大规模实时检索场景。
• 学习型稀疏模型（如 SPLADE）能在稀疏向量空间内学习词项权重，介于传统 BM25 与稠密检索之间。

稠密检索将查询与文档分别编码为低维稠密向量，通过向量相似度（余弦相似度或内积）衡量语义距离。

• 编码模型通常为双塔（Bi-Encoder） 结构，如 Sentence-BERT、E5、BGE 等，查询与文档分别独立编码后再做相似度计算。
• 能处理同义词、释义改写、跨语言查询，是语义搜索的核心。
• 需要向量数据库（如 FAISS、Milvus、Pinecone）和近似最近邻（ANN）算法支持，以保证大规模下的查询速度。
• 对罕见专有名词或训练分布外的词项效果有限，此时稀疏检索是天然补充。

融合步骤决定两路检索如何整合为最终排序，常见方案有两类。

• 互惠排名融合（RRF，Reciprocal Rank Fusion）：由 Cormack 等人在 SIGIR 2009 正式提出，公式为每个文档在各路检索排名倒数之和，常数 $k$（通常取 60）防止头部排名权重过大；该方法仅依赖排名位置，无需对齐两路得分尺度，实现简单且效果稳定。
• 加权线性合并：将稀疏分数和稠密分数分别归一化后按权重相加，灵活度更高但对分数分布敏感，需依赖评估集调优权重 $\alpha$。
• RRF 因无需调参、鲁棒性强，在 RAG 工程实践中被 LangChain、LlamaIndex、Elasticsearch、Weaviate 等框架与引擎广泛内置采用。
• 融合后可进一步接重排序器（Reranker，Cross-Encoder） 做精排，进一步提升最终 Top-K 质量。

混合检索已成为生产级 RAG 流水线的标准组件。

• 典型流程：用户查询 → 并行触发 BM25 与向量检索 → RRF 融合 → 可选 Reranker 精排 → 取 Top-K 文档送入 LLM 生成答案。
• Elasticsearch、OpenSearch、Weaviate、Qdrant、Milvus 等主流检索引擎已原生支持混合检索模式。
• 对于包含大量技术术语或专有名词的知识库（法律、医疗、代码库），混合检索相较纯向量检索可大幅降低漏召回率。
• Chunk 策略会影响两路检索的表现，段落级分块与句子级分块对 BM25 和嵌入模型的效果影响不同，需根据文档特性调优。

混合检索的演进与信息检索和深度学习的融合密切相关。

• 2009：Cormack 等人在 SIGIR 2009 发表 RRF 论文，证明多路排名融合优于单一方法，奠定融合算法基础。
• 2020：稠密检索论文 DPR（Dense Passage Retrieval，Karpukhin et al.）在开放域问答任务上大幅超越 BM25，引发学界对稠密检索的广泛关注。
• 2021：BEIR 基准评测发现单纯稠密检索在零样本场景下泛化性不如 BM25，推动混合方案的研究热潮。
• 2022—2023：LangChain、LlamaIndex 等 RAG 框架将混合检索集成为开箱即用功能，工程采用率快速提升。
• 2024 至今：学习型稀疏模型（SPLADE 等）、ColBERT 晚期交互模型等新架构持续涌现，进一步模糊稀疏与稠密的边界。

混合检索并非万能，工程落地需注意以下权衡。

• 系统复杂度翻倍：需维护倒排索引与向量索引两套基础设施，同步更新成本较高。
• 延迟叠加：两路检索并行虽可掩盖部分延迟，但融合与重排步骤仍增加整体响应时间。
• 超参数调优：加权融合中权重 $\alpha$ 依赖领域数据评估，缺少标注集时难以可靠确定。
• 嵌入模型选型：稠密检索效果高度依赖嵌入模型与领域的匹配程度，通用模型在专业领域可能表现不佳，需考虑领域微调。