混合检索如何把向量检索和关键词检索结合起来实现？

为什么要混合检索

向量检索把 query 和文档映射到语义空间，擅长同义、改写、语义近似，但对精确的术语、产品编号、专有名词、罕见词容易失准；关键词 BM25 基于词项精确匹配，恰好补上这块，却抓不住语义改写。当查询既含明确术语又需语义理解时（如「某型号设备的故障处理」既要命中型号又要理解「故障处理」语义），混合检索收益最大。

实现路径一：单库内置 hybrid

Elasticsearch / OpenSearch、Milvus、Weaviate、Qdrant 等都内置了混合检索：同一份数据既建稠密向量索引又建 BM25 倒排索引，一次查询同时跑两路，库内用 RRF 或加权融合返回结果。工程量最小，运维一套系统即可。

实现路径二：两套索引应用层合并

向量库（存 embedding）和关键词引擎各自独立检索，各取 Top-K，再在应用层合并。灵活、可独立扩展，但需要自己实现融合、归一与去重逻辑。

融合与归一的关键

核心难点是两路分数量纲不可比：余弦相似度取值在 [-1, 1]（归一化文本向量实践中多落在正区间），BM25 是无上界的正分。两种处理：

• RRF：对每路按排名计 1/(k + rank)（k 常取 60）再相加，只用名次、绕开量纲，几乎不用调参，是稳健默认。
• 归一加权：先把每路分数 min-max 或 z-score 归一到同一区间，再按权重（如 0.5/0.5，或按 query 类型偏移）相加。

无论哪种，都要对同时被两路命中的文档去重合并，取合并后得分，最后截断到 Top-N。

伪代码（应用层合并 + RRF）

def hybrid_search(query, k=60, top_n=10):
    vec_hits = vector_search(query, top_k=50)   # [(doc_id, score), ...] 按相关度降序
    kw_hits  = bm25_search(query, top_k=50)
    scores = {}
    for rank, (doc_id, _) in enumerate(vec_hits):
        scores[doc_id] = scores.get(doc_id, 0) + 1 / (k + rank)
    for rank, (doc_id, _) in enumerate(kw_hits):
        scores[doc_id] = scores.get(doc_id, 0) + 1 / (k + rank)
    ranked = sorted(scores.items(), key=lambda x: x[1], reverse=True)
    return [doc_id for doc_id, _ in ranked[:top_n]]

RRF 用排名天然完成了去重合并与跨量纲融合。若想进一步提升精度，可把融合后的 Top-N 再喂给交叉编码器 reranker 精排。