FAISS

FAISS 解决的核心问题是：在海量高维向量集合中，以毫秒级延迟找到与查询向量最相似的若干条目。

• 全称 ：Facebook AI Similarity Search，由 Meta FAIR（Fundamental AI Research）开发并开源，采用 MIT 许可证
  - 语言与接口： 核心用 C++ 实现，提供 Python 绑定，易于集成到机器学习工作流
  -支持硬件：同时支持 CPU多线程和 GPU（CUDA），GPU 模式可将大批量查询速度提升数十倍
  - 精确与近似 ： 提供精确暴力搜索（Flat）和多种近似最近邻（ANN） 索引，在速度与召回率之间灵活权衡
  -规模定位：设计目标是单机处理 数十亿级别向量，远超大多数场景的实际需求上限

FAISS 通过索引结构将向量空间划分或压缩，避免查询时逐一扫描全部向量。

• 倒排分区（IVF）：先用 k-means 将向量空间聚类，查询时只扫描距离最近的若干聚类（nprobe 控制探查数量），跳过大部分数据
• 乘积量化（PQ）：将高维向量切分为子向量并分别量化，内存压缩比通常可达 8-32 倍，常与 IVF 组合为 IndexIVFPQ
• 图索引（HNSW）：构建多层近邻图，查询时从上层稀疏图逐级导航到下层密集图，召回率高但内存占用较大
• 标量量化（SQ）：将每个维度量化为 8-bit 整数，压缩适中、精度损失少，是 Flat 与 PQ 之间的折中
• 距离度量：支持 L2 欧氏距离 和 内积（IP），归一化后的内积等价于余弦相似度

不同索引在召回率、内存和延迟上各有取舍，按数据规模和资源约束选择。

• IndexFlatL2 / IndexFlatIP：暴力精确搜索，召回率 100%，查询时间线性增长，适合数据量小于百万或作基准对比
• IndexIVFFlat：IVF 分区 + 精确子集搜索，速度比 Flat 快数十倍，nprobe 调大时召回率可达 95%+
• IndexIVFPQ：IVF + 乘积量化，内存最省，适合亿级向量，召回率通常 80-95%，是大规模场景首选
• IndexHNSWFlat：图索引，查询延迟低且召回率高，构建慢、内存大，不支持 GPU 加速
• GPU 索引（GpuIndexIVFFlat 等）：批量查询吞吐量远高于 CPU，但需将索引整体加载进显存

FAISS 几乎出现在所有需要向量检索的 AI 系统中。

• RAG（检索增强生成）：文本分块后用 Embedding 模型编码，存入 FAISS，查询时取出 top-k 片段交给 LLM 生成答案，是最主流的本地向量检索方案
• 推荐系统：电商、短视频平台用 FAISS 做用户-商品 Embedding 的实时亿级召回，替代传统暴力匹配
• 图像与多模态搜索：配合 CLIP 等视觉模型，将图像编码后用 FAISS 做以图搜图或跨模态检索
• 语料去重：大规模预训练数据预处理阶段用 FAISS 快速找出近似重复文本，提升数据质量
• 人脸识别：将人脸 Embedding 存入 FAISS，线上实时匹配百万级人脸库候选集

FAISS 功能强大，但有几个常见认知误区需注意。

• 不是数据库：FAISS 不提供持久化，进程退出后需手动调用 write_index 序列化保存，重启后需重新加载
• 不支持高效实时更新：IVF/PQ 类索引构建后难以增量添加或删除向量，频繁变更场景需定期重建索引或改用向量数据库
• 近似搜索存在召回损失：nprobe 越小速度越快但召回率越低，上线前须用真实查询集评估 Recall@k
• 检索分数 ≠ 语义相关性：FAISS 返回的是向量空间距离，与业务相关性仍有差距，Embedding 模型质量是决定性瓶颈
• 高维场景效果下降：向量维度过高（> 1024）时 ANN 索引效果明显下滑，可考虑先用 PCA 降维再建索引

FAISS 从 Meta 内部工具发展为向量检索领域的事实标准。

• 2017：Meta FAIR 的 Jeff Johnson、Matthijs Douze、Hervé Jégou 开发 FAISS，在 GitHub 开源并发布预印本论文 arXiv 1702.08281；Meta 工程博客同期公开介绍（2017 年 3 月）
• 2019：论文「Billion-scale similarity search with GPUs」正式发表于 IEEE Transactions on Big Data，获学术认可，报告 GPU 方案比当时最先进 CPU 方案快约 8.5 倍
• 2020-2021：LangChain、LlamaIndex 等 RAG 框架将 FAISS 作为默认本地向量存储，用户量激增
• 2023 至今：随 LLM 应用爆发，FAISS 继续主导原型开发场景；生产环境逐步迁移至 Milvus、Qdrant 等专用向量数据库，两者形成互补生态
• 2024：团队发布综述论文「The Faiss library」（arXiv 2401.08281），系统总结多年设计演进与算法体系