预训练数据策展工程：从 MinHash 去重到语义过滤的完整技术栈

数据质量决定模型能力上限，算法只是逼近这个上限。 2026 年的 LLM 训练已经进入"数据为王"的时代。当 Kimi K2 使用 15.5 万亿 token、LLaMA 3 使用 15 万亿 token 时，原始数据中的重复、噪声和低质量内容会直接转化为训练成本浪费和模型能力退化。

去重不是可选项，而是必选项。 据 GoPenAI 技术博客（2026-03），在典型的 LLM 预训练 pipeline 中，去重步骤会移除约 35% 的语料。这意味着如果不做去重，三分之一的训练计算被浪费在重复内容上。更严重的是，重复数据会导致模型过拟合和记忆效应——模型会逐字复现训练数据中的重复片段，而不是学习泛化能力。

数据策展的三大目标：

1. 去重（Deduplication）：移除完全相同或近似相同的文档，避免训练资源浪费和记忆效应
2. 质量过滤（Quality Filtering）：移除低质量、噪声大、有害的内容，提升训练信号的信噪比
3. 领域平衡（Domain Balancing）：调整不同领域（代码、科学、新闻、文学）的比例，避免模型能力偏科

本章核心洞察： 数据策展不是"预处理"，而是"核心工程"。模型的能力上限在数据策展阶段就已经确定，算法只是逼近这个上限。

MinHash 是 LLM 数据去重的事实标准。 面对万亿 token 级别的语料，两两比较文档相似度在计算上不可行。MinHash（Minimum Hash）通过概率签名技术，将每个文档压缩为紧凑的指纹，然后用 Locality-Sensitive Hashing（LSH）快速找到相似文档。

MinHash 的数学直觉： 假设两个文档 A 和 B 的 Jaccard 相似度为 J(A,B) = |A∩B| / |A∪B|。MinHash 的核心思想是：对文档的 shingle 集合应用随机哈希函数，取最小哈希值。两个文档的 MinHash 值相等的概率恰好等于它们的 Jaccard 相似度。

具体流程：

1. Shingling：将文档分解为 n-gram（通常 5-gram 或 13-gram）
2. MinHash 签名：对每个 shingle 应用 k 个随机哈希函数，取每个哈希函数的最小值，得到长度为 k 的签名向量
3. LSH 分桶：将签名向量分成 b 个 band，每个 band 包含 r 行。如果两个文档在某个 band 完全相同，则它们被放入同一个桶
4. 候选对验证：对同一桶内的文档对，计算精确 Jaccard 相似度，过滤掉低于阈值的对

参数选择的工程权衡：

• k（签名长度）：越大越精确，但存储和计算成本增加。典型值 128-256
• b 和 r（LSH 参数）：b×r = k。b 越大召回率越高但精确率下降；r 越大精确率越高但召回率下降。典型配置 b=20, r=5

为什么 MinHash 是工业标准？ 据 Zilliz 技术博客（2026-02），MinHash LSH 在万亿级文档去重中展现出三个关键优势：

1. 线性时间复杂度：签名计算和 LSH 分桶都是 O(n)
2. 可并行化：每个文档独立签名，适合分布式计算
3. 可调精度：通过调整 k、b、r 参数，在精度和效率之间灵活权衡

本章核心洞察： MinHash LSH 的瓶颈不在签名计算，而在 connected components 步骤的图算法——当候选对数量达到数十亿时，如何高效合并等价类成为性能瓶颈。

CPU 去重在万亿级语料上不可行。 传统 MinHash LSH 实现在 CPU 上运行，处理 300 亿 token 需要数天时间。随着 LLM 训练语料规模从百亿 token 增长到万亿 token，CPU 去重成为 pipeline 的瓶颈。

FED：Fast and Efficient Dataset Deduplication。 据 FED 论文（2025-01），FED 框架通过三项优化实现 GPU 加速：

1. Rolling Hash 优化：使用 MurmurHash3 的 rolling 版本，避免重复计算
2. Signature Fusion：将多个 MinHash 签名融合为单个向量，减少内存访问
3. Efficient Banding：优化的 LSH 分桶算法，减少 GPU 线程间的同步

性能对比：

FED 的关键创新： FED 不仅将 MinHash 签名计算移植到 GPU，还优化了 connected components 步骤。传统实现使用 Union-Find 数据结构在 CPU 上合并等价类，FED 使用 GPU 的并行图算法（cuGraph）加速这一过程。

工程实践建议：

• 中小规模（<100B token）：使用 DataTrove 或 NeMo Curator，CPU 或单 GPU 即可
• 大规模（100B-1T token）：使用 FED 或 NeMo Curator，多 GPU 集群
• 超大规模（>1T token）：FED + 分布式 Union-Find，需要专门的基础设施

本章核心洞察： GPU 加速去重的瓶颈已从计算转移到通信——多节点间的 signature 交换和 connected components 合并成为新的性能瓶颈。

MinHash 无法捕获语义重复。 考虑以下两个句子：

• "机器学习是人工智能的一个分支"
• "AI 的一个子领域是机器学习"

这两个句子语义相同，但词序和用词完全不同，MinHash 的 Jaccard 相似度会很低。这就是语义去重（Semantic Deduplication）要解决的问题。语义去重使用预训练 embedding 模型将文档编码为高维向量，然后通过近似最近邻（ANN）搜索找到语义空间中的邻近文档对。

语义去重的原理： 使用预训练 embedding 模型（如 BGE、E5、GTE）将文档编码为向量，然后用近似最近邻（ANN）搜索找到语义相似的文档对。与 MinHash 基于词频的相似度估计不同，语义去重基于深度学习的上下文理解能力，能够捕获同义改写、跨语言重复、以及段落级别的语义重叠。

SemDeDup：语义级去重的工业实现。 据 SemDeDup 论文（ICLR 2023），SemDeDup 在 RedPajama 语料上发现：

• MinHash 去重移除 12.5% 的文档
• SemDeDup 额外移除 8.3% 的文档（语义重复但表面不同）
• 合计去重率 20.8%

这意味着仅依赖 MinHash 会漏检约 40% 的重复内容。SemDeDup 的核心创新在于使用聚类中心作为去重锚点——对于每个语义簇，保留距离簇中心最近的文档，移除其他成员。这种方法比简单的两两比较更高效，但需要额外的聚类步骤。

语义去重的工程挑战：

1. Embedding 计算成本：对万亿 token 语料计算 embedding 需要大量 GPU 资源。据 Milvus 技术博客（2026），使用 BGE-M3 对 10 亿文档计算 embedding 需要约 48 GPU 小时（A100）
2. ANN 索引构建：十亿级向量的 ANN 索引（如 FAISS、Milvus）需要 TB 级内存。Milvus 2.6 引入了 MinHash LSH 集成，将语义去重和表面去重统一到同一框架
3. 阈值选择：语义相似度的阈值难以确定——过低会误删，过高会漏检。经验阈值：cosine > 0.92 为高置信度重复，0.85-0.92 为可疑重复需人工验证

MinHash vs 语义去重的互补性：

工业级 pipeline 的最佳实践： 先 MinHash 去重（快速、低成本），再语义去重（慢速、高精度）。这样可以减少语义去重的候选集规模，降低计算成本。据 DatologyAI 的研究（2025），这种两层去重策略在 RedPajama V1 上将训练 2.7B 模型的下游任务性能提升了 23%。

本章核心洞察： 语义去重不是 MinHash 的替代品，而是互补品。完整的去重 pipeline 应该包含两层：MinHash 处理表面重复，语义去重处理语义重复。

去重只是数据策展的第一步，质量过滤决定训练信号的信噪比。 互联网数据充满噪声：广告、导航栏、低质量评论、机器生成内容。如果不过滤这些噪声，模型会学习到这些模式，生成低质量内容。

质量过滤的三代方法：

第一代：基于规则的过滤（2020-2022）。 使用手工定义的规则过滤低质量内容：

• 文档长度过滤（太短或太长）
• 特殊字符比例过滤（过多标点、表情符号）
• 停用词比例过滤（过少的功能词）
• 困惑度过滤（使用语言模型计算）

据 RedPajama 数据报告（2023），基于规则的过滤可以移除约 20% 的低质量文档，但误删率也较高。

第二代：基于分类器的过滤（2022-2024）。 训练二分类器区分"高质量"和"低质量"文档：

• 正例：维基百科、书籍、学术论文
• 负例：随机网页、低质量论坛

据 FineWeb 技术报告（2024），基于分类器的过滤比规则过滤提升约 15% 的下游任务性能。

第三代：基于 embedding 的过滤（2024-2026）。 使用 embedding 模型将文档编码为向量，然后用聚类或异常检测识别低质量内容：

• DatologyAI 的方法：使用 embedding 相似度过滤与高质量语料库距离过远的文档
• NeMo Curator 的实现：集成多种 embedding 模型，支持自定义质量阈值

据 DatologyAI 技术博客（2025），基于 embedding 的过滤在 RedPajama V1 上训练 2.7B 模型，相比原始数据提升 23% 的下游任务性能。

质量过滤的权衡： 过滤越严格，训练数据质量越高，但数据量下降，可能导致模型泛化能力下降。典型的过滤率在 15-30% 之间。

本章核心洞察： 质量过滤已经从规则驱动演进到模型驱动，但核心问题未变——如何定义"高质量"？这个问题的答案因任务而异。值得注意的是，质量过滤的阈值设置直接影响模型的多样性和泛化能力。过于严格的过滤会导致模型在开放域任务上表现下降，因为它只看到了"完美"的数据，而现实世界的输入往往是嘈杂和不规则的。因此，工业界的最佳实践是在过滤后保留 70-85% 的原始数据，而不是追求极致的"纯净度"。

2026 年的数据策展工具已经成熟，但选型仍需权衡。 DataTrove、NeMo Curator 和 FED 是三大主流框架，各有优劣。选择哪个框架不仅取决于技术特性，更取决于你的团队技术栈、语料规模和基础设施条件。

DataTrove：Hugging Face 的开源数据处理库。 DataTrove 是目前最易上手的数据策展工具，它与 Hugging Face 的 datasets 库深度集成，支持 JSONL、Parquet、Arrow 等多种数据格式。DataTrove 的 MinHash 去重实现基于 CPU，适合中小规模语料的快速处理。它的过滤器生态丰富，包括语言检测、长度过滤、PII 脱敏等常用功能。对于快速原型开发和验证 pipeline 逻辑，DataTrove 是首选。

NeMo Curator：NVIDIA 的 GPU 加速数据策展工具。 NeMo Curator 是 NVIDIA 推出的企业级数据策展平台，它将数据处理的各个环节（去重、过滤、分类）都移植到了 GPU 上。NeMo Curator 的独特优势在于它与 NeMo 训练框架的无缝集成——从数据策展到模型训练可以一气呵成。此外，NeMo Curator 还支持语义去重（基于 embedding 的过滤），这是 DataTrove 所不具备的。对于已经在使用 NVIDIA 生态的团队，NeMo Curator 是生产环境的最佳选择。

FED：学术界的 GPU 加速去重框架。 FED（Fast and Efficient Dataset Deduplication）是一个专注于极致去重性能的学术框架。它通过 Rolling Hash 优化、Signature Fusion 和 Efficient Banding 三项创新，实现了比 NeMo Curator 快 30 倍的去重速度。FED 的局限性在于功能单一——它只处理去重，不包含质量过滤、语言检测等其他功能。对于超大规模语料（>1T token）且已有其他过滤工具的团队，FED 是去重环节的最优解。

选型决策树：

三大框架功能对比：

工程实践建议：

1. 快速原型：用 DataTrove 验证 pipeline 逻辑
2. 生产环境：迁移到 NeMo Curator 或 FED，利用 GPU 加速
3. 超大规模：FED + 自定义分布式 Union-Find

本章核心洞察： 工具选型不是技术问题，而是资源问题——你的语料规模和硬件资源决定了选择哪个框架。

数据策展的生产环境部署需要考虑可扩展性、容错性和成本。 从单机到分布式集群，架构设计截然不同。

单机部署（<100B token）：

• 硬件：16 核 CPU + 64GB RAM + 单 GPU（可选）
• 软件：DataTrove 或 NeMo Curator
• 预计耗时：数小时到数天
• 成本：$100-$500（云实例）

关键配置： 使用 DataTrove 时，推荐配置 13-gram shingle、128 个哈希函数、20 个 band、每 band 5 行、Jaccard 阈值 0.8。输出格式推荐 JSONL。

分布式部署（100B-1T token）：

• 硬件：多节点 GPU 集群（如 8×A100 节点 × 4）
• 软件：NeMo Curator 或 FED + SLURM/Ray
• 预计耗时：数天
• 成本：$1000-$5000

关键挑战：

1. 数据分片：将语料均匀分配到多个节点
2. 去重协调：跨节点的 MinHash 签名交换
3. 容错机制：节点失败时的恢复策略

超大规模部署（>1T token）：

• 硬件：数十节点 GPU 集群 + 高速互联（InfiniBand）
• 软件：FED + 自定义分布式 Union-Find
• 预计耗时：数周
• 成本：$10000+

关键优化：

1. 流水线并行：签名计算、LSH 分桶、connected components 并行执行
2. 内存优化：使用磁盘存储中间结果，避免内存溢出
3. 增量去重：对新数据只与已有签名比较，避免全量重算

本章核心洞察： 数据策展的分布式部署瓶颈已从计算转移到协调——跨节点的签名交换和等价类合并成为性能瓶颈。据 Preferred Networks 技术博客（2025-10），在 600TB 级别的语料上，传统的 MinHash LSH 实现需要数周时间，而优化后的分布式实现可以将时间缩短到数天。这种性能提升的关键在于流水线并行和增量去重策略的结合。

数据策展正在从手工工程走向自动化。 2026 年的趋势是：用 AI 策展 AI 数据。

自动化数据策展的三个方向：

1. 自适应质量过滤。 传统的质量过滤使用固定阈值，但不同任务对数据质量的要求不同。自适应过滤根据下游任务动态调整过滤策略：

• 如果下游任务是代码生成，提高代码数据的质量阈值
• 如果下游任务是开放域对话，降低质量阈值但增加多样性

2. 合成数据生成。 使用 LLM 生成高质量训练数据，补充真实数据的不足：

• Orca：使用 GPT-4 生成推理轨迹
• Cosmopedia：使用 Mixtral 生成教科书风格的合成数据
• FineWeb-Edu-Dedup：在去重后的教育语料上生成合成数据

据 FineWeb-Edu-Dedup 论文（2026-02），合成数据在 SmolLM 训练中贡献了 30% 的性能提升。

3. 持续数据策展。 传统的数据策展是一次性操作，但互联网数据持续更新。持续策展系统定期扫描新数据，增量更新去重索引和质量分类器：

• RedPajama：每月更新 CommonCrawl 数据
• FineWeb：持续集成新的教育数据源

预测：2026 年下半年，自动化数据策展平台将成为标配。 就像 MLOps 平台自动化了模型训练和部署，数据策展平台将自动化数据清洗、去重、过滤和平衡。具体来说，我们预计会看到以下趋势：

1. 端到端自动化：从原始网页抓取到最终训练数据的全流程自动化，无需人工干预
2. 质量反馈闭环：训练过程中的 loss 曲线和梯度分布会反馈到数据策展系统，动态调整过滤策略
3. 多模态策展：随着多模态模型（图文、音视频）的普及，跨模态去重和质量评估将成为新的工程挑战

这些趋势的核心驱动力是成本压力——当训练一个前沿模型的成本超过 1 亿美元时，数据策展的每 1% 效率提升都意味着数百万美元的成本节约。

本章核心洞察： 数据策展的未来不是更大的工程团队，而是更智能的自动化系统——用 AI 策展 AI 数据。

数据策展不是技术问题，而是决策问题。 你的语料规模、硬件资源、下游任务决定了去重策略、质量过滤阈值和工具选型。

决策框架：

第一步：评估语料规模。

• <10B token：单机 CPU，DataTrove
• 10-100B token：单 GPU，NeMo Curator
• 100B-1T token：多 GPU，NeMo Curator / FED

• 1T token：GPU 集群，FED + 分布式

第二步：选择去重策略。

• 表面去重：MinHash LSH（必选）
• 语义去重：embedding-based（可选，但推荐）
• 混合策略：MinHash + 语义去重（最佳实践）

第三步：设定质量过滤阈值。

• 通用 LLM：基于分类器的过滤（如 FineWeb 分类器）
• 领域特化：训练领域特化的质量分类器
• 开放域：降低质量阈值，增加数据多样性

第四步：验证下游任务。

• 在去重前后、过滤前后的数据上训练模型
• 比较下游任务性能（MMLU、HumanEval、MATH）
• 根据性能差异调整策展策略

最终洞察： 数据策展没有银弹——你的决策应该基于实验验证，而不是盲目跟随最佳实践。每个项目都有独特的数据分布和任务需求，只有通过实验才能找到最优的策展策略。

行动建议：

1. 从 DataTrove 开始，快速验证 pipeline 逻辑
2. 根据语料规模迁移到 NeMo Curator 或 FED
3. 在去重后增加语义去重，捕获更多重复
4. 使用基于分类器的质量过滤，提升训练信号
5. 在下游任务上验证策展效果，迭代优化

本章核心洞察： 数据策展是一个持续优化的过程，不是一次性操作。随着模型规模和任务复杂度的提升，你的策展策略也需要演进。从 2023 年的简单规则过滤到 2026 年的 AI 驱动自动化策展，这个领域的演进速度远超预期。未来 12 个月，我们预计会看到更多专门针对多模态数据（图文、音视频）的去重和策展工具出现，这将是下一个重要的工程挑战。