为什么少量高质量数据有时比海量新数据更重要？

一、核心回答

二、可以先说一句：大模型不是吃得越多越聪明，而是吃得越干净、越有结构，学习效率越高。

海量数据当然重要，尤其是预训练阶段需要足够覆盖世界知识和语言模式。但如果数据里充满重复、模板垃圾、错误代码、低质量问答和互相矛盾的内容，模型会花大量算力学习噪声，最后表现未必更好。

三、面试补充

高质量数据的价值在于信号密度。 比如代码模型更需要可运行代码、清晰依赖、真实项目上下文、测试用例和错误修复轨迹，而不是随便爬来的碎片代码。这样的数据能让模型学到“为什么这么写”，而不只是记住“别人曾经这么写”。

但我也不会把它说成规模不重要。 更合理的策略是先做数据治理：去重、过滤、质量打分、按任务分层、保留高价值长尾；再扩大规模。也就是说，数据策略不是“少量高质 vs 海量数据”的对立，而是先提高数据质量，再把高质量分布扩出去。