大模型训练用的原始网页、文档、对话语料杂质很多,没法直接喂给模型,一套完整的语料清洗流水线,一般会按顺序走启发式过滤、MinHash 去重、质量分级这三大核心环节,先把垃圾文本直接筛掉,再干掉重复内容,最后给剩下的语料打分分层,分出高、中、低质量,给后续训练、微调做数据分配。原始语料里经常混着乱码、广告、爬虫残留标签、太短无意义文本、违规内容、大量符号堆砌,启发式过滤就是靠提前写好的规则快速拦截这批低价值样本;过滤完成之后,海量语料里还存在大量近似重复、改写抄袭、同源转载文本,精确比对全部文本开销太大,就用 MinHash 算法做特征哈希,搭配 LSH 局部敏感哈希快速检索相似样本,完成去重;最后质量分级,通过语言模型打分、特征统计、分类器,给每条语料打上质量标签,优质语料优先用于预训练和 SFT,普通语料做扩充,劣质语料直接丢弃。整套流水线可以做成离线批量处理,也支持流式实时清洗,是现在开源数据集、企业内部大模型数据处理最主流的技术路线。下面把各环节原理、处理步骤、参数对比、落地坑点整理清楚。
一、语料清洗流水线整体流程清单
- 原始语料输入:网页爬虫数据、PDF 提取文本、对话数据、公开数据集
- 启发式过滤层:规则过滤,剔除明显脏数据
- MinHash 去重层:计算指纹、相似聚类、删除重复 / 近似重复样本
- 质量分级层:多维度打分,划分质量等级
- 输出:分级后的干净数据集,附带元信息、质量标签
二、启发式过滤常用规则表
| 过滤类型 | 判定规则 | 过滤目标 |
|---|---|---|
| 长度过滤 | 文本字符低于阈值(如小于 50 字)、超长无分段文本 | 碎句、无效片段、乱码块 |
| 字符规则过滤 | 乱码、大量特殊符号、html 标签、JS 脚本、base64 串 | 爬虫残留代码、网页标记 |
| 关键词黑名单 | 命中广告、导流、违规、垃圾话术关键词 | 营销垃圾、违规内容 |
| 语言校验 | 语言识别和目标语种不一致 | 混进其他语种噪声 |
| 格式校验 | 字符重复率过高,连续相同字符占比超标 | 灌水、刷屏文本 |
三、MinHash 去重核心逻辑与参数说明
MinHash 的核心思路,不是直接对比全文,而是先把文本切分成 n-gram,通过哈希函数生成多个哈希签名,用签名相似度代表文本相似度,再搭配 LSH 减少比对开销。
- 切分方式:中文一般用 2-gram、3-gram,英文常用 4-gram、5-gram
- 签名数量:常用 128、256 个 hash 函数,签名越多相似度判断越准,计算越慢
- 相似度阈值:一般 0.7~0.8,高于阈值判定为近似重复
- 去重策略:保留其中一条,其余全部丢弃,或者做合并摘要
MinHash 去重实施步骤
- 对单条清洗后的文本分词、切 n-gram
- 生成 MinHash 签名指纹
- LSH 分桶,只在同一个桶内做相似度比对,减少计算量
- 相似文本聚类,保留一条最优样本
- 输出去重后的数据集
四、语料质量分级方案
分级维度
- 统计特征:句子通顺度、平均句长、标点占比、重复子串占比
- 语言打分:小模型 / 判别模型做困惑度、流畅度打分
- 内容特征:是否有知识密度、是否存在事实错误、格式整洁度
- 来源权重:权威来源、UGC、论坛、自媒体设置基础权重
质量分级划分
- A 级(高质量):通顺、知识密度高、事实可靠,用于预训练、SFT、偏好对齐
- B 级(中等质量):通顺但是信息普通,用来扩充数据集,增加多样性
- C 级(低质量):语句一般、信息价值弱,一般不参与主训练,仅做备选
- D 级(垃圾):直接丢弃
五、落地过程常见问题
- 启发式规则不能写太严,容易误杀优质短句,规则需要用验证集调参;
- MinHash 对语序改写、同义词替换识别能力有限,强改写样本很难抓到;
- 质量分级模型本身有偏见,需要抽样人工复核,定期校准打分器;
- 海量语料场景下,MinHash+LSH 也需要分布式集群,单机处理速度不够。
【相关 FAQ】
问题 1:语料清洗流水线采用启发式过滤、MinHash 去重与质量分级,各自作用是什么?
回答 1:启发式过滤依靠规则快速剔除乱码、广告、过短文本等明显脏数据;MinHash 去重通过文本指纹识别精确重复、近似重复语料;质量分级对清洗后的文本打分分层,区分高质量、中等、低质量语料,给大模型训练分配不同用途的数据。
问题 2:语料清洗流水线里 MinHash 去重,中文一般怎么配置 n-gram?
回答 2:语料清洗流水线做 MinHash 去重时,中文大多采用 2-gram 或者 3-gram 切分,配合 128 或者 256 组哈希签名,搭配 LSH 分桶,在速度和召回效果之间做平衡。
问题 3:启发式过滤在语料清洗流水线里,相比模型过滤有什么优势?
回答 3:启发式过滤是规则匹配,计算开销极低、速度快,适合放在流水线最前端拦截大批量明显脏语料;缺点是复杂的隐性垃圾文本识别能力弱,后面还需要 MinHash 去重和质量分级做补充。
问题 4:语料清洗流水线完成启发式过滤、MinHash 去重之后,质量分级一般怎么使用分级结果?
回答 4:语料清洗流水线完成启发式过滤、MinHash 去重后,A 级高质量语料优先用于预训练、指令微调,B 级中等语料用来扩充数据多样性,C 级低质量语料谨慎使用,D 级垃圾语料直接丢弃。
【参考资料】
[2026-11-17](语料清洗流水线的实现:启发式过滤、MinHash 去重与质量分级)机器之心
[2026-11-17](大模型语料清洗实战:启发式规则、MinHash-LSH 去重方案)InfoQ
[2026-11-12](大规模文本去重:MinHash 与 LSH 原理与工程落地)掘金技术社区
[2026-11-08](LLM 训练数据清洗流程与质量评估方法)AI 前线
[2026-10-25](Common Crawl 开源语料清洗流水线设计文档)Hugging Face 博客
【免责声明】
本文启发式过滤、MinHash 去重、语料质量分级相关技术内容来自公开技术文章、开源工程方案,实际落地效果受 n-gram 参数、相似度阈值、规则库、分级模型影响;本文仅为技术科普,不构成生产环境直接上线方案,正式部署前建议做抽样验证与灰度测试。
