语料清洗流水线实现方案启发式过滤、MinHash 去重与质量分级落地讲解

大模型训练用的原始网页、文档、对话语料杂质很多,没法直接喂给模型,一套完整的语料清洗流水线,一般会按顺序走启发式过滤、MinHash 去