首页
科技金融
科技要闻
人工智能
5G/通信
互联网
手机
数码
家电
机器人
IT资讯
半导体
标签 >
语料清洗流水线的实现:启发式过滤、MinHash去重与质量分级
语料清洗流水线实现方案启发式过滤、MinHash 去重与质量分级落地讲解
大模型训练用的原始网页、文档、对话语料杂质很多,没法直接喂给模型,一套完整的语料清洗流水线,一般会按顺序走启发式过滤、MinHash 去
2026-11-18 08:39:27