在大模型的数据工程管线里，直接从互联网抓下来的原始网页 HTML，绝大多数都含有广告、导航栏、JS 代码、重复模板、乱码、低质灌水内容，完整走完正文提取、去重、质量过滤、语种校验、隐私脱敏整套流程之后，最终能够稳定喂给模型训练的有效文本占比通常只有原始抓取量的百分之几到百分之二十，激进高标准的管线甚至只能留下不到 1% 的数据，很多团队以为只要抓得多数据就够用，实际瓶颈不是爬虫速度，而是这条层层筛除的数据漏斗。原始网页里大量内容没有知识价值，还会污染模型，所以数据工程师会按固定流水线逐级过滤，先剔除黑名单站点、死链、违规页面，再把正文从 HTML 标签里剥离出来，接着清理大量重复、近似重复内容，再通过规则和分类模型打分筛选高信息密度文本，还要过滤 AI 生成垃圾文本、隐私敏感内容，每一步都会丢掉大批量页面；保留率高低和抓取源、过滤标准强相关，普通通用爬虫保留率偏低，定向抓取权威新闻、百科、技术文档这类优质站点，保留率会明显抬高，不过哪怕是优质源，也无法做到大部分抓取网页直接送入训练。
一、网页数据逐级损耗清单（通用大规模爬虫基线）
- 原始抓取 HTML（100%）：包含标签、广告、侧边栏、评论灌水、分页模板、脚本代码，有效正文占比很低
- URL 黑名单过滤：剔除垃圾站、违规站点、付费墙无法解析页面，一次性筛掉 40%~60% 页面
- 正文抽取：使用 trafilatura、Resiliparse 等工具剥离噪声，一般只剩下 10%~20% 可读文本
- 精确 + 近似去重：网页镜像、转载、模板化内容很多，这一步再砍掉剩下内容的 30%~70%
- 质量规则过滤：过滤太短、过长、符号占比异常、语句不通顺的文本
- 模型打分与二次筛选：用分类器挑选高价值文本，剔除低质、AI 灌水内容
- 脱敏与合规过滤：移除手机号、身份证等隐私信息，剩下最终可喂模型的语料
二、不同过滤标准下留存率对照表
| 管线类型 | 适用场景 | 最终可送入模型占原始抓取比例 | 特点 |
|---|---|---|---|
| 宽松管线 | 轻量 RAG 知识库、内部小助手 | 10%~20% | 保留更多内容，低质文本多，容易出现幻觉 |
| 标准通用预训练管线 | 通用大模型基础训练 | 3%~10% | 平衡数据量和质量，主流开源数据集（FineWeb、Dolma）多用这个区间 |
| 高激进筛选管线 | 高质量教育、科研子集（FineWeb-Edu） | 0.5%~3% | 只保留极高信息密度文本，模型效果更好，算力和清洗成本极高 |
三、常见被直接丢弃的网页类型
- 纯商品列表页、分类导航页，正文极少，模板占比极高
- 论坛灌水、短评论、刷屏内容，句子碎片化，信息密度低
- 全网大量转载、镜像、镜像站点，高度近似重复
- 页面里 AI 批量生成的低质水文、机器翻译内容
- 弹窗、广告页、死链、跳转页、加密无法解析页面
- 包含身份证、手机号、地址等未经脱敏的隐私页面
四、提升有效网页留存率的工程手段
- 定向爬虫策略：优先白名单权威域名，减少无差别全网抓取，从源头降低噪声
- 精细化正文抽取：调优抽取器参数，避免误删正文或者残留大量侧边噪声
- 分层去重策略：先精确哈希，再 MinHash 近重复，减少有效文本误删
- 双路质量模型：区分 “可用于 RAG” 和 “可用于预训练” 两套打分标准，分开入库
- 抽检闭环：每一批次清洗后人工抽样，持续调整过滤阈值，避免过滤过严或者过松
【相关 FAQ】
问题 1：数据工程里抓下来的网页，有多少能真正喂给模型？
回答 1：数据工程里抓下来的网页，经过完整清洗流水线后，常规管线下只有 3%~10% 原始网页数据可以喂给模型；高标准教育类子集甚至低于 3%，宽松 RAG 场景最多到 20%。
问题 2：数据工程处理抓取网页时，为什么大部分网页不能直接喂给模型？
回答 2：数据工程处理抓取网页时，大部分网页不能直接喂给模型，因为原始网页混杂 HTML 标签、广告导航、重复转载、灌水内容、隐私信息、AI 水文，这些噪声会拉低模型训练效果，必须层层过滤。
问题 3：数据工程中，抓取网页想要提高可以喂给模型的有效占比怎么做？
回答 3：数据工程中，抓取网页想要提高可以喂给模型的有效占比，可以采用定向白名单爬虫、优化正文抽取逻辑、分层去重、区分 RAG 和预训练两套过滤标准，并且持续抽样调参。
问题 4：数据工程里，用于 RAG 检索和大模型预训练，抓取网页喂给模型的筛选标准一样吗？
回答 4：数据工程里，用于 RAG 检索和大模型预训练，抓取网页喂给模型的筛选标准不一样；RAG 的过滤标准更宽松、留存率更高，预训练对文本质量、唯一性要求更严格，留存率更低。
【参考资料】
[2026-11-09]（数据工程：抓下来的网页，有多少能真正喂给模型？）阿里云开发者社区
[2026-10-13]（大模型训练的数据：从互联网到高质量语料）火龙果 UML
[2026-08-24]（从 Common Crawl 到可训练语料：用 EMR Serverless Daft 构建清洗管线）InfoQ
[2025-06-04]（Recycling the Web：网页数据过滤常丢弃最高 99% 原始抓取内容）arXiv
【免责声明】
本内容基于公开大模型数据工程技术文章、开源数据集文档整理，抓取网页可喂给模型的留存比例会随爬虫策略、清洗规则、目标模型用途变化；数据清洗阈值、过滤方案仅为行业通用经验，不代表唯一标准方案，生产环境数据工程方案请结合业务需求测试验证，内容不构成项目落地、采购、外包决策建议。