这个报错的核心是config.json 是模型结构配置文件，不是分词器文件；旧版 AutoTokenizer 在本地目录加载时，如果 tokenizer_config.json 缺少 tokenizer_class，会回退去读取模型 config.json 来推断分词器类型，而你这个文件夹只放了分词文件（vocab.json、merges.txt、tokenizer_config.json），没有模型 config.json，直接触发找不到文件异常。很多人单独导出分词器、只拷贝分词相关文件，继续用 AutoTokenizer 加载，就踩这个坑；DistilRoBERTa 属于 BPE 分词，它的分词依赖文件是 tokenizer_config.json、vocab.json、merges.txt，和模型 config.json 完全分离。
一、两类文件边界区分
| 文件 | 归属 | 作用 | DistilRoBERTa 分词是否必需 |
|---|---|---|---|
| config.json | 模型 | 保存层数、hidden_size、head 数、model_type 等模型架构参数 | ❌ 纯分词加载不需要 |
| tokenizer_config.json | 分词器 | 保存 tokenizer_class、bos/eos/pad 标记、max_length、空格策略 | ✅ 必须 |
| vocab.json | 分词器 | BPE 词表映射 | ✅ 必须 |
| merges.txt | 分词器 | BPE 合并规则 | ✅ 必须 |
| special_tokens_map.json | 分词器 | 特殊 token 映射 | ✅ 推荐带上 |
二、报错原理拆解
AutoTokenizer 推断顺序：
- 优先读取目录内 tokenizer_config.json，读取里面的 tokenizer_class；
- 如果 tokenizer_config.json 缺失这个字段，旧版本 transformers 会自动尝试读取 config.json，靠 config 里的 model_type 反推分词器；
- 纯分词目录没有 config.json，直接抛出 config.json not found；
- 新版 transformers 优化了推断，但离线、低版本、单独导出分词场景依然高频复现。
三、四种修复方案对比
| 方案 | 写法 | 适用场景 | 备注 |
|---|---|---|---|
| 方案 1：显式指定 RobertaTokenizer（首选） | RobertaTokenizer.from_pretrained("./distilroberta-tokenizer") | 单独导出分词、离线加载、不想带模型配置 | 彻底避开 AutoTokenizer 自动推断 |
| 方案 2：补一份同源 config.json | 把原 distilroberta 的 config.json 复制进分词目录 | 必须保留 AutoTokenizer 写法 | 不能手写空 json，必须同源，否则类型不匹配 |
| 方案 3：重新 save_pretrained 导出分词器 | tokenizer.save_pretrained(...) | 重新导出，保证 tokenizer_config.json 自带 tokenizer_class | 标准导出流程不会丢字段 |
| 方案 4：升级 transformers | pip install -U transformers | 新版弱化对 config.json 的依赖 | 低版本环境无法保证生效 |
四、错误示例
❌ 目录只有分词文件，旧版AutoTokenizer触发寻找config.json
from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("./distilroberta-tokenizer", local_files_only=True)
五、正确写法示例
✅ 显式指定RobertaTokenizer，不依赖模型config.json
from transformers import RobertaTokenizer
tokenizer = RobertaTokenizer.from_pretrained("./distilroberta-tokenizer", local_files_only=True)
六、排查清单
- 进入目录核对文件清单：确认 vocab.json、merges.txt、tokenizer_config.json 齐全；
- 打开 tokenizer_config.json，检查是否存在 "tokenizer_class": "RobertaTokenizer"；缺失就是根源；
- 不要手动新建空 config.json 凑数，会出现 model_type 不匹配、特殊 token 错乱；
- 离线加载务必带上 local_files_only=True，防止自动联网下载掩盖问题；
- 区分：save_pretrained () 保存分词器，只会生成分词相关文件，不会自动导出模型 config.json；
- 如果后续还要加载模型，模型目录单独放 config.json、权重，和分词目录分开管理。
【相关 FAQ】
问题 1：file distilroberta-tokenizer/config.json not found，为什么分词目录里明明有 vocab.json 和 merges.txt 还报错？
回答 1：file distilroberta-tokenizer/config.json not found，是旧版 AutoTokenizer 推断逻辑导致，当 tokenizer_config.json 缺少 tokenizer_class 时，它会回退读取模型 config.json 判断分词类型，vocab.json、merges.txt 只是分词规则，不能替代这个推断元信息。
问题 2：file distilroberta-tokenizer/config.json not found，AutoTokenizer 和直接 RobertaTokenizer 加载分词器有什么差别？
回答 2：file distilroberta-tokenizer/config.json not found，AutoTokenizer 是自动推断，依赖配置信息；RobertaTokenizer 是硬编码指定分词类型，只读取分词器文件，不需要模型 config.json，适合单独导出分词的离线场景。
问题 3：file distilroberta-tokenizer/config.json not found，我自己新建一个空 config.json 放进去行不行？
回答 3：不推荐，file distilroberta-tokenizer/config.json not found 场景下，空的 config.json 缺少 model_type，大概率会出现分词行为异常、特殊 token 不匹配，必须使用和分词同源的原始 config.json。
问题 4：file distilroberta-tokenizer/config.json not found，save_pretrained 导出分词的时候怎么避免这个坑？
回答 4：file distilroberta-tokenizer/config.json not found，导出分词器时直接用 tokenizer.save_pretrained，导出后检查 tokenizer_config.json 内部自带 tokenizer_class 字段；加载时优先显式 RobertaTokenizer，不要依赖 AutoTokenizer 自动推断。
【参考资料】
[2026-01-11]（transformers AutoTokenizer 推断逻辑）HuggingFace 文档
[2026-03-07]（RobertaTokenizer 所需文件清单）HuggingFace Hub 文档
[2025-10-20]（tokenizer_config.json 与 config.json 区别）掘金技术专栏
[2026-02-04]（单独导出 tokenizer 离线加载踩坑）Stack Overflow
【免责声明】
本文基于 transformers 多版本行为总结，不同版本对 AutoTokenizer 推断逻辑有差异；distilroberta 属于 RoBERTa 系列 BPE 分词，其他模型（BERT/T5/Llama）分词依赖文件不一样，不能直接套用；离线交付时建议分词器和模型配置分开管理，减少耦合报错。