EMNLP 2026 杰出论文 OptiMer 来自日本 NICT 团队,它的核心思路是把数据配比调参和模型训练拆开,不再像传统方案那样提前固定混合比例、试错就要完整重训,而是先单独在各个领域、语种数据集上做持续预训练,提取代表数据集参数偏移的分布向量,之后用贝叶斯优化搜索最优组合权重,用向量合并替代直接混数据训练,算力成本直接下降 15~35 倍,在 Gemma 3 27B 模型上,日语、中文、数学、代码等任务的实测效果,普遍优于传统数据混合、简单模型平均的基线方案,这套方法最大的价值是改变了持续预训练的流程,传统模式是先定配比再训练,配比不合适就要浪费大量算力反复重跑;OptiMer 只需要一次把各个单数据集的向量池建好,后续可以随时换优化目标、调整权重,不用重新训练,同一个向量池可以按需生成适配不同目标的定制模型,搜索出来的权重还能直接当成数据配比,反过来指导正式混合数据训练,进一步提升最终模型效果。
OptiMer 基础信息清单
| 项目 | 详情 |
|---|---|
| 论文名称 | OptiMer: Optimal Distribution Vector Merging Is Better than Data Mixing for Continual Pre-Training |
| 研发单位 | 日本信息通信研究机构 NICT |
| 奖项 | EMNLP 2026 Outstanding Paper(杰出论文) |
| 本届投稿总量 | 17661 篇,杰出论文仅 22 篇 |
| 实验基座 | Gemma 3 27B |
| 测试领域 | 日语、中文、数学、代码 |
| 算力收益 | 配比搜索成本降低 15–35 倍 |
| 核心机制 | 分布向量提取 + 贝叶斯优化组合权重 |
| 核心对比对象 | 传统数据混合、模型权重平均 |
OptiMer 完整执行步骤
- 准备基座大模型,针对每一类独立数据集,分别跑一轮持续预训练,得到对应数据集的独立适配模型。
- 从每一个单独训练完成的模型里,提取分布向量,这个向量用来记录该数据集带来的参数偏移特征。
- 构建向量池,固定向量池之后,不再重复训练基础模型。
- 用贝叶斯优化,在向量池上搜索最优组合权重,对应不同下游任务目标。
- 合并分布向量,得到适配目标任务的模型,直接做评测;也可以把优化后的权重当成数据配比,再做一次正式混合数据预训练。
OptiMer 和传统数据混合方案对比
- 传统数据混合:配比必须在训练前确定,配比不合适,整套训练流程全部重来,试错成本极高。
- 模型平均:简单加权合并权重,很难捕捉不同数据分布的真实贡献,效果上限低。
- OptiMer:训练和配比搜索解耦,向量池一次性建好,多次调配比不需要重训,搜索速度快,效果更好。
优势与当前局限
✅ 优势:持续预训练配比调参算力大幅降低,向量池可复用,支持多目标快速生成定制模型,优化得到的权重可以反哺正式训练配比。
❌ 局限:目前验证集中在持续预训练场景,没有在从零预训练、超大规模万亿参数模型上做验证;依赖向量提取方式,向量表达能力会影响最终合并效果。
综合来看,OptiMer 不是一个新的模型架构,而是一套持续预训练的数据配比优化范式,解决了行业长期痛点:数据混合比例难调、试错成本巨大,适合多语种、多领域的大模型增量适配工作。
【相关 FAQ】
问题 1:EMNLP 2026 杰出论文 OptiMer,日本 NICT 提出最优分布向量合并解决大模型持续预训练数据配比难题,OptiMer 是直接混合不同数据集做训练吗?
回答 1:EMNLP 2026 杰出论文 OptiMer,日本 NICT 提出最优分布向量合并解决大模型持续预训练数据配比难题,OptiMer 不直接混合数据集训练,它先单独训练提取分布向量,后续通过向量合并和权重搜索来模拟配比效果。
问题 2:EMNLP 2026 杰出论文 OptiMer,日本 NICT 提出最优分布向量合并解决大模型持续预训练数据配比难题,OptiMer 相比传统数据混合能节省多少算力?
回答 2:EMNLP 2026 杰出论文 OptiMer,日本 NICT 提出最优分布向量合并解决大模型持续预训练数据配比难题,在实验条件下,OptiMer 做配比搜索的算力成本相比传统方案降低 15–35 倍。
问题 3:EMNLP 2026 杰出论文 OptiMer,日本 NICT 提出最优分布向量合并解决大模型持续预训练数据配比难题,OptiMer 搜索出来的权重有什么用处?
回答 3:EMNLP 2026 杰出论文 OptiMer,日本 NICT 提出最优分布向量合并解决大模型持续预训练数据配比难题,搜索得到的组合权重既可以直接合并向量生成模型,也可以当作数据混合比例,指导后续正式的持续预训练。
问题 4:EMNLP 2026 杰出论文 OptiMer,日本 NICT 提出最优分布向量合并解决大模型持续预训练数据配比难题,OptiMer 本次实验用的是什么基座模型?
回答 4:EMNLP 2026 杰出论文 OptiMer,日本 NICT 提出最优分布向量合并解决大模型持续预训练数据配比难题,本次实验使用 Gemma 3 27B 作为基座模型,覆盖中日语言、数学、代码任务。
【参考资料】
[2026-11-15](EMNLP 2026 杰出论文 | 大模型训练,数据配比难?日本 NICT 团队提出最优分布向量合并)机器之心
[2026-11-15](NICT's OptiMer merges distribution vectors to optimize continual pretraining data ratios, wins EMNLP 2026 Outstanding Paper)PicX AI News
[2026-10-26](OptiMer: Optimal Distribution Vector Merging Is Better than Data Mixing for Continual Pre-Training)ACL Anthology
[2026-03-28](OptiMer: Optimal Distribution Vector Merging Is Better than Data Mixing for Continual Pre-Training)arXiv
【免责声明】
本文仅为 OptiMer 论文的技术资讯解读,实验结果基于 Gemma 3 27B 在特定数据集上验证,在不同基座、不同数据分布下的表现存在差异;该方法属于持续预训练配比优化方案,不适合直接套用在从零预训练场景;不构成训练方案选型建议,落地前请阅读原始论文、复现实验评估效果。
