您的位置首页 >机器人 >

EMNLP 2026 杰出论文 OptiMer日本 NICT 用最优分布向量合并,解决大模型持续预训练的数据配比难题

日本信息通信研究机构 NICT 团队的 OptiMer 方案拿下 EMNLP 2026 杰出论文,这套最优分布向量合并方法专门解决大模型持续预训练时数据混合比例难调的痛点;传统做法要在训练前就固定好多语种、多领域数据配比,配比不合适就要全部重新训练,算力浪费巨大,而 OptiMer 把训练和配比调优拆开,先在各个独立数据集上单独做持续预训练,提取代表该数据集能力偏移的分布向量,之后用贝叶斯优化去搜索向量的最优合并权重,不需要反复重头训练模型,在 Gemma 3 27B 模型、中日英语言、数学、代码多组测试里,效果优于传统数据混合方案,调优搜索成本直接降低 15–35 倍,而且同一批向量池可以切换优化目标,随时生成面向不同任务的定制模型,优化出来的权重还可以反向当成数据配比,用来重新训练得到更强的持续预训练模型。

一、传统数据混合方案 VS OptiMer 最优分布向量合并

项目传统持续预训练数据混合OptiMer 最优分布向量合并
配比确定时机训练启动之前锁定比例训练完成后,事后搜索最优合并权重
配比改动代价配比不好,必须全部重训,耗时数周向量已经提前提取,只做权重搜索,不用重训
调优算力开销高,多组配比就要多轮完整训练低,搜索成本下降 15–35 倍
适配目标切换换任务就要重新设计数据配比、重训复用同一组分布向量池,重新优化权重即可
核心产出一个固定配比的持续预训练模型可按需组合向量,产出多个面向不同目标的模型
实验基线数据混合、普通模型均值合并分布向量加权合并 + 贝叶斯优化搜索权重

二、OptiMer 核心概念清单

  • 分布向量:单个数据集持续预训练后的模型参数,减去原始基座模型参数,用来记录这个数据集带来的模型能力变化
  • 解耦设计:模型训练过程、配比权重搜索分成两个独立阶段,不再绑定在一起
  • 贝叶斯优化:基于 Optuna 框架搜索向量组合权重,寻找在评测指标上最优的组合
  • 权重可映射:搜索得到的向量合并权重,可以等价理解为数据混合比例,可回传给传统训练流程
  • 向量池复用:日语、中文、数学、代码各自的分布向量保存后,反复组合使用

三、OptiMer 完整执行步骤

  1. 基座分流:拿同一个基础大模型,分别在日语、中文、数学、代码等不同数据集上独立完成持续预训练,每个数据集产出一个独立 CPT 模型
  2. 向量提取:每一个独立模型减去原始基座参数,算出对应的分布向量,存入向量池
  3. 权重搜索:采用贝叶斯优化算法,不断尝试不同加权组合,在评测集上验证效果,找到最优权重
  4. 向量合并:使用最优权重加权融合分布向量,叠加回基座模型,得到适配目标的大模型
  5. 落地复用:可以直接使用合并后的模型;也可以把权重当成数据配比,重新混合数据做一轮标准持续预训练,进一步提升效果;更换目标指标时,只重新搜索权重,不用再训练向量

四、实验测试信息

  1. 基础模型:Gemma 3 27B
  2. 测试领域:英语、日语、中文、数学、代码
  3. 评测基准:16 个不同的评测任务
  4. 对比基线:传统数据混合持续预训练、多种主流模型合并算法
  5. 核心结论:OptiMer 在绝大多数任务上指标超过基线,同时大幅压低配比调优的算力成本

五、方案优势和现存局限

✅ 优势

  • 大幅降低数据配比试错成本,适合多语言、多领域大模型持续预训练
  • 灵活性强,同一个向量池快速切换模型偏向,比如偏向中文或者偏向数学能力
  • 搜索出来的配比具备可解释性,能够反哺传统数据混合训练流程

⚠️ 短板

  • 需要先为每一类数据单独跑一轮持续预训练,前期基础训练成本依然存在
  • 该方法面向持续预训练场景,不是原生预训练,不适合从零训练基座大模型
  • 向量之间存在冲突风险,极端场景下分布向量合并后能力提升有限

【相关 FAQ】

问题 1:EMNLP 2026 杰出论文 OptiMer,最优分布向量合并,是用来解决大模型训练什么问题?

回答 1:EMNLP 2026 杰出论文 OptiMer,最优分布向量合并,核心用来解决大模型持续预训练时的数据配比调优难题,传统方案配比定错就要重头训练,OptiMer 拆分训练和配比搜索,降低试错算力开销。

问题 2:EMNLP 2026 杰出论文 OptiMer,最优分布向量合并,它的搜索成本相比传统数据混合下降多少?

回答 2:EMNLP 2026 杰出论文 OptiMer,最优分布向量合并,在 Gemma 3 27B 的实验中,配比权重搜索的成本相比传统数据混合方案下降 15–35 倍。

问题 3:EMNLP 2026 杰出论文 OptiMer,最优分布向量合并,分布向量是什么?

回答 3:EMNLP 2026 杰出论文 OptiMer,最优分布向量合并,分布向量是单数据集持续预训练后的模型参数减去基座原始参数,用来记录该数据集给模型带来的参数偏移与能力变化。

问题 4:EMNLP 2026 杰出论文 OptiMer,最优分布向量合并,拿到最优权重之后有两种用法是什么?

回答 4:EMNLP 2026 杰出论文 OptiMer,最优分布向量合并,一是直接加权合并分布向量得到目标模型;二是把权重当成数据配比,重新混合数据做持续预训练,进一步优化模型效果。

【参考资料】

[2026-11-15](EMNLP 2026 杰出论文 | 大模型训练,数据配比难?日本 NICT 团队提出最优分布向量合并)新浪财经

[2026-11-15](EMNLP 2026 杰出论文:OptiMer 最优分布向量合并优于数据混合持续预训练)机器之心

[2026-03-30](OptiMer: Optimal Distribution Vector Merging Is Better than Data Mixing for Continual Pre-Training)arXiv

[2026-10-27](OptiMer: Optimal Distribution Vector Merging Is Better than Data Mixing for Continual Pre-Training)ACL Anthology

【免责声明】

本文内容基于 EMNLP 2026 公开论文、项目主页和媒体报道整理,OptiMer 最优分布向量合并的效果来自 Gemma 3 27B 限定实验条件;在不同基座模型、更大规模数据集、复杂混合场景下效果会存在差异;该技术属于前沿学术方案,尚未形成工业标准流程;本文仅做技术解读,不构成大模型训练、算力采购、模型合并落地的决策依据。