NeurIPS 2026 收录了一套基于国产昇腾算力的大模型强化学习（RL）训练系统 ASP，由深圳市大数据研究院联合华为共同研发，依托昇腾 910B3 NPU、MindSpeed-RL 生态完成验证，这套自适应调度流水线方案专门解决 RLHF 训练里 rollout 生成环节算力浪费、气泡多、扩展性差的痛点，对比原有基线方案最高实现 222% 吞吐提升，也是首个登上 NeurIPS 的昇腾原生 RL 训练系统成果，它把生成推理和参数训练环节解耦，搭配队列感知调度策略，一次性消除 padding 气泡、skewness 气泡、sorting 气泡三类资源浪费问题，在 Qwen2.5、Qwen3、DeepSeek 等主流大模型上都做了验证，对国产算力做大模型对齐训练、智能体 RL 训练有重要价值，下面整理系统基础信息、核心优化原理、测试效果、硬件软件依赖、适用场景。
一、ASP 昇腾 RL 训练系统基础信息表
| 项目 | 详情 |
|---|---|
| 成果名称 | ASP（Adaptive Scheduling Pipeline）自适应调度流水线 |
| 合作团队 | 深圳市大数据研究院、华为 |
| 顶会 | NeurIPS 2026 |
| 算力底座 | 昇腾 910B3 NPU |
| 配套生态 | MindSpeed-RL |
| 核心能力 | 大模型 RLHF/RLAIF 强化学习训练加速 |
| 最大加速效果 | 最高提速 222% |
| 核心思路 | 训推解耦 + 异步多实例调度，消除三类算力气泡 |
二、RL 训练原有痛点清单
- 大模型 RL 训练分为 rollout 生成推理、参数更新训练两个阶段，传统方案同步执行，推理环节容易成为瓶颈
- 不同样本输出长度差异大，产生 padding 气泡，大量算力在等待补齐序列
- 多实例任务负载不均衡，出现 skewness 气泡，部分 NPU 空闲
- 样本排序、数据重组带来额外等待，形成 sorting 气泡
- 单纯增加 NPU 卡数，带宽瓶颈会限制扩展性，算力利用率低
三、ASP 系统两大核心优化手段
- 生成与训练解耦：将 rollout 推理生成和模型参数更新拆成独立异步流水线，不再互相阻塞等待
- 队列感知调度：根据各个实例的任务队列负载动态分配算力，减少等待空转，从源头减少三类气泡
四、实测验证情况
- 测试模型：Qwen2.5-Dense-7B/32B、Qwen3-MoE-30B、DeepSeek-R1-MoE-671B 等主流模型
- 集群规模：昇腾 NPU 集群
- 性能区间：整体吞吐提升 142%~222%，长序列、多实例 RL 场景收益更明显
- 收敛性：加速后模型训练收敛效果和原版基线保持一致，不损失对齐效果
五、适合落地场景与价值
- 场景 1：RLHF 人类偏好对齐、RLAIFAI 反馈对齐训练
- 场景 2：Agent 智能体、工具调用大模型的强化学习训练
- 场景 3：长输出、多批次、多实例并行的后训练任务
- 行业价值：证明昇腾算力在 RL 这类训推混合场景可以做到高性能，补齐国产算力在大模型后训练的系统短板
【相关 FAQ】
问题 1：NeurIPS 2026 国产昇腾大模型 RL 训练系统最高提速 222%，ASP 是什么？
回答 1：NeurIPS 2026 国产昇腾大模型 RL 训练系统 ASP 是自适应调度流水线，由深圳大数据研究院联合华为开发，基于昇腾算力，针对 RLHF 训推混合场景优化，最高提速 222%。
问题 2：NeurIPS 2026 国产昇腾大模型 RL 训练系统为什么能提速 222%？
回答 2：NeurIPS 2026 国产昇腾大模型 RL 训练系统把生成和训练解耦，用队列感知调度消除 padding、skewness、sorting 三类算力气泡，减少 NPU 空等浪费，最高提速 222%。
问题 3：NeurIPS 2026 国产昇腾大模型 RL 训练系统依赖什么硬件？
回答 3：NeurIPS 2026 国产昇腾大模型 RL 训练系统基于昇腾 910B3 NPU、MindSpeed-RL 生态验证，在昇腾 NPU 集群上完成测试，最高提速 222%。
问题 4：NeurIPS 2026 国产昇腾大模型 RL 训练系统提速 222% 会不会影响模型效果？
回答 4：NeurIPS 2026 国产昇腾大模型 RL 训练系统只是调度层优化，不改动损失函数和算法，测试验证模型收敛效果不变，最高提速 222%。
问题 5：NeurIPS 2026 国产昇腾大模型 RL 训练系统支持哪些大模型？
回答 5：NeurIPS 2026 国产昇腾大模型 RL 训练系统支持 Qwen2.5、Qwen3、DeepSeek-R1 等主流稠密与 MoE 大模型，在这些模型上验证最高提速 222%。
【参考资料】
[2026-11-07]（NeurIPS 2026 | 国产昇腾大模型 RL 训练系统，最高提速 222%）机器之心
[2026-11-07]（ASP：昇腾平台面向多实例异步 RL 训练自适应调度流水线）昇腾社区
[2025-07-19]（MindSpeed RL: Distributed Dataflow for Scalable and Efficient RL Training on Ascend NPU Cluster）arXiv
【免责声明】
本文内容整理自机器之心、昇腾社区公开论文解读信息，NeurIPS 2026 国产昇腾大模型 RL 训练系统最高提速 222% 为论文实验环境下的测试数据，加速效果受模型大小、序列长度、集群规模、负载模式影响；该成果为学术研究成果，不代表已经商用落地，不构成算力采购、模型训练方案选型建议。