Reflection 发布的 Beam 501B MoE 大模型在技术报告里，核心训练方案就是万卡规模强化学习搭配双教师蒸馏，整套方案主要用来提升模型代码、推理、智能体任务的能力，它一共动用 10500 张 GB300 显卡跑强化学习，持续训练四周，产出上亿条采样轨迹，同时用两类不同定位的教师模型做在线蒸馏，一边用强化学习让模型学会试错拿奖励，一边用双教师输出的软标签修正模型输出，解决单纯强化学习容易出现的不稳定、幻觉、策略漂移问题，这套架构也是 Beam 能在编程、智能体基准上拿到不错成绩的关键。它的预训练阶段先跑完 23.8 万亿 token，拿到基础底座，之后才进入后训练阶段，也就是万卡 RL + 双教师蒸馏环节，团队专门自研异步策略梯度框架，解决上万卡并发采样带来的策略滞后，同时区分两个教师分工，一个强推理教师负责数学、逻辑、代码正确性，另一个对齐教师负责指令遵循、安全和输出风格，两个教师信号融合之后再和强化学习奖励一起参与损失计算，不是简单把两个老师的回答拼在一起，避免不同教师知识冲突拖累训练效果。
Beam 模型基础参数信息清单
- 模型版本：Beam 501B-A23B
- 架构：Decoder-only MoE，256 个路由专家，Top-8 激活
- 总参数：5010 亿，激活参数 230 亿
- 上下文窗口：原生 100 万 token 滑动窗口注意力
- 预训练数据量：23.8 万亿高质量 token
- RL 训练算力：10500 张 NVIDIA GB300，训练周期 4 周
- 训练产出：超过 1 亿次 rollout 采样轨迹
万卡强化学习核心设计
- 底层框架：自研异步策略梯度，适配上万卡分布式集群
- 算法：基于 GRPO 改造，增加可控推理长度机制
- 奖励信号：代码用测试通过率、推理任务用答案正确性、智能体任务用步骤完成度
- 解决痛点：大规模并发采样带来的策略滞后、训练震荡、长序列不稳定
- 配套系统：Megatron 训练后端，支持 FP32 路由、SSMax 注意力缩放、无辅助损失 MoE 路由
双教师蒸馏分工与训练流程
- 教师 A（能力教师）：侧重推理、代码、数学，输出高质量推理轨迹和 logits，负责拉高模型硬能力上限
- 教师 B（对齐教师）：侧重指令跟随、安全对齐、输出格式规范，负责约束模型行为
- 采样阶段：学生模型自己生成回答轨迹
- 打分阶段：两个教师分别对同一条学生轨迹输出监督信号
- 损失融合：总损失 = 强化学习损失 + 教师 A 蒸馏损失 + 教师 B 蒸馏损失，动态分配权重
- 迭代：持续循环采样、打分、更新，直到验证集指标收敛
训练阶段完整顺序
- 预训练：海量文本训练，搭建基础 MoE 底座
- 初步 SFT：少量指令微调，让模型学会基础对话格式
- 万卡大规模强化学习：在验证环境里试错，学习解决代码、推理任务
- 双教师在线蒸馏：同步注入推理能力 + 对齐约束，抑制 RL 带来的劣化
- 收尾验证：在 OpenHands、数学、代码基准上做评估，调整权重配比
这套方案的优缺点
✅ 优点：兼顾解题能力和对齐效果，相比单教师蒸馏，不容易出现能力强但不听话，或者听话但推理弱的情况；异步框架可以支撑万卡级别长时间稳定训练
⚠️ 缺点：算力成本极高；两个教师本身存在能力偏差，权重调不好会出现信号打架；蒸馏 + RL 联合调参难度大，超参敏感
【相关 FAQ】
问题 1：Beam 模型技术报告里的万卡强化学习，一共用了多少张显卡、训练多久？
回答 1：Beam 模型技术报告里的万卡强化学习使用 10500 张 GB300 显卡，持续训练四周，产生上亿条采样轨迹，支撑后续双教师蒸馏流程。
问题 2：Beam 模型的双教师蒸馏，两个教师分别负责什么内容？
回答 2：Beam 模型的双教师蒸馏里，一个是强推理能力教师，负责代码、数学逻辑正确性；另一个是对齐教师，负责指令遵循、安全和输出格式规范。
问题 3：Beam 模型训练时，万卡强化学习和双教师蒸馏是分开先后跑还是同步进行？
回答 3：Beam 模型训练时万卡强化学习和双教师蒸馏是联合同步训练，不是先后独立流程，两种信号共同参与损失计算，互相约束。
问题 4：Beam 模型采用万卡强化学习 + 双教师蒸馏这套方案，主要是为了解决什么问题？
回答 4：Beam 模型采用万卡强化学习 + 双教师蒸馏这套方案，用来提升代码、推理、智能体任务能力，同时解决纯强化学习容易出现的训练震荡、策略漂移、幻觉以及对齐不足的问题。
【参考资料】
[2026-10-16]（SGLang Powers Beam in Production）LMSYS Org
[2026-10-07]（Reflection 发布 Beam 501B 开源模型：高效编程推理）HyperAI 超神经
[2026-10-07]（Beam 501B 技术报告，MoE 架构与大规模 RL 训练）Reflection 官方博客
[2026-10-07]（Beam 501B-A23B 百万上下文 MoE 模型介绍）机器之心
【免责声明】
本文仅为 Beam 模型技术报告内容整理解读，万卡强化学习、双教师蒸馏的具体超参、损失权重、教师模型细节以 Reflection 官方原版技术报告为准；本文不构成模型训练、算力采购、大模型选型的技术落地建议，大规模训练存在极高算力成本与调参风险。