这次 DSpine 并行推测解码拿到 SOTA 成绩，核心改动是把 token 之间的因果依赖关系直接嵌入草稿网络内部，不再靠后续额外串行模块补因果约束，在 SGLang 推理引擎里接入之后，相比标准自回归解码最高能做到 4.01 倍吞吐提升，整套代码、模型权重全部开源。传统推测解码的草稿网络大多是并行一口气产出一串候选 token，内部缺少原生因果约束，候选序列的连贯性差、被大模型校验打回的概率很高，接受长度上不去，提速上限被卡住；DSpine 改成逐层接力的结构，草稿网络每一层就自带因果顺序约束，并行生成候选块的同时保证内部 token 先后逻辑合理，接受长度明显高于 DSpark、DFlash2 这些老方案。跑 Qwen3-4B、Qwen3-8B 测试的时候，对比 DSpark 吞吐平均涨 19%~20%，对比 DFlash2 平均提升 11.1%；专门面向 Agent 场景训练的版本，在代码、网页、办公这类任务里并发 8 路下吞吐也能达到自回归的 3.84 倍，现在已经在腾讯 WorkBuddy 线上业务落地，开发者可以直接在 SGLang 中加载 DSpine 草稿模型做部署。
一、DSpine 并行推测解码核心思路
1. 老方案的痛点清单
- 普通草稿网络并行输出 token 块，块内没有因果依赖，候选序列经常语序错乱、逻辑断裂，校验通过率低
- 接受长度低，每一轮能保住的有效 token 少，加速收益大打折扣
- 分开搭建并行生成模块 + 串行因果修正模块，额外增加计算开销
- Agent 长思考、多步骤任务场景下，草稿预测稳定性差
2. DSpine 草稿网络的关键设计
- 因果依赖内置进网络深度：逐层接力预测，不是简单一次性并行输出全部候选 token，每层传递时序信息，天然满足大模型的因果生成规则
- 块式并行推测：一回合产出一整块候选 token，交给主模型一次性并行校验，减少主模型前向次数
- 支持 Agent 专项版本：针对代码调用、网页操作、办公自动化这类长思考任务单独训练，提升复杂任务的接受长度
- 原生适配 SGLang 推测解码接口，不用大幅修改 SGLang 底层调度代码
3. 整套执行流程
- SGLang 主模型处理上下文，产出当前锚点隐态，传给 DSpine 草稿网络
- DSpine 草稿网络逐层接力并行生成候选 token 块，生成过程自带因果约束
- 候选块送入 SGLang 主模型做一次性并行校验
- 匹配成功的 token 直接保留，找到第一个不匹配位置截断候选序列
- 从截断位置开启新一轮推测循环，持续输出文本
- 统计接受长度、吞吐指标，调度器自动控制并发、窗口大小
二、性能对比表
| 方案 | 对比基准 | 吞吐提升 | 特点 |
|---|---|---|---|
| DSpine | 标准自回归解码 | 最高 4.01 倍 | 草稿内置因果依赖，SOTA |
| DSpine | DSpark | 8B:+19.0%，4B:+20.1% | 上一代主流块推测方案 |
| DSpine | DFlash2 | 8B:+11.1% | 之前最强基线 |
| DSpine Agent 版 | 标准自回归解码 | 并发 8 最高 3.84 倍 | 适配 SWE-bench、办公 Agent 任务 |
三、SGLang 接入 DSpine 的部署要点清单
- 拉取 DSpine 开源仓库，获取草稿模型权重，支持 HuggingFace 直接加载
- SGLang 开启 speculative 解码，指定 DSpine 草稿模型路径，选择块推测模式
- 根据主模型尺寸、并发规模调整推测窗口大小，窗口过大容易拉高校验失败率
- Agent 场景优先使用专项优化的 DSpine 草稿权重，普通对话场景用通用 Qwen3 版本
- 配合 SGLang Spec V2 重叠调度，掩盖 CPU 和 GPU 之间同步开销，进一步放大收益
【相关 FAQ】
问题 1：DSpine 并行推测解码把因果依赖刻进草稿网络，和 DFlash2、DSpark 这类 SGLang 推测解码方案差别在哪？
回答 1：DFlash2、DSpark 的草稿网络并行产出 token 块，块内部因果关系弱，需要依赖主模型校验修正；DSpine 并行推测解码直接在草稿网络每层构建因果依赖，逐层接力生成候选序列，候选本身时序合理性更强，接受长度更高，在 SGLang 里跑出来的吞吐上限更高。
问题 2：DSpine 并行推测解码开源之后，在 SGLang 里面上手门槛高吗？
回答 2：门槛不高，DSpine 并行推测解码原生适配 SGLang 推测解码接口，提供开源权重和启动示例，只需要在 SGLang 启动命令配置草稿模型路径、块大小参数，不需要改写 SGLang 内核代码，单卡、多卡张量并行环境都可以测试。
问题 3：DSpine 并行推测解码在 SGLang 里面拿到四倍吞吐，是所有场景都能稳定跑到吗？
回答 3：不是，DSpine 并行推测解码最高四倍吞吐是 Qwen3-4B、Qwen3-8B 基准测试的最优值，在高并发、短 prompt 场景更容易跑满收益；长上下文、高难度推理任务接受长度会下降，SGLang 实际吞吐会低于 4 倍，Agent 思考版本最高大约 3.84 倍。
问题 4：使用 DSpine 并行推测解码，会不会让 SGLang 输出文本质量变差？
回答 4：正常不会，DSpine 并行推测解码的目标是提升候选 token 的接受率，主模型校验环节和 SGLang 原有推测解码逻辑一致，不匹配的 token 会直接丢弃，最终输出结果由主模型负责把关，不会因为草稿并行生成降低输出对齐质量。
【参考资料】
[2026-11-09]（并行推测解码 SOTA！因果依赖刻进草稿网络深度，SGLang 吞吐最高达四倍，已开源）新浪财经
[2026-10-24]（DeepInfer：SGLang 新增 DSpark 推测解码能力）LMSYS Org
[2026-10-16]（SGLang 原生支持 Beam 大模型，DFlash2 推测解码加速落地）LMSYS Org
[2026-08-12]（Qwen3.8 上线 SGLang，原生支持 DSpark 推测解码）LMSYS Org
[2026-06-15]（下一代推测解码：DFlash 与 SGLang Spec V2 引擎）LMSYS Org
【免责声明】
本文是 DSpine 并行推测解码技术科普，内容基于公开评测、开源项目信息整理；DSpine 并行推测解码属于 SGLang 生态下的草稿模型方案，不同硬件、模型、业务负载下吞吐提升效果会浮动；文中性能数据仅对应公开论文与官方测试环境，不代表生产环境保底收益；接入 SGLang 部署 DSpine 请以项目官方文档为准，不构成线上落地、选型的确定性建议，使用开源模型和推理框架请遵守对应开源协议。