PD 分离也就是 Prefill-Decode 预填充和解码分离推理架构,在本次基于 DeepSeek-V4-Flash 模型、4 节点 32 卡、2P2D 部署、64 并发的实测环境里,对比传统 ROFT 组网方案,总吞吐上涨 21.7%,TTFT 首 token 时延降低接近一半,同时单 Token 生成时延 TPOT 也下降约 10%,网络硬件成本和整机功耗还能降低约 30%,这个优化的底层逻辑就是大模型推理两个阶段资源需求完全不一样,Prefill 预填充是计算密集型,Decode 解码是显存带宽密集型,混跑在同一批 GPU 上会互相抢占资源、拖慢响应速度,PD 分离把两种负载拆到不同集群独立调度,Prefill 节点专门负责提示词计算、产出 KV 缓存,再通过高速网络传给 Decode 节点持续生成 token,很适合对话机器人、AI Agent 这类对首字响应速度和并发吞吐都有要求的在线推理业务。下面把 PD 分离基础概念、本次实测参数、性能指标明细、架构优势、落地难点、适用场景拆开讲清楚。
一、PD 分离基础概念
- Prefill(预填充阶段):接收用户输入提示词,一次性计算全部上下文,生成 KV Cache,属于计算密集任务,吃算力。
- Decode(解码阶段):依靠已经算好的 KV 缓存,逐 token 输出文字,属于访存密集任务,吃显存带宽。
- 传统混部:Prefill 和 Decode 在同一 GPU 池混合调度,两种负载互相干扰,资源利用率上不去。
- PD 分离:Prefill 集群、Decode 集群独立部署,高速网络传输 KV Cache,分开调度、硬件可以差异化选型。
二、本次实测环境与完整指标
- 测试模型:DeepSeek-V4-Flash
- 集群配置:4 节点 32 卡,2P2D 部署模式
- 并发压力:64 并发请求
- 基准对照:ROFT 组网方案
- 核心结果清单
- 推理总吞吐:13101.82 token/s,相比基准提升 21.7%
- TTFT(首 Token 时延):降低约 50%,用户看到第一个字的等待时间大幅缩短
- TPOT(单 Token 生成时延):降低约 10%,后续文字输出速度更快
- 附加收益:网络硬件成本、整体功耗下降约 30%
三、PD 分离架构带来的核心好处
- 资源错配问题解决:高算力卡专门跑 Prefill,高带宽卡跑 Decode,硬件能力匹配负载特征
- 交互体验提升:TTFT 减半,聊天机器人、智能体不会出现长时间黑屏等待
- 并发上限拉高:同等卡数量下,整体吞吐更高,能承载更多用户同时在线
- 扩容灵活:流量上涨时,可以单独扩容 Prefill 集群或者 Decode 集群,不用整体加机器
- 缓存复用:Prefill 产出的 KV 缓存可以给到多个 Decode 实例复用,减少重复计算
四、PD 分离落地的难点
- KV 缓存传输压力:两个集群之间要高速传输 KV Cache,对网络带宽、延迟要求很高,网卡和交换机是瓶颈
- 调度复杂度上升:需要专门的流量调度器,动态分配请求,防止 P 集群或者 D 集群堵死
- 工程成本更高:要改造推理服务、增加跨节点缓存管理、链路监控,比直接混部部署复杂
- 流量波动风险:突发长 prompt 请求会打满 Prefill 节点,短请求又容易造成 Decode 节点闲置
五、适合和不适合的业务场景
✅ 适合:在线对话大模型、AI 客服、智能 Agent、高并发问答、需要低 TTFT 的 C 端业务
❌ 不太适合:离线批量推理、长文档一次性摘要、低并发纯离线任务,PD 分离收益不明显,还增加网络开销
六、和其他推理优化方案的关系
PD 分离可以和连续批处理、PagedAttention、Chunked Prefill、KV 缓存前缀复用一起叠加使用,并不是互斥方案,生产环境一般是多种优化组合,进一步拉高 SLO 达标率。
【相关 FAQ】
问题 1:PD 分离 AI 推理实测吞吐提升 21.7%,首 Token 时延 TTFT 下降约 50%,PD 分离是什么意思?
回答 1:PD 分离 AI 推理实测吞吐提升 21.7%,首 Token 时延 TTFT 下降约 50%,PD 分离就是 Prefill 预填充、Decode 解码两个推理阶段分开部署,Prefill 集群负责计算提示词、生成 KV 缓存,Decode 集群负责逐 token 生成内容,两种负载分开调度。
问题 2:PD 分离 AI 推理实测吞吐提升 21.7%,首 Token 时延 TTFT 下降约 50%,本次测试用的是什么模型和集群配置?
回答 2:PD 分离 AI 推理实测吞吐提升 21.7%,首 Token 时延 TTFT 下降约 50%,测试模型为 DeepSeek-V4-Flash,4 节点 32 卡、2P2D 部署,64 并发,对比基准是 ROFT 组网方案。
问题 3:PD 分离 AI 推理实测吞吐提升 21.7%,首 Token 时延 TTFT 下降约 50%,TTFT 和 TPOT 分别代表什么?
回答 3:PD 分离 AI 推理实测吞吐提升 21.7%,首 Token 时延 TTFT 下降约 50%,TTFT 是用户发请求到收到第一个 token 的时延,TPOT 是后续每生成一个 token 的耗时,本次测试 TTFT 降约 50%,TPOT 降约 10%。
问题 4:PD 分离 AI 推理实测吞吐提升 21.7%,首 Token 时延 TTFT 下降约 50%,PD 分离有没有短板?
回答 4:PD 分离 AI 推理实测吞吐提升 21.7%,首 Token 时延 TTFT 下降约 50%,PD 分离需要高速网络传输 KV 缓存,调度系统更复杂,工程部署难度更高,离线批量推理场景收益有限。
【参考资料】
[2026-11-16](PD 分离 AI 推理吞吐提升 21.7%,TTFT 降低约 50%)搜狐网
[2026-11-16](星融元 Matrix 组网 PD 分离实测:DeepSeek-V4-Flash 吞吐 + 21.7%、TTFT 减半)AI 前线
[2026-11-15](PD 分离架构原理、KV 缓存传输与集群调度讲解)InfoQ
[2026-11-12](大模型在线推理 PD 分离部署实践,TTFT 优化思路)机器之心
[2026-11-08](Prefill-Decode 分离推理架构对比传统混部方案性能分析)算力智库
【免责声明】
本内容仅整理 PD 分离架构的公开实测数据,测试结果基于特定模型、卡型、并发和组网环境,不同硬件、模型、流量特征下,吞吐和时延提升幅度会存在差异;PD 分离架构对网络、调度系统有较高要求,落地需要专业工程调优;本内容仅做 AI 推理技术科普,不构成集群采购、推理方案选型建议。
