海光信息和清程极智联合推出异构混推技术白皮书,核心就是用 PD 分离架构把大模型推理拆成预填充和解码两个独立资源池,解决现在长上下文大模型推理成本高、单卡硬件资源错配、国产算力跑模型吞吐上不去的痛点,这套方案用海光深算 3 号 DCU 负责并行计算量大的预填充环节,搭配高带宽算力卡承担对显存敏感的解码任务,靠清程极智赤兔推理引擎做跨硬件调度和 KV 缓存管理,硬件各司其职不用全部堆高端高带宽卡,整体吞吐对标纯高端卡方案还能压低硬件投入,企业做私有化部署、长文本 Agent、知识库推理的时候,先理清业务输入输出长度配比,再按 PD 分离思路配比两类算力资源、配套 RDMA 高速网络,就能落地这套高性价比的异构混推算力底座。
一、异构混推核心架构原理
大模型推理分成 Prefill 预填充、Decode 解码两个阶段,两个阶段硬件需求差别很大,传统单卡集群统一部署很容易资源浪费:
| 推理阶段 | 负载特点 | 适配硬件 |
|---|---|---|
| 预填充 Prefill | 输入上下文并行计算量大,对算力密度要求高,显存压力相对小 | 海光深算 3 号 DCU |
| 解码 Decode | 逐 Token 生成,反复读取 KV 缓存,对显存带宽、显存容量要求高 | 高带宽算力卡 |
这套异构混推方案的核心就是 PD 分离:两类算力分开组网,不再放在同一个资源池;预填充产出的 KV 缓存通过 RDMA 高速网络传输给解码池复用;清程极智自研调度引擎负责流量分配、缓存生命周期管理、负载均衡,多平面网络隔离计算、存储、业务流量,减少传输抖动。
二、方案核心优势清单
- 性价比提升:不用全部采购高带宽算力卡,根据业务上下文长短灵活配比 DCU 和高带宽卡数量,实测同等吞吐下硬件成本明显下降,部分场景延迟降低 70%-90%
- 适配长上下文场景:长文档、知识库、Agent 对话这类输入很长、持续生成 Token 的业务,资源错配问题改善最明显
- 国产软硬件协同:依托海光 DTK 开发套件,兼容主流 AI 框架,降低代码迁移成本;赤兔引擎支持 FP4、FP8 低位宽量化,进一步降低算力门槛
- 弹性扩缩容:预填充池、解码池可以独立扩容,业务输入变长就加 DCU,并发生成请求变多就扩充解码算力,不用整体换集群
- 自主可控路线:打造国产 DCU + 国产推理引擎的组合,满足政务、金融、央企私有化部署的合规需求
三、落地部署关键步骤
- 业务画像统计:统计业务平均上下文长度、输入输出 Token 比例、并发请求峰值,判断是不是适合 PD 分离异构混推(短提示词、短输出场景收益有限)
- 算力配比测算:根据 Prefill 算力需求配置海光深算 3 号 DCU 数量,根据并发解码 QPS、KV 缓存总容量规划解码算力规模
- 网络基础设施准备:部署 RDMA 高速互联网络,配置多平面隔离组网,保障 KV 缓存跨池传输稳定
- 软件栈部署:部署清程极智赤兔推理引擎,对接海光 DTK,开启量化、KV 缓存复用、动态负载调度能力
- 压测调优:压测不同并发、不同上下文长度下的吞吐、首 Token 延迟、尾延迟,调整两个算力池配比和调度策略
- 上线运维:分开监控预填充池、解码池负载,分别做弹性伸缩,监控缓存传输带宽、缓存淘汰策略
四、适用场景与不适合场景
✅ 适合场景
- 长上下文知识库、文档解析、长文本摘要
- Agent 智能体、多轮对话、代码生成
- 私有化大模型服务、企业私有知识库平台
- 推理并发波动大、希望控制硬件采购预算的智算集群
❌ 不适合场景
- 输入很短、输出也很短的简单分类、短句问答
- 预算充足、追求极简运维、不想搭建异构集群的小规模测试环境
- 现场无法部署 RDMA 高速网络,跨节点延迟很高的机房
【相关 FAQ】
问题 1:海光信息和清程极智异构混推技术白皮书里面的 PD 分离是什么?
回答 1:海光信息 × 清程极智异构混推方案里的 PD 分离,就是 Prefill 预填充和 Decode 解码分离部署,把大模型推理两个阶段拆到独立算力池,海光深算 3 号 DCU 负责预填充计算,高带宽算力卡负责解码生成 Token,依靠赤兔引擎调度、RDMA 传输 KV 缓存,实现异构混推降本增效。
问题 2:海光信息联合清程极智的异构混推算力底座,对比传统单卡集群优势在哪?
回答 2:海光信息 × 清程极智异构混推算力底座可以按照推理两个阶段的硬件需求分开配算力,不会出现算力或者显存资源闲置,同等吞吐下硬件成本更低,长上下文场景延迟更低,还支持两个算力池独立扩容,适配国产算力私有化部署需求。
问题 3:跑海光信息、清程极智这套异构混推方案,一定要 RDMA 网络吗?
回答 3:RDMA 是海光信息 × 清程极智异构混推方案的关键配套,预填充产生的 KV 缓存需要在两个算力池之间高频传输,没有 RDMA 会带来很高传输延迟,会直接抵消异构混推带来的性能收益,正式生产环境建议标配 RDMA 高速网络。
问题 4:海光深算 3 号 DCU 在清程极智异构混推方案里承担什么工作?
回答 4:在海光信息与清程极智的异构混推方案中,海光深算 3 号 DCU 主打高密度并行计算,专门承接预填充 Prefill 任务,处理大批量输入上下文,发挥 DCU 算力优势,把对显存带宽压力更大的解码任务交给高带宽算力卡,分工配合完成异构混推。
【参考资料】
[2026-11-18](PD 分离架构破解长上下文难题,海光联合清程极智推出国产推理新方案)新浪财经
[2026-11-18](对话清程极智师天麾:国产 GPU 的性能提升,藏在 “国产引擎” 里)至顶网
[2026-10-15](清程极智完成 A 轮融资,深耕国产算力软硬协同)同花顺金融网
[2026-06-16](自带 “冠军基因” 的团队想让国产芯片 “跑起来”)清华大学官网
[2026-05-28](清程极智发布全链路 Token 解决方案)环球网科技
【免责声明】
本文内容基于海光信息、清程极智异构混推技术白皮书公开信息整理,仅作为技术科普阅读,不构成算力采购、集群建设、项目招投标建议。异构混推方案实际性能、成本收益受机房网络条件、模型类型、业务上下文分布、量化策略影响;白皮书完整技术细节、官方性能指标以海光信息、清程极智官方发布版本为准,落地前建议联系厂商做业务场景 POC 验证。
