北大 PKU-DAIR 团队提出 MapFlow，解决了多模型 Agent 协作切换上下文时，每次换模型都要重新跑 prefill、重新计算 KV 缓存的痛点，它不再尝试直接跨模型传递 KV，而是把注意力图作为可迁移的中间状态，实现注意力跨模型复用，在保证输出质量基本不变的前提下，prefill 延迟下降 15% 到 20%，在多轮对话路由场景里，同等首 token 延迟限制下吞吐量最高可以提升 25%，这套方案适合大模型分工协作的场景，比如大模型做规划、小模型做总结，多个异构模型共用一份长上下文的业务。传统 KV 缓存是绑定单个模型架构的，不同模型之间没法直接共用 KV，只要切换模型，哪怕上下文完全一样，接收方模型也必须从头对全部文本做 prefill，重复编码、重复算 KV，长文本场景下这个重复计算开销会非常大，拖慢首 token 输出速度、拉高 GPU 算力消耗；MapFlow 换了思路，复用注意力图里 token 之间的依赖关系，搭配轻量映射、稀疏压缩、融合 GPU 内核，只做少量局部重算，不用全部推倒重来。
一、传统跨模型上下文交接必须重算 KV 的原因
- KV 缓存和模型强绑定：KV 是每个模型每层、每个注意力头专属的特征，不同模型层数、头数、参数不一样，KV 格式不兼容，不能直接传给别的模型读取。
- 现有前缀缓存只支持同模型复用：市面上常见的 prefix 缓存、KV 缓存方案，只能在同一个模型内部复用上下文，跨异构模型直接失效。
- Agent 链路频繁切换模型：很多 AI Agent 是多模型串联，规划、检索、写代码、摘要分别交给不同模型，相同历史上下文反复交接，prefill 重复执行。
- 长上下文放大开销：文档、知识库、多轮对话这类长上下文，prefill 本身耗时很长，每切换一次模型就要再跑一遍，算力浪费明显。
二、MapFlow 核心技术手段清单
| 技术手段 | 具体做法 | 起到的作用 |
|---|---|---|
| 注意力图复用 | 跨模型传递注意力图，而不是 KV 缓存 | 注意力图代表 token 之间的依赖关系，更容易跨模型迁移 |
| 轻量线性映射 | 对注意力头、层之间做简单线性转换 | 适配源模型和目标模型结构差异，减少信息损失 |
| 块级稀疏压缩 | 对长上下文注意力图做分块稀疏压缩 | 控制注意力图存储体积，避免显存占用暴涨 |
| 融合 GPU 检索内核 | 定制 GPU 算子，把读取、映射、少量重算合并 | 降低推理调度开销，提升实际运行速度 |
| 局部部分重算 | 只对关键区域做少量重计算，不全量 prefill | 平衡速度和生成效果，保证回答质量稳定 |
三、实测效果与适用边界
- 性能指标：prefill 延迟降低 15%–20%；多轮路由场景，相同 P90 首 token 延迟约束下吞吐量最高提升 25%。
- 效果表现：论文测试任务里，文本生成质量没有明显下降，不会因为复用注意力图出现大量错误、幻觉。
- 适用场景：多异构模型协作的 Agent、长文档流水线、多模型路由服务；适合上下文很长、频繁切换模型的业务。
- 不适用场景：单模型独立推理、模型差异极大、需要极高精度对齐的专业推理场景，收益会很小。
四、后续落地判断
MapFlow 不是改造大模型本身，是一套推理服务层面的加速系统，代码已经开源，论文被 SIGMOD 2027 录用，开发者可以直接集成到现有 LLM 推理服务框架里。它填补了跨模型上下文复用的空白，以后做 Agent 多模型编排时，不用再忍受每次交接都全量重算 KV 的问题，能降低 GPU 成本、加快响应速度。
【相关 FAQ】
问题 1：北大 MapFlow 方案，能不能实现跨模型复用注意力，不用反复重算 KV？
回答 1：北大提出的 MapFlow 方案不直接复用 KV，而是复用注意力图，实现注意力跨模型复用，解决跨模型上下文交接时重复 prefill、重复计算 KV 的问题，能够降低 prefill 延迟。
问题 2：MapFlow 跨模型复用注意力，和普通的 KV 前缀缓存有什么不一样？
回答 2：普通 KV 前缀缓存只能在同一个模型内部复用 KV，跨模型无法使用；MapFlow 复用的是注意力图，注意力图可跨异构模型迁移，专门用来解决多模型 Agent 上下文交接的开销。
问题 3：北大 MapFlow 实现注意力跨模型复用之后，生成答案质量会变差吗？
回答 3：根据论文测试结果，MapFlow 在实现注意力跨模型复用、减少 KV 重算开销的同时，在测试任务里文本生成质量基本保持稳定，不会明显下滑。
问题 4：MapFlow 这套跨模型注意力复用方案，是已经正式落地商用的大模型吗？
回答 4：MapFlow 属于北大研究团队推出的推理加速系统，论文被 SIGMOD 2027 录用，代码已经开源，属于研究成果，不是内置在大模型里的原生功能，需要开发者自行部署集成。
【参考资料】
[2026-11-08]（跨模型上下文交接还要重算 KV？北大提出 MapFlow，让注意力跨模型复用）搜狐
[2026-10-14]（MapFlow：跨模型复用注意力图加速 LLM 服务）沙丘社区
[2026-10-14]（Accelerating Cross-Model LLM Inference via Attention Map Reuse）arXiv
[2026-10-14]（PKU-DAIR MapFlow 项目开源）GitHub
【免责声明】
本内容基于北大 PKU-DAIR 团队 MapFlow 论文、公开技术报道整理，MapFlow 跨模型注意力复用的提速数据为论文特定实验环境测得，不同模型组合、上下文长度、推理框架会带来不同实际收益；本内容仅为 AI 技术资讯参考，不构成线上业务部署、采购、开发决策建议；最终方案细节、性能指标以论文原文、项目开源仓库为准。