中科院自动化所副研究员王培松在北京青年科技沙龙上做主题分享，围绕大模型高效计算拆解端侧部署的卡点，他认为单纯靠软件压缩或者单独升级芯片都很难把大模型稳定跑在手机、机器人、嵌入式设备上，必须走软硬件协同路线，先通过量化、稀疏、蒸馏等软件手段压低模型算力和存储开销，再搭配专用推理框架、适配 NPU 硬件架构，让硬件的算力单元、缓存、带宽和大模型计算特征匹配，才能在端侧低功耗约束下，保证推理速度、响应延迟和模型效果，这次分享也梳理了团队在 QEngine 推理框架、QNPU 量化芯片、多模态端侧模型的落地案例，面向具身智能、移动终端这类场景给出可落地的技术路径。
一、分享核心要点清单
- 分享人：王培松，中科院自动化所副研究员、硕导
- 分享主题：基于软硬件协同的大模型高效计算
- 分享场合：2026 北京青年科技沙龙（具身智能与智能材料驱动的未来制造）
- 核心痛点：大模型参数规模大、访存开销高，端侧算力、内存、供电受限
- 核心路线：软件轻量化算法 + 专用推理框架 + 定制化硬件协同优化
- 自研平台：QEngine（Tiny AI 端侧推理引擎）、QNPU 极低比特量化 NPU
- 落地场景：手机端大模型、嵌入式设备、具身智能机器人、小型边缘终端
二、软硬件协同三层优化对比表
| 层级 | 优化手段 | 解决的问题 |
|---|---|---|
| 算法软件层 | 量化、稀疏化、模型蒸馏、注意力优化、KV 缓存压缩 | 降低模型参数量、减少计算量，控制内存占用 |
| 框架编译层 | QEngine 推理引擎、算子融合、异构调度、访存优化 | 把模型算子映射到硬件，减少冗余数据搬运 |
| 硬件芯片层 | QNPU 量化神经处理单元、定制 NPU 架构 | 适配低比特稀疏计算，提升算力能效比 |
三、关键技术细节说明
- 量化技术：把 FP16/FP32 高精度数值压缩成 8bit、4bit 甚至更低比特，在可控精度损失下大幅降低存储与计算开销
- 稀疏技术：剔除模型里贡献很低的权重，只保留有效参数，减少计算循环
- QEngine 引擎：面向端侧设备自研推理框架，专门适配稀疏、低比特模型，支持跨硬件调度
- QNPU 芯片：面向极低比特量化定制的处理芯片，已经完成流片，适合端侧轻量化 AI 任务
- KV 缓存优化：针对大模型自回归推理，压缩缓存占用，解决端侧内存不够的高频难题
四、端侧部署的价值与约束
✅ 优势
- 不用持续联网，本地推理，保护用户隐私
- 摆脱云端带宽延迟，响应更快，适合机器人、车载、离线设备
- 降低云端服务器成本，适合海量终端规模化部署
- 功耗上限严格，不能像云端芯片持续高负载运行
- 内存容量有限，大模型 KV 缓存很容易溢出
- 不同厂商 NPU 架构差异大，适配成本高
⚠️ 约束
【相关 FAQ】
问题 1：王培松解读大模型高效计算，软硬件协同支撑端侧部署，软硬件协同是什么意思？
回答 1：王培松解读大模型高效计算，软硬件协同支撑端侧部署，软硬件协同就是同步在算法软件、推理框架、底层芯片三个层面一起优化，而不是只做模型压缩或者只升级芯片，让大模型适配端侧硬件特性。
问题 2：王培松解读大模型高效计算，软硬件协同支撑端侧部署，团队自研了什么端侧平台？
回答 2：王培松解读大模型高效计算，软硬件协同支撑端侧部署，团队自研 QEngine 端侧推理引擎，还有 QNPU 极低比特量化神经处理芯片，专门服务轻量化大模型端侧推理。
问题 3：王培松解读大模型高效计算，软硬件协同支撑端侧部署，端侧大模型主要难点在哪？
回答 3：王培松解读大模型高效计算，软硬件协同支撑端侧部署，端侧大模型主要难点是大模型访存、计算开销大，而终端设备算力、内存、供电都有限，很容易出现卡顿、内存溢出、功耗超标。
问题 4：王培松解读大模型高效计算，软硬件协同支撑端侧部署，这套技术适合哪些设备？
回答 4：王培松解读大模型高效计算，软硬件协同支撑端侧部署，这套软硬件协同方案适合手机、嵌入式终端、具身智能机器人、小型边缘设备这类离线端侧场景。
【参考资料】
[2026-11-02]（2026 北京青年科技沙龙 —— 具身智能与智能材料驱动的未来制造产学研用协同创新活动在京举办）北京科技报
[2026-11-02]（王培松：基于软硬件协同的大模型高效计算沙龙报告）中关村融智特种机器人产业联盟
[2021-12-22]（新一代 AI “轻” 装上阵）中国科学院
[2021-12-22]（新一代 AI “轻” 装上阵）中国科学报
【免责声明】
本文仅整理王培松沙龙公开分享内容，不构成 AI 芯片、大模型项目落地指导。端侧大模型优化效果和硬件平台、模型版本、量化策略强相关，相关技术成果、项目进展以中科院自动化所官方发布为准。