面壁研究员在采访中介绍，MiniCPM-V 4.7 35B-A3B 这个 35B 总参数模型能够在 3GB 运行内存里跑起来，核心是 MoE 混合专家架构搭配 LES 前瞻专家调度、底层推理基础设施优化共同实现，并不是把整个 35B 模型全部塞进 3GB 内存里。普通稠密 35B 模型就算做 4bit 量化，权重也要 15GB 左右，远远超过 3GB，所以传统方式根本没法直接跑。这套方案思路是总参数保留 35B 的知识库规模，推理的时候只激活 3B 参数，绝大多数专家权重放在闪存里，不用常驻运行内存，再靠 LES 提前预判接下来要调用哪些专家，在当前计算的同时预加载专家数据，消除读取闪存带来的等待卡顿，最后配合量化、内存池优化，把推理时常驻内存控制在 3GB，还能保证模型能力不明显下降，支持手机、平板这类终端设备断网本地运行。
核心技术清单
- MoE 混合专家架构：35B 总参数，单次推理仅激活 3B 参数，区分存储和运行两套空间
- LES 前瞻专家调度：提前预测需要的专家，计算和闪存加载并行，解决 IO 等待瓶颈
- 按需加载机制：专家权重存闪存，仅需要时调入内存，不全部驻留运行内存
- 量化与内存池优化：配套权重压缩、动态缓存池，收紧运行内存占用上限
- 底层推理 Infra 重构：专门为端侧设备改造推理框架，适配手机、平板硬件
实测效果对比表
| 测试设备 | 内存占用 | 推理速度 | 备注 |
|---|---|---|---|
| iPhone 17 Pro Max | 约 3GB | 13 token/s | 多模态图文推理 |
| iPad Pro | 约 3GB | 15 token/s | 稳定流畅，支持 256K 上下文 |
容易混淆的概念区分
- 运行内存（RAM）：限制在 3GB，是推理计算时临时工作空间
- 闪存（存储）：完整 35B 模型权重文件保存在闪存，占用几十 GB 存储空间
- 35B-A3B 含义：总参数 350 亿，每次激活 30 亿参数，不是稠密 35B 模型
【相关 FAQ】
问题 1：面壁研究员提到的 35B 模型跑进 3GB 内存，是稠密 35B 模型吗？
回答 1：不是稠密 35B 模型，面壁这套可以跑进 3GB 内存的 35B 模型是 MiniCPM-V 4.7 35B-A3B，属于 MoE 混合专家模型，总参数 35B，推理只激活 3B 参数。
问题 2：面壁研究员所说让 35B 模型跑进 3GB 内存，核心技术 LES 前瞻专家调度有什么作用？
回答 2：LES 前瞻专家调度是面壁让 35B 模型跑进 3GB 内存的关键技术，它可以提前预判后续需要调用的专家，计算和闪存读取并行，消除加载等待，保证 3GB 内存下推理流畅。
问题 3：35B 模型跑进 3GB 内存，是不是代表整个模型文件只有 3GB 大小？
回答 3：不是，35B 模型跑进 3GB 内存指推理运行时占用 3GB 运行内存，完整模型权重文件存储在闪存，体积远大于 3GB，不要混淆运行内存和闪存存储。
问题 4：面壁这个 35B 模型跑进 3GB 内存的方案，支持哪些终端系统？
回答 4：面壁这套让 35B 模型跑进 3GB 内存的 MiniCPM-V 4.7 35B-A3B，支持 iOS、安卓、鸿蒙等主流端侧系统，适配苹果、瑞芯微、英伟达、英特尔芯片。
【参考资料】
[2026-11-09]（在手机里如何塞下更大的端侧模型？面壁智能提供新答案）界面新闻
[2026-11-09]（面壁智能姚远：35B 多模态模型跑进手机，端侧智能已至 “撞线前夜”）新浪财经
[2026-11-09]（端侧逼近 “ChatGPT 时刻”: 面壁智能用 Infra，让 35B 模型跑在手机内存里）腾讯新闻
[2026-10-13]（你的手机能跑 35B 大模型了！只要 3GB 内存，还无损）智东西
[2026-10-26]（3G 内存跑 35B 多模态，端侧 AI 迎来历史拐点）eNet 硅谷动力
【免责声明】
本文内容为面壁研究员访谈、官方公开技术信息整理，35B 模型跑进 3GB 内存是特定 MoE 模型 + LES 调度方案下的部署效果，不代表所有 35B 稠密大模型都可以在 3GB 内存运行；不同设备、系统版本、推理框架会带来速度、内存占用差异，本文信息不构成工程部署、采购选型建议，模型部署细节、性能指标以面壁智能官方开源文档为准。