Inkling 2 Small 是 Thinking Machines Lab 推出的稀疏 MoE 多模态大模型，总参数 594B，但每次推理只激活 17B 参数，NVFP4 量化版本在两张 B300 显卡上就能跑起来，现在已经开源，支持图文输入、最高 1M 上下文窗口，主打 Agent 任务、代码、视觉推理，还支持可调推理强度，在 AA Intelligence Index 分数达到 31，对比前代 Inkling Small 提升巨大，很适合想本地部署超大参数量模型、又不想堆大量高端显卡的开发者。它采用 MoE 稀疏专家架构，一共 384 个专家，每个 token 只会路由到 8 个专家参与计算，所以虽然总参看着很大，但实际运行显存开销不高，视觉编码器 292M 参数，只支持图片 + 文本输入，不再支持音频输入；模型协议为 Apache 2.0，可以本地部署、微调、二次开发，vLLM 已经第一时间适配支持，降低上手门槛。部署的核心就是利用 MoE 稀疏特性，不用把全部 594B 参数全部加载进显存，只加载路由命中的专家，搭配 NVFP4 量化，双 B300 满足常规推理；但长上下文、多并发请求会额外占用显存，并发高的时候显存压力会上涨。
Inkling 2 Small 核心参数一览
| 项目 | 详情 |
|---|---|
| 模型架构 | 48 层 Decoder-only MoE，384 专家，单 token 路由 8 专家 |
| 总参数量 | 594B |
| 激活参数量 | 17B |
| 视觉编码器 | 292M |
| 输入模态 | 文本、图片（不支持音频） |
| 最大上下文 | 1M token，官方服务版本默认 64K/256K |
| 量化格式 | NVFP4、MXFP8 |
| 推荐硬件 | 2 张 B300（NVFP4 量化） |
| 许可证 | Apache 2.0 |
| 推理特性 | Variable reasoning effort，可调推理力度 |
Inkling 2 Small 本地部署简要步骤
- 准备硬件环境：两张 B300 显卡，配置好 CUDA、NVFP4 相关驱动环境，确认 vLLM 或者 NVIDIA NIM 部署套件。
- 获取开源权重：从官方仓库或者 Hugging Face 拉取 Inkling 2 Small NVFP4 量化 Checkpoint。
- 环境依赖安装：部署 vLLM 最新版本，vLLM 已经原生支持 Inkling 2 Small，也可以选用 NVIDIA NIM 镜像。
- 启动推理服务：设置张量并行 TP=2，加载 NVFP4 权重，开启 MoE 路由调度。
- 调用测试：传入文本或者图片 + 文本 Prompt，测试图文问答、代码、Agent 任务；按需调整推理强度参数。
- 调优：降低并发、缩短上下文长度可以减少显存占用；高并发场景需要增加显卡数量。
重要限制点
- 两张 B300 跑 Inkling 2 Small 指 NVFP4 量化版本，FP16 高精度版本无法在双 B300 上运行。
- 模型去掉了音频能力，只能图文输入，和上一代 Inkling Small 有区别。
- 虽然激活参数只有 17B，MoE 路由、专家加载逻辑会带来额外开销，速度比不上同激活参数量的稠密模型。
- 它更适合 Agent、自动化任务、代码开发，纯对话聊天体验不算强项，容易出现内容冗长、格式问题。
【相关 FAQ】
问题 1：Inkling 2 Small 594B 总参为什么两张 B300 就能跑？
回答 1：Inkling 2 Small 是 MoE 稀疏模型，总参 594B，但推理时仅激活 17B 参数，搭配 NVFP4 量化，不需要把全部专家参数同时载入显存，所以两张 B300 可以承载推理。
问题 2：开源的 Inkling 2 Small 支持音频输入吗？
回答 2：开源的 Inkling 2 Small 只支持文本和图片输入，不支持音频模态，这点和前代 Inkling Small 不一样。
问题 3：Inkling 2 Small 激活 17B 是什么意思，等于一个 17B 稠密模型吗？
回答 3：Inkling 2 Small 激活 17B 是单次计算只调用 17B 参数，它背后有 594B 全部专家池，能力上限高于普通 17B 稠密模型，但路由调度会带来额外延迟。
问题 4：只用单张 B300 能不能跑 Inkling 2 Small？
回答 4：单张 B300 很难稳定跑 Inkling 2 Small，官方推荐配置是两张 B300 NVFP4 量化部署，单卡显存不足以支撑专家池 + 视觉编码器 + 上下文占用。
问题 5：Inkling 2 Small 开源协议 Apache 2.0，可以商用微调吗？
回答 5：Inkling 2 Small 采用 Apache 2.0 开源协议，允许本地部署、微调以及商用开发，使用时需要遵守模型配套的使用规范。
【参考资料】
[2026-11-12]（Inkling 2 Small on vLLM: Day-0 Support）vLLM Blog
[2026-11-08]（Inkling 2 Small: Hosted on Tinker Now, Open Weights Next Week）OpenTools
[2026-11-07]（Thinking Machines「Inkling 2 Small」を解说 | 594B MoE と Apache 2.0 で重み公开予定）ripla
[2026-11-06]（Inkling 2 Small 发布，基准测试大幅超越前代但不敌同级对手）华为开发者联盟
[2026-11-05]（Thinking Machines Releases Inkling 2 Small, a 594B MoE With 17B Active）MarkTechPost
[2026-11-05]（Introducing Inkling 2 Small）Thinking Machines Lab
【免责声明】
本文信息为模型开源资讯整理，Inkling 2 Small 部署显存占用、推理速度受量化方案、上下文长度、并发数量影响；双 B300 可跑为 NVFP4 量化场景下参考结论，不保证所有场景稳定；模型能力、权重更新、协议变更以 Thinking Machines Lab 官方模型卡与仓库为准，不构成硬件采购、模型落地投资建议。