您的位置首页 >数码 >

商汤发布SenseNova Loop-9B模型部署显存需求低至10 GB内

标题:商汤 SenseNova Loop-9B 正式发布,4bit 量化显存控制在 10GB 以内

商汤在 11 月 17 日正式推出 SenseNova Loop-9B 模型,这款模型最大亮点就是用约 9B 的参数量,依靠循环架构实现接近 27B 级别大模型的能力,做 4bit 量化之后权重只有 4.9GB,整体部署显存需求可以压到 10GB 以内,普通消费级显卡、低显存国产算力卡都有机会跑起来,大幅降低本地私有化部署、端侧推理的硬件门槛。它不是单纯堆参数,而是走复用计算层的思路,搭配流形约束超连接技术,在控制显存开销的前提下强化复杂推理、代码编写、工具调用还有图文多模态任务的表现,同时给到最高 512K token 的超长上下文,适合长文档分析、智能 Agent 这类场景,发布当天就放出 AWQ4bit 量化版本,寒武纪、沐曦等国产算力厂商也同步完成了 Day0 适配,开发者拿到权重和代码就能快速上手测试。

核心技术架构说明

  • 基础参数:物理参数量约 9B,一共 32 个物理解码层,中间共享层会循环执行,一次前向推理完成 56 次层计算,提升有效计算深度
  • 核心技术:Loop 循环 Transformer 架构 + mHC 流形约束超连接,稳定循环计算里的信息传递,避免多次迭代后效果衰减
  • 输入输出:支持文本、图片作为输入,输出文本内容,属于多模态模型
  • 上下文上限:最高支持 512K tokens 长上下文推理

量化与显存占用明细

配置方案显存相关情况适配场景
4bit AWQ 量化基础版权重 4.9GB,基础部署显存需求≤10GB本地测试、轻量 Agent、代码问答
4bit 量化 + 8bit KV 缓存,256K 上下文显存约 15GB长文档解析、企业私有化部署

官方评测表现

在 Agent 和数据分析相关评测里,SenseNova Loop-9B 对标 Qwen3.8-27B:

  1. NL2Repo 评测得分 41.36,和 Qwen3.8-27B 的 44.60 比较接近
  2. AIDABench 评测得分 65.31,略高于 Qwen3.8-27B 的 65.01
  3. 擅长方向:代码生成、工具调用、多步骤智能体任务、图文理解

部署相关信息

  1. 模型权重、推理代码同步开源,开发者可直接下载
  2. 发布首日自带 AWQ 4bit 量化包,不用自己二次量化
  3. 国产算力生态适配:寒武纪、沐曦已经完成即时适配,支持在国产芯片上跑推理
  4. 短板提示:循环计算会增加推理计算量,同等硬件下,推理延迟会高于普通同参数非循环模型

整体来看,SenseNova Loop-9B 给显存不够、预算有限的开发者和中小企业提供了新选择,不用上昂贵的大显存显卡,也能体验对标 27B 级别的 Agent 和代码能力,后续社区还会持续做更多框架适配与性能调优。

【相关 FAQ】

问题 1:商汤 SenseNova Loop-9B 显存低至 10GB 内,是不是所有任务都只需要 10GB 显存?

回答 1:不是,10GB 内是 4bit 量化基础部署的显存指标,如果开启 256K 或者 512K 超长上下文,加上 KV 缓存占用,显存消耗会上升,256K 上下文场景大约需要 15GB 显存,长文档任务要预留更多显存空间。

问题 2:商汤 SenseNova Loop-9B 只有 9B 参数,为什么官方说性能对标 27B 模型?

回答 2:SenseNova Loop-9B 依靠 Loop 循环架构复用中间层权重,一次推理多次执行计算层,搭配 mHC 流形约束超连接提升信息交互效果,靠加深有效计算深度来提升能力,在 Agent、数据分析、代码类评测拿到接近 27B 大模型的分数,并不是它真实存储 27B 参数。

问题 3:商汤 SenseNova Loop-9B 支持国产显卡部署吗?

回答 3:支持,SenseNova Loop-9B 正式版发布当天,寒武纪、沐曦就完成了 Day0 适配,可以在对应的国产算力芯片上正常推理运行,适合国内企业私有化部署。

【参考资料】

[2026-11-17](商汤发布 SenseNova Loop-9B 模型:部署显存需求低至 10 GB 内)IT 之家

[2026-11-17](寒武纪完成商汤 SenseNova Loop-9B 适配)界面新闻

[2026-11-17](沐曦股份率先完成日日新 SenseNova Loop-9B 模型 Day 0 适配)同花顺财经

[2026-11-17](商汤科技发布 SenseNova Loop-9B 模型 上下文最高 512K tokens)腾讯新闻

【免责声明】

本文内容为公开行业资讯整理,SenseNova Loop-9B 相关性能、显存数据均为商汤官方自测结果,不同硬件、推理框架、上下文长度下实际表现存在差异;内容不构成选型采购建议,模型使用请遵循对应开源协议,一切以商汤官方文档、公告为准。