您的位置首页 >IT资讯 >

硅基流动袁进辉推理算力不存在上限,推理赛道给芯片厂商留出巨大机会

在第十七届财新峰会上,硅基流动创始人袁进辉提出明确判断,AI 产业的算力重心正在从模型训练转向推理,推理所需 Token 没有理论上限,相比门槛极高的训练芯片赛道,推理芯片对集群规模、互联一致性要求更低,混合异构部署更加友好,是国产芯片新玩家更容易切入的赛道;他提到,训练一个优质大模型大概消耗一百万亿 Token,周期固定,总量有边界,但现在不少企业单日推理 Token 消耗量就突破一百万亿,随着智能体、企业落地、多模态应用持续铺开,推理需求会持续膨胀,供需缺口会长期存在,AI 正在把智力变成可以规模化量产的商品,只要应用持续改善生产、生活体验,对应的推理算力需求就会不断上涨,芯片厂商、推理调度服务商、模型厂商都可以在这条链条里找到自己的位置。

训练算力与推理算力核心差异对照表

对比维度模型训练算力推理算力(Token 生成)
Token 总量上限有明显上限,单轮训练总量可控理论无上限,随调用量持续增长
集群规模要求万卡、十万卡超大集群为主百卡级集群即可落地,可拆分成多组小集群
硬件一致性要求同型号芯片,异构混合效率大幅下滑支持多品牌、多规格芯片混合调度
互联压力芯片之间高带宽、低延迟强互联集群内部互联压力更低,集群之间可独立调度
市场准入门槛极高,对芯片浮点、集群通信、软件栈要求苛刻门槛更低,更看重吞吐、KV 缓存、单位 Token 成本
需求增长逻辑新模型迭代拉动,属于阶段性需求各行各业持续调用,属于永续增长需求

袁进辉核心观点拆解

1、AI 已经从 “会说话” 走向 “会办事”,算力需求持续抬升

早期大家关注大模型对话能力,现在行业重心转向可以自主完成任务的智能体,这类应用会产生大量链式调用、多轮规划、工具调用,每一步都会产生新的推理 Token,放大算力消耗。需求不是一次性爆发,而是跟着场景渗透逐步上涨,供需紧张的局面会长期存在。

2、训练算力有边界,推理算力几乎没有天花板

训练环节,模型定型之后,这一轮训练消耗的 Token 就固定下来;推理不一样,只要用户、业务不断发起请求,Token 就会持续生成,很多企业单日推理量就追上一次完整大模型训练的 Token 规模,随着落地企业数量增加,这个差距还会持续拉大。

3、推理赛道对芯片新玩家更加友好

训练对集群一致性要求很苛刻,混用不同芯片会严重拖慢训练进度;推理业务天然适合拆分成多个独立集群,不同架构的推理卡可以混跑,只要推理引擎做好适配,就可以对外统一提供 Token 服务,国产推理芯片更容易在这里完成商业化落地,不用一步挑战最难的训练卡市场。

4、开源模型会持续承接大量推理流量

他同时提到,国内开源模型整体能力还在追赶头部闭源模型,但开源方案在私有化部署、成本、二次定制上优势明显,大量企业客户会优先选用开源模型做业务落地,这也会进一步带动推理芯片、推理调度平台的需求。

推理赛道给芯片企业带来的机会清单

✅ 差异化定位空间大:不用对标高端训练卡,优先优化吞吐、能效、KV 缓存、低延迟,主打推理专用芯片。

✅ 异构生态更容易搭建:配合硅基流动这类中间层推理调度平台,快速完成模型适配,降低芯片落地的软件门槛。

✅ 客户分层丰富:从小企业私有化推理、云端弹性推理,到大型企业专属 Token 集群,不同算力规格的芯片都能找到对应的客户。

✅ 迭代节奏更快:推理业务反馈链路短,可以跟着模型架构、业务负载快速迭代硬件和固件,持续优化单 Token 成本。

推理赛道现存难点

  • 单位 Token 成本竞争激烈:客户会持续压低调用单价,芯片厂商必须在能效、吞吐上持续优化,单纯堆算力没有竞争力。
  • 软件适配成本高:不同模型架构、KV 缓存策略、调度方案差异大,芯片硬件再好,缺少成熟推理引擎也很难放量。
  • 负载波动极强:业务流量存在波峰波谷,对芯片、集群的弹性调度、资源隔离能力提出很高要求。
  • 性能指标不能只看峰值算力:推理场景更看重真实吞吐、尾延迟、缓存带宽,纸面算力高不代表实际服务能力强。

从芯片到推理服务落地流程

  1. 硬件定义:面向推理负载设计芯片,优先强化缓存带宽、吞吐能力,匹配主流大模型推理特性。
  2. 推理引擎适配:对接 SiliconLLM 这类推理加速框架,完成 KV 缓存、批调度、连续批处理优化。
  3. 小规模集群试点:搭建百卡级别异构集群,承接企业私有业务,验证稳定性、延迟、单位 Token 成本。
  4. 规模化扩容:验证跑通之后,多集群横向扩容,接入更多客户流量,混合调度不同型号推理卡。
  5. 持续软硬件协同迭代:根据真实业务负载,迭代芯片固件、推理调度策略,持续压低推理成本。

【相关 FAQ】

问题 1:硅基流动创始人袁进辉提出推理所需算力没有上限,背后是什么原因?

回答 1:硅基流动创始人袁进辉提出推理所需算力没有上限,是因为训练大模型的 Token 总量固定、属于阶段性工作;而推理是用户、企业持续调用模型生成内容、执行任务,随着智能体、行业应用普及,Token 消耗会持续增加,不少企业单日推理 Token 用量就已经超过一轮大模型训练的总量。

问题 2:硅基流动袁进辉认为推理赛道对芯片企业有很大机会,相比训练芯片赛道优势在哪?

回答 2:硅基流动袁进辉认为推理赛道对芯片企业有很大机会,推理不需要万卡级统一同构大集群,支持异构芯片混部,集群互联要求更低,准入门槛更低;芯片厂商不用直接攻坚难度极高的训练芯片,优先面向吞吐、能效、缓存带宽做推理专用硬件,更容易实现商业化落地。

问题 3:按照硅基流动袁进辉的观点,训练算力和推理算力未来市场格局会怎么变化?

回答 3:按照硅基流动袁进辉的观点,训练算力是阶段性需求,跟着新模型迭代波动;推理算力属于永续增长需求,会持续占据 AI 算力的大头,行业重心会从模型训练,逐步转向低成本、高吞吐的推理服务,带动推理芯片、推理调度平台持续放量。

问题 4:想要抓住推理算力机会,芯片企业只把峰值算力做高就足够吗?

回答 4:按照硅基流动袁进辉对应的产业逻辑,想要抓住推理算力机会,只拉高峰值算力远远不够,推理场景更看重 KV 缓存带宽、真实吞吐、尾延迟、单位 Token 的能耗成本,还需要和推理引擎深度适配,才能把硬件能力转化成客户可用、成本可控的推理服务。

【参考资料】

[2026-11-13](硅基流动 CEO 袁进辉:从需求端看算力远远不够 推理算力仍在爆发)财新网

[2026-11-12](硅基流动创始人袁进辉:推理所需算力没有上限,芯片企业有很大机会)新浪财经

[2026-11-10](硅基流动:打造 Token 工厂,面向异构芯片的推理调度体系)硅基流动官网

[2026-04-02](袁进辉出席 2026 年中关村论坛年会:做 AI 世界的 “Token 工厂”)硅基流动官网

[2026-06-16](硅基流动完成新一轮超 20 亿元融资,发力异构推理)硅基流动官方新闻

【免责声明】

本文整理自财新峰会现场发言、硅基流动公开稿件以及行业媒体报道,仅作为 AI 算力产业观点科普,不构成芯片采购、算力投资、创业方向的投资建议。文中观点属于袁进辉个人产业判断,不代表行业必然走向;推理算力增长节奏、国产推理芯片商业化进度,受模型迭代、能耗供给、软件生态、市场竞争多重因素影响,相关业务规划、产品进展以企业官方后续公告为准。