在第十七届财新峰会上,硅基流动创始人袁进辉提出明确判断,AI 产业的算力重心正在从模型训练转向推理,推理所需 Token 没有理论上限,相比门槛极高的训练芯片赛道,推理芯片对集群规模、互联一致性要求更低,混合异构部署更加友好,是国产芯片新玩家更容易切入的赛道;他提到,训练一个优质大模型大概消耗一百万亿 Token,周期固定,总量有边界,但现在不少企业单日推理 Token 消耗量就突破一百万亿,随着智能体、企业落地、多模态应用持续铺开,推理需求会持续膨胀,供需缺口会长期存在,AI 正在把智力变成可以规模化量产的商品,只要应用持续改善生产、生活体验,对应的推理算力需求就会不断上涨,芯片厂商、推理调度服务商、模型厂商都可以在这条链条里找到自己的位置。
训练算力与推理算力核心差异对照表
| 对比维度 | 模型训练算力 | 推理算力(Token 生成) |
|---|---|---|
| Token 总量上限 | 有明显上限,单轮训练总量可控 | 理论无上限,随调用量持续增长 |
| 集群规模要求 | 万卡、十万卡超大集群为主 | 百卡级集群即可落地,可拆分成多组小集群 |
| 硬件一致性 | 要求同型号芯片,异构混合效率大幅下滑 | 支持多品牌、多规格芯片混合调度 |
| 互联压力 | 芯片之间高带宽、低延迟强互联 | 集群内部互联压力更低,集群之间可独立调度 |
| 市场准入门槛 | 极高,对芯片浮点、集群通信、软件栈要求苛刻 | 门槛更低,更看重吞吐、KV 缓存、单位 Token 成本 |
| 需求增长逻辑 | 新模型迭代拉动,属于阶段性需求 | 各行各业持续调用,属于永续增长需求 |
袁进辉核心观点拆解
1、AI 已经从 “会说话” 走向 “会办事”,算力需求持续抬升
早期大家关注大模型对话能力,现在行业重心转向可以自主完成任务的智能体,这类应用会产生大量链式调用、多轮规划、工具调用,每一步都会产生新的推理 Token,放大算力消耗。需求不是一次性爆发,而是跟着场景渗透逐步上涨,供需紧张的局面会长期存在。
2、训练算力有边界,推理算力几乎没有天花板
训练环节,模型定型之后,这一轮训练消耗的 Token 就固定下来;推理不一样,只要用户、业务不断发起请求,Token 就会持续生成,很多企业单日推理量就追上一次完整大模型训练的 Token 规模,随着落地企业数量增加,这个差距还会持续拉大。
3、推理赛道对芯片新玩家更加友好
训练对集群一致性要求很苛刻,混用不同芯片会严重拖慢训练进度;推理业务天然适合拆分成多个独立集群,不同架构的推理卡可以混跑,只要推理引擎做好适配,就可以对外统一提供 Token 服务,国产推理芯片更容易在这里完成商业化落地,不用一步挑战最难的训练卡市场。
4、开源模型会持续承接大量推理流量
他同时提到,国内开源模型整体能力还在追赶头部闭源模型,但开源方案在私有化部署、成本、二次定制上优势明显,大量企业客户会优先选用开源模型做业务落地,这也会进一步带动推理芯片、推理调度平台的需求。
推理赛道给芯片企业带来的机会清单
✅ 差异化定位空间大:不用对标高端训练卡,优先优化吞吐、能效、KV 缓存、低延迟,主打推理专用芯片。
✅ 异构生态更容易搭建:配合硅基流动这类中间层推理调度平台,快速完成模型适配,降低芯片落地的软件门槛。
✅ 客户分层丰富:从小企业私有化推理、云端弹性推理,到大型企业专属 Token 集群,不同算力规格的芯片都能找到对应的客户。
✅ 迭代节奏更快:推理业务反馈链路短,可以跟着模型架构、业务负载快速迭代硬件和固件,持续优化单 Token 成本。
推理赛道现存难点
- 单位 Token 成本竞争激烈:客户会持续压低调用单价,芯片厂商必须在能效、吞吐上持续优化,单纯堆算力没有竞争力。
- 软件适配成本高:不同模型架构、KV 缓存策略、调度方案差异大,芯片硬件再好,缺少成熟推理引擎也很难放量。
- 负载波动极强:业务流量存在波峰波谷,对芯片、集群的弹性调度、资源隔离能力提出很高要求。
- 性能指标不能只看峰值算力:推理场景更看重真实吞吐、尾延迟、缓存带宽,纸面算力高不代表实际服务能力强。
从芯片到推理服务落地流程
- 硬件定义:面向推理负载设计芯片,优先强化缓存带宽、吞吐能力,匹配主流大模型推理特性。
- 推理引擎适配:对接 SiliconLLM 这类推理加速框架,完成 KV 缓存、批调度、连续批处理优化。
- 小规模集群试点:搭建百卡级别异构集群,承接企业私有业务,验证稳定性、延迟、单位 Token 成本。
- 规模化扩容:验证跑通之后,多集群横向扩容,接入更多客户流量,混合调度不同型号推理卡。
- 持续软硬件协同迭代:根据真实业务负载,迭代芯片固件、推理调度策略,持续压低推理成本。
【相关 FAQ】
问题 1:硅基流动创始人袁进辉提出推理所需算力没有上限,背后是什么原因?
回答 1:硅基流动创始人袁进辉提出推理所需算力没有上限,是因为训练大模型的 Token 总量固定、属于阶段性工作;而推理是用户、企业持续调用模型生成内容、执行任务,随着智能体、行业应用普及,Token 消耗会持续增加,不少企业单日推理 Token 用量就已经超过一轮大模型训练的总量。
问题 2:硅基流动袁进辉认为推理赛道对芯片企业有很大机会,相比训练芯片赛道优势在哪?
回答 2:硅基流动袁进辉认为推理赛道对芯片企业有很大机会,推理不需要万卡级统一同构大集群,支持异构芯片混部,集群互联要求更低,准入门槛更低;芯片厂商不用直接攻坚难度极高的训练芯片,优先面向吞吐、能效、缓存带宽做推理专用硬件,更容易实现商业化落地。
问题 3:按照硅基流动袁进辉的观点,训练算力和推理算力未来市场格局会怎么变化?
回答 3:按照硅基流动袁进辉的观点,训练算力是阶段性需求,跟着新模型迭代波动;推理算力属于永续增长需求,会持续占据 AI 算力的大头,行业重心会从模型训练,逐步转向低成本、高吞吐的推理服务,带动推理芯片、推理调度平台持续放量。
问题 4:想要抓住推理算力机会,芯片企业只把峰值算力做高就足够吗?
回答 4:按照硅基流动袁进辉对应的产业逻辑,想要抓住推理算力机会,只拉高峰值算力远远不够,推理场景更看重 KV 缓存带宽、真实吞吐、尾延迟、单位 Token 的能耗成本,还需要和推理引擎深度适配,才能把硬件能力转化成客户可用、成本可控的推理服务。
【参考资料】
[2026-11-13](硅基流动 CEO 袁进辉:从需求端看算力远远不够 推理算力仍在爆发)财新网
[2026-11-12](硅基流动创始人袁进辉:推理所需算力没有上限,芯片企业有很大机会)新浪财经
[2026-11-10](硅基流动:打造 Token 工厂,面向异构芯片的推理调度体系)硅基流动官网
[2026-04-02](袁进辉出席 2026 年中关村论坛年会:做 AI 世界的 “Token 工厂”)硅基流动官网
[2026-06-16](硅基流动完成新一轮超 20 亿元融资,发力异构推理)硅基流动官方新闻
【免责声明】
本文整理自财新峰会现场发言、硅基流动公开稿件以及行业媒体报道,仅作为 AI 算力产业观点科普,不构成芯片采购、算力投资、创业方向的投资建议。文中观点属于袁进辉个人产业判断,不代表行业必然走向;推理算力增长节奏、国产推理芯片商业化进度,受模型迭代、能耗供给、软件生态、市场竞争多重因素影响,相关业务规划、产品进展以企业官方后续公告为准。
