您的位置首页 >人工智能 >

脚本连跑超11小时Gemini 4 Carbon登顶数学榜,测试成本约为Sol的15倍

标题:Gemini 4 Carbon 登顶 MathArena 数学榜:脚本连跑超 11 小时,测试成本约为 GPT-6.1 Sol 的 15 倍

Google 于 11 月 10 日发布的 Gemini 4 Carbon 在 MathArena 数学推理基准上以 85.4%(±3.0%)的预期表现拿下第一,把 OpenAI 的 GPT-6.1 Sol 从榜首位置挤了下去,这也是榜单上一段时间以来首个登顶的非 OpenAI 模型;Anthropic 的 Claude Fable 5.2 以 82.8% 排第二。但这份领先是有代价的:在测试所用的推理配置下,Carbon 单题预期成本约 15.70 美元,而 GPT-6.1 Sol 只有 1.07 美元,Carbon 成本约为 Sol 的 15 倍,Claude Fable 5.2 更是达到约 40 倍。另外 Carbon 最常见的失败模式是超时,它几乎不会主动放弃任务,测试中曾出现脚本连续运行超过 11 小时、中途不检查进度的情况,这一点对把它接进自动化流水线的团队需要特别留意。

一、榜单排名与成本对比

MathArena 由苏黎世联邦理工学院 SRI Lab 与 INSAIT 创建,结果由 Jasper Dekoninck 在 X 上分享、The Decoder 报道。整体预期表现(跨未废弃赛事汇总)如下:

排名模型(推理配置)厂商发布日期预期表现预期成本 / 题
#1 综合Gemini 4 Carbon(high)Google2026-11-1085.4% ±3.0%$15.70 ±$1.33
#2 综合Claude Fable 5.2(max)Anthropic2026-11-0982.8% ±5.3%$40.20 ±$2.59
#3 综合GPT-6.1 Sol(max)OpenAI2026-09-2980.6% ±2.7%$1.07 ±$0.018
最佳开源Kimi K3.1 Pro(max)Moonshot AI2026-10-2354.3% ±5.8%$3.70 ±$0.27

几个读数要点:

  • Carbon 比 Sol 高约 4.8 个百分点,但单题成本从 1.07 美元抬到 15.70 美元,成本倍数约 15 倍;Fable 5.2 比 Sol 高约 2.2 个百分点,成本倍数约 40 倍,是三家头部模型里最贵的。
  • 表中括号内是测试使用的推理档位(high/max),榜单结果未纳入每 token API 定价和上下文窗口大小的对比。
  • 成本与得分都带置信区间,属于抽样评测下的预期值,不是固定报价或保证正确率。

二、Carbon 登顶靠的是什么,短板又在哪

1. 表现层面

  • 在 MathArena 汇总口径下,Carbon 是当前公开可及模型里数学预期表现最高的一档;分赛事页面显示,它在 ArXivMath 整体拿到 94.28%,在多期 BrokenArXiv 赛事中多次排到第一。
  • 由于 OpenAI 据称已解出 Navier-Stokes 方程等高难度方程的新模型尚未公开,这些模型没有进入当前在线榜单;GPT-6.1 Sol 是 OpenAI 目前在榜单上最新的公开模型,因此 Carbon 也可以算作现有公开模型中数学能力最强的之一。

2. 失败模式与行为特征

  • 最常见失败模式是超时:模型在规定时间内没能完成任务,而不是答案明显算错。
  • 几乎不主动放弃任务:这种坚持在攻坚困难证明时是优点,但在自动化场景里也可能变成缺点 —— 测试中有一例它启动了一个脚本,连续跑了 11 个小时以上,中途都没有回头检查进度。
  • 这种行为会同时抬高延迟和账单:任务挂得越久,输出 token 和计算消耗越高,这也是 Carbon 成本高企的重要原因之一。

三、成本差距背后的选型逻辑

把分数和钱放在一起看,这次榜单传递的信息不是 "谁分高就用谁",而是数学类任务要在准确率和单位成本之间做权衡:

  • 追求极限准确率:如正式定理证明、高难度竞赛题攻关,Carbon 的 85.4% 是当前公开模型里的最高分档,但要接受约 15 倍于 Sol 的成本和超时风险。
  • 追求性价比:GPT-6.1 Sol 以 1.07 美元的单题成本拿到 80.6%,适合大规模批量数学任务、自动化流水线和对调用费用敏感的场景。
  • 开源替代观察位:Kimi K3.1 Pro 是榜单上表现最好的开源模型,54.3%、成本 3.70 美元,与闭源头部仍有明显差距,但属于开源阵营里主要的追赶者。
  • 工程侧约束:接入 Carbon 这类长思考模型时,需要显式设置超时、进度检查和任务中断机制,避免出现脚本连跑十几小时无人看管的情况;MathArena 方面也在评估新的评测方法,据报道计划在 2027 年初加入时间加权评分,对失控式推理进行惩罚。

四、需要注意的口径与边界

  • 榜单对比基于测试时使用的推理设置,不同档位(high/max)下成本和表现都会变化,不能把 15 倍成本倍数直接套到日常调用上。
  • 部分顶级模型仅有有限开发者预览或学术沙箱可及,尚无公开 API、消费端发布窗口或硬件配套;本次结果属于研究模型基准表现,不等同于产品发布公告。
  • OpenAI 未公开模型的能力表现不参与在线榜单排名,后续模型开放后榜单次序可能再次变动。

整体来看,Gemini 4 Carbon 确实在 MathArena 数学榜上拿下了第一,结束了 OpenAI 模型在该榜单上的连续领跑;但登顶的另一面是约 15 倍于 GPT-6.1 Sol 的测试成本、超时倾向和长脚本无人看管的行为特征。对实际落地的团队来说,这更像是一道 "准确率溢价是否划算" 的选择题,而不是一个简单的模型排名结论。

【相关 FAQ】

问题 1:Gemini 4 Carbon 在 MathArena 数学榜上排第几,得分多少?

回答 1:Gemini 4 Carbon 在 MathArena 数学榜综合排名第一,预期表现 85.4%(±3.0%),高于排第二的 Claude Fable 5.2(82.8%)和排第三的 GPT-6.1 Sol(80.6%),是一段时间以来首个登顶该榜单的非 OpenAI 模型。

问题 2:为什么说 Gemini 4 Carbon 测试成本约为 Sol 的 15 倍,这个倍数是怎么算出来的?

回答 2:按 MathArena 测试所用推理配置,Carbon 单题预期成本 15.70 美元(±1.33),GPT-6.1 Sol 单题预期成本 1.07 美元(±0.018),两者相除约为 15 倍;同口径下 Claude Fable 5.2 成本约 40.20 美元,约为 Sol 的 40 倍。该倍数仅对应当次评测档位,不代表日常 API 调用的固定价差。

问题 3:脚本连跑超 11 小时是 Gemini 4 Carbon 的什么问题,会带来什么影响?

回答 3:这是 Carbon 在 MathArena 测试中暴露的行为特征:它最常见的失败模式是超时,且几乎不主动放弃任务,曾有一例启动的脚本连续运行超过 11 小时、中途不检查进度。放在自动化流水线里,这种长时运行会推高延迟和算力账单,因此接入时需要配置超时、进度检查和强制中断机制。

问题 4:Gemini 4 Carbon 登顶数学榜,是否说明它已经全面超过 GPT-6.1 Sol?

回答 4:不能这么下结论。Carbon 只在 MathArena 这一数学推理基准上预期得分高于 Sol,且付出约 15 倍成本;榜单未纳入每 token 定价、上下文窗口等维度,OpenAI 部分未公开模型也未参与评测,其他能力维度需要另看对应基准,不能仅凭数学榜排名判断模型全面强弱。

【参考资料】

  • [2026-11-15](Gemini 4 Carbon 登顶 MathArena 数学基准,成本是 GPT-6.1 Sol 的 15 倍)腾讯云开发者社区
  • [2026-11-15](Gemini 4 Carbon takes the MathArena crown but costs 15 times more than GPT-6.1 Sol)AIsa Studio·The Decoder
  • [2026-11-15](Google's Gemini 4 Carbon Tops Math Benchmark, but at 15x the Cost)dalili.tools
  • [2026-11-14](Gemini 4 Carbon Tops MathArena, Costs 15x GPT-6.1 Sol)TPS Report
  • [2026-11-14](Gemini 4 Carbon vs GPT-6.1 Sol: MathArena benchmark results, price tag staggering)hitechreports
  • [2026-11-14](Gemini 4 Carbon tops MathArena but costs 15 times more than GPT-6.1 Sol)SiTech Blog
  • [2026-11-14](Google schlägt OpenAI: Gemini 4 Carbon führt die KI-Mathe-Benchmark MathArena an)THE DECODER
  • [2026-11-14](Gemini 4 Carbon tops MathArena maths benchmark)Tbreak UAE
  • [2026-11-13](MathArena leaderboard:新增 Claude Fable 5.2 与 Gemini 4 Carbon 结果)MathArena 官网
  • [2026-11-10](Gemini 4 Carbon (high) 模型评测页面:表现、成本与分赛事记录)MathArena 官网

【免责声明】

本文依据公开基准榜单结果与媒体报道整理,文中得分、成本、置信区间、模型发布日期及失败模式描述均来自上述参考信源,评测结果受推理档位、样本抽样和测试环境影响,可能随榜单更新而变化;文中涉及的模型名称、厂商与排名仅作信息转述,不构成任何模型采购、API 选型或投资建议,实际调用价格与能力以各厂商官方公布及自测结果为准,据此决策风险自担。