您的位置首页 >人工智能 >

Claude 自研推理引擎测试P90 首 token 延迟从 12 秒压缩至 0.48 秒

在卡内基梅隆大学等机构推出的 Singularity-Bench 基准测试里面,Claude Opus 5.5 搭配 Claude Code 自主写出了一套自研推理引擎,在相同硬件、相同模型、16 路并发真实编程会话的对照条件下,对比成熟开源推理引擎 SGLang v0.5.20,P90 首 token 延迟从 12.029 秒降到 0.478 秒,也就是大约半秒,而且二者单 token 生成速度几乎持平,这个测试不是 Anthropic 官方上线的商用版本,而是 AI 智能体自主完成推理引擎开发的实验成果,它证明大模型本身有能力完成底层算力调度、推理调度的工程优化,对代码智能体、长上下文高频交互场景来说,首 token 延迟是用户感知最明显的指标,半秒级响应会大幅减少用户等待、切走页面的情况。

测试对照核心数据

项目Claude 自研推理引擎SGLang v0.5.20
P90 首 token 延迟0.478 秒(约 0.5 秒)12.029 秒
硬件配置4 张 GB300 显卡4 张 GB300 显卡
并发规模16 路并发编程会话16 路并发编程会话
中位数生成速度124.2 token/s125.0 token/s
测试场景回放真实开发对话、代码任务回放真实开发对话、代码任务

测试背景说明

  • 测试来自 Singularity-Bench,这套基准专门用来评估 AI 智能体能不能自主搭建 AI 研发基础设施
  • 任务要求:Claude Opus 5.5 在 12 小时、无外网查询的限制下,从零开发推理引擎
  • 推理引擎职责:接收请求、调度 GPU 资源、跑模型、流式输出 token
  • 指标定义:P90 首 token 延迟,代表 90% 的请求都能在这个时间内拿到第一个输出 token,是面向多并发场景的关键指标

自研推理引擎的优化方向

  • 前置调度优化:提前做请求分片、显存预分配,减少 GPU 调度等待耗时
  • 批处理策略调整:针对代码智能体这种长短不一的上下文,动态自适应批大小
  • 上下文复用机制:减少重复加载历史对话,降低长上下文场景的预处理开销
  • 流式输出链路简化:去掉多余中间转发环节,拿到第一个 token 之后立刻推送给客户端

适用与不适用场景

✅ 适合的场景

  • Claude Code 这类代码智能体,高频来回提交报错、调试代码
  • 长上下文多轮对话、工具调用频繁的 Agent 业务
  • 对响应体感敏感、用户容易因为等待流失的在线交互产品
  • 这是实验室测试产物,不是 Anthropic 对外上线的商用推理服务
  • 只在本次固定测试负载、固定显卡型号下拿到这个结果,负载变化后性能会波动
  • 不代表它在超大批量离线推理、高吞吐离线任务上比 SGLang 更强

❌ 注意边界

简单区分:首 token 延迟和生成速度

  • 首 token 延迟(TTFT):你点发送之后,直到看到第一个字的等待时间,决定用户会不会觉得卡顿
  • 生成速度(token/s):AI 开始输出之后,往后每一秒能吐出多少文字,决定后面内容刷出来快慢

本次测试的重点是首 token 延迟大幅优化,持续生成速度和 SGLang 基本持平。

【相关 FAQ】

问题 1:Claude 自研推理引擎测试里,首 token 延迟从 12 秒缩短到多少?

回答 1:Claude 自研推理引擎测试中,对照 SGLang 的 P90 首 token 延迟 12.029 秒,自研引擎做到 0.478 秒,也就是大约半秒。

问题 2:Claude 自研推理引擎是 Anthropic 官方上线商用的推理服务吗?

回答 2:Claude 自研推理引擎是 Singularity-Bench 基准里面,Claude Opus 5.5 由 Claude Code 自主写出来的实验版本,不是 Anthropic 官方对外提供的商用推理引擎。

问题 3:Claude 自研推理引擎和 SGLang 对比,后续文字生成速度差距大吗?

回答 3:Claude 自研推理引擎中位数生成速度 124.2 token/s,SGLang v0.5.20 是 125.0 token/s,二者开始输出之后的生成速度几乎没有差别,差距集中在首 token 等待阶段。

问题 4:Claude 自研推理引擎这次测试用的是什么硬件和负载?

回答 4:Claude 自研推理引擎测试统一使用 4 张 GB300 显卡,回放 16 路并发的真实编程会话,在完全一样的硬件和负载条件下做对照。

问题 5:Claude 自研推理引擎这个成果,主要对哪类 AI 业务价值最大?

回答 5:Claude 自研推理引擎对半秒级首 token 延迟的优化,最适合 Claude Code 这类代码智能体、频繁工具调用的 Agent、长上下文多轮交互产品,降低用户等待感知。

【参考资料】

[2026-11-20](Claude 自写推理引擎,等 AI 回第一个字,12 秒砍到半秒)36 氪

[2026-11-20](Claude's self-developed inference engine cuts first-token latency from 12 seconds to half a second)AIBase

[2026-11-20](Claude's Self-Developed Inference Engine Cuts First-Token Latency from 12 Seconds to Half a Second)C114Pro

[2026-11-12](Singularity-Bench: Can Agents Build Agents?)预印本论文

【免责声明】

本文内容基于 Singularity-Bench 公开测试摘要整理,Claude 自研推理引擎属于实验室 AI 自主开发实验产物,不是正式商用产品;测试性能仅在本次固定负载、固定显卡环境下成立,负载、模型、硬件更换后指标会变化;该测试结论不代表 SGLang 在所有场景下性能偏弱,也不构成企业推理框架选型、采购部署的决策依据。