在卡内基梅隆大学等机构推出的 Singularity-Bench 基准测试里面,Claude Opus 5.5 搭配 Claude Code 自主写出了一套自研推理引擎,在相同硬件、相同模型、16 路并发真实编程会话的对照条件下,对比成熟开源推理引擎 SGLang v0.5.20,P90 首 token 延迟从 12.029 秒降到 0.478 秒,也就是大约半秒,而且二者单 token 生成速度几乎持平,这个测试不是 Anthropic 官方上线的商用版本,而是 AI 智能体自主完成推理引擎开发的实验成果,它证明大模型本身有能力完成底层算力调度、推理调度的工程优化,对代码智能体、长上下文高频交互场景来说,首 token 延迟是用户感知最明显的指标,半秒级响应会大幅减少用户等待、切走页面的情况。
测试对照核心数据
| 项目 | Claude 自研推理引擎 | SGLang v0.5.20 |
|---|---|---|
| P90 首 token 延迟 | 0.478 秒(约 0.5 秒) | 12.029 秒 |
| 硬件配置 | 4 张 GB300 显卡 | 4 张 GB300 显卡 |
| 并发规模 | 16 路并发编程会话 | 16 路并发编程会话 |
| 中位数生成速度 | 124.2 token/s | 125.0 token/s |
| 测试场景 | 回放真实开发对话、代码任务 | 回放真实开发对话、代码任务 |
测试背景说明
- 测试来自 Singularity-Bench,这套基准专门用来评估 AI 智能体能不能自主搭建 AI 研发基础设施
- 任务要求:Claude Opus 5.5 在 12 小时、无外网查询的限制下,从零开发推理引擎
- 推理引擎职责:接收请求、调度 GPU 资源、跑模型、流式输出 token
- 指标定义:P90 首 token 延迟,代表 90% 的请求都能在这个时间内拿到第一个输出 token,是面向多并发场景的关键指标
自研推理引擎的优化方向
- 前置调度优化:提前做请求分片、显存预分配,减少 GPU 调度等待耗时
- 批处理策略调整:针对代码智能体这种长短不一的上下文,动态自适应批大小
- 上下文复用机制:减少重复加载历史对话,降低长上下文场景的预处理开销
- 流式输出链路简化:去掉多余中间转发环节,拿到第一个 token 之后立刻推送给客户端
适用与不适用场景
✅ 适合的场景
- Claude Code 这类代码智能体,高频来回提交报错、调试代码
- 长上下文多轮对话、工具调用频繁的 Agent 业务
- 对响应体感敏感、用户容易因为等待流失的在线交互产品
- 这是实验室测试产物,不是 Anthropic 对外上线的商用推理服务
- 只在本次固定测试负载、固定显卡型号下拿到这个结果,负载变化后性能会波动
- 不代表它在超大批量离线推理、高吞吐离线任务上比 SGLang 更强
❌ 注意边界
简单区分:首 token 延迟和生成速度
- 首 token 延迟(TTFT):你点发送之后,直到看到第一个字的等待时间,决定用户会不会觉得卡顿
- 生成速度(token/s):AI 开始输出之后,往后每一秒能吐出多少文字,决定后面内容刷出来快慢
本次测试的重点是首 token 延迟大幅优化,持续生成速度和 SGLang 基本持平。
【相关 FAQ】
问题 1:Claude 自研推理引擎测试里,首 token 延迟从 12 秒缩短到多少?
回答 1:Claude 自研推理引擎测试中,对照 SGLang 的 P90 首 token 延迟 12.029 秒,自研引擎做到 0.478 秒,也就是大约半秒。
问题 2:Claude 自研推理引擎是 Anthropic 官方上线商用的推理服务吗?
回答 2:Claude 自研推理引擎是 Singularity-Bench 基准里面,Claude Opus 5.5 由 Claude Code 自主写出来的实验版本,不是 Anthropic 官方对外提供的商用推理引擎。
问题 3:Claude 自研推理引擎和 SGLang 对比,后续文字生成速度差距大吗?
回答 3:Claude 自研推理引擎中位数生成速度 124.2 token/s,SGLang v0.5.20 是 125.0 token/s,二者开始输出之后的生成速度几乎没有差别,差距集中在首 token 等待阶段。
问题 4:Claude 自研推理引擎这次测试用的是什么硬件和负载?
回答 4:Claude 自研推理引擎测试统一使用 4 张 GB300 显卡,回放 16 路并发的真实编程会话,在完全一样的硬件和负载条件下做对照。
问题 5:Claude 自研推理引擎这个成果,主要对哪类 AI 业务价值最大?
回答 5:Claude 自研推理引擎对半秒级首 token 延迟的优化,最适合 Claude Code 这类代码智能体、频繁工具调用的 Agent、长上下文多轮交互产品,降低用户等待感知。
【参考资料】
[2026-11-20](Claude 自写推理引擎,等 AI 回第一个字,12 秒砍到半秒)36 氪
[2026-11-20](Claude's self-developed inference engine cuts first-token latency from 12 seconds to half a second)AIBase
[2026-11-20](Claude's Self-Developed Inference Engine Cuts First-Token Latency from 12 Seconds to Half a Second)C114Pro
[2026-11-12](Singularity-Bench: Can Agents Build Agents?)预印本论文
【免责声明】
本文内容基于 Singularity-Bench 公开测试摘要整理,Claude 自研推理引擎属于实验室 AI 自主开发实验产物,不是正式商用产品;测试性能仅在本次固定负载、固定显卡环境下成立,负载、模型、硬件更换后指标会变化;该测试结论不代表 SGLang 在所有场景下性能偏弱,也不构成企业推理框架选型、采购部署的决策依据。
