AIDBS Data Agent 三榜第一52.28%、42.33%、88.2%，三个 “第一” 含金量不一样

正文摘要已经找到了，三个榜分别是 BIRD-CRITIC-1.0-Open、DAB、BIRD-INTERACT。但核对榜单页时发现一个问题：DAB 的 “第一” 在 9 月和 10 月已被另外两家以更高分数刷新过。下面成稿，这个冲突会单独标出来。

2026 年 11 月 10 日，阿里云在开发者社区发文称，瑶池数据库的 AIDBS Data Agent 在三个公开评测榜上均列第一：BIRD-CRITIC-1.0-Open 以 52.28% 的任务成功率（SR）登顶，BIRD-INTERACT 在全部 600 项动态交互任务中以 42.33% 的任务成功率在 Stress Mode、Full、a-Interact 三个筛选视图上均排第一，DAB 默认榜单以 88.2% 的 Pass@1 位列第一。其中 BIRD-CRITIC 是 “二刷”：今年 1 月首次登顶，6 月被亚利桑那州立大学的 SNIPER SQL 以 50.18% 反超，9 月 30 日以 52.28% 重新拿回第一。参赛名是 AIDBS-DataAgent，报的是阿里云 DMS 团队。这三个数字看起来都是 “第一”，但性质差得远：52.28% 距人类专家 76.67% 还差 24 个百分点；42.33% 所在的 BIRD-INTERACT 是个基线很低的榜；88.2% 这一项，按公开可见的榜单记录，9 月下旬已被 OceanBase 的 90.62%、10 月下旬被蚂蚁数科的 96.3% 先后超过。所以准确的读法是：一个榜确认第一，一个榜第一但基数低，一个榜的 “第一” 要看提交时点与榜单视图。

一、三个榜的基本盘，先摆清楚

这张表先回答一个容易被忽略的问题：三个榜里有两个出自同一个团队。BIRD-CRITIC 和 BIRD-INTERACT 都来自 HKU 的 BIRD 项目，一个是单轮诊断，一个是多轮交互；只有 DAB 是伯克利那边的独立评测。所以 “三大国际榜单” 严格说是 “两个评测方、三个榜”，不等于三家独立机构交叉验证。

二、52.28% 这个第一，是实的，但要看清分母

BIRD-CRITIC-1.0-Open 的官方榜单页可以直接查到：

三个可核实的事实：第一，榜首是真的，领先第二名 2.1 个百分点；第二，人和机器的差距是真的，专家 76.67%，最好的 Agent 52.28%，差 24.39 个百分点；第三，“二刷” 的叙事也对得上 ——1 月首次登顶，6 月被 SNIPER SQL 以 50.18% 超过，9 月 30 日用 52.28% 拿回来。

这一项的含金量在于它考的不是 “把问题翻译成 SQL”，而是 “修一段已经出错的 SQL”。BIRD-CRITIC 的评分方式是拿修正后的语句去跑官方测试集，跑不对就不算过，容错空间比 NL2SQL 小得多。能在这个榜上排第一，说明它在多方言语法细节（Oracle 特殊分页、MySQL 隐式转换这类）上有实际积累。

三、42.33% 这个第一，基数很低

BIRD-INTERACT 考的是两阶段对话：第一阶段先答对，第二阶段接住用户的追问。这个榜的公开基线低得惊人 —— 同一篇评测里，Claude Opus 4.6 只有 17.5%。所以 42.33% 拿到三个视图第一，含金量在于 “相对领先” 很明显，但绝对水平并不高，一半以上的交互任务仍然失败。

这一项真正值得看的是它暴露的短板位置：论文数据显示，第一阶段通过率是瓶颈（64.2%），而第二阶段的条件通过率有 86.8%—— 也就是说，只要第一步答对，后续追问基本不会崩。翻成业务语言：Agent 现在最薄弱的环节不是 “听不听得懂追问”，而是 “第一句就答对”。

四、88.2% 这个第一，需要打星号

这是三项里最需要核对的一项。稿件写 “DAB 默认榜单以 88.2% 的 Pass@1 位列第一”，但公开可见的 DAB 榜单记录里，同期出现了更高的分数：

三组数字放在一起，逻辑上互斥：如果 10 月 23 日蚂蚁数科以 96.3% 排在首位，88.2% 不可能同时是第一；如果 88.2% 是第一，那它的提交时点必然早于 9 月 21 日，与 “近日” 对不上。可能的解释有三种 —— 稿件写的是某个特定榜单视图（比如按数据集子集或某个筛选条件），或者引用的是提交当时的名次而非当前名次，或者榜单存在多版本（DAB 论文版是 104 项查询 / 17 个数据集，官网榜单版重算后是 54 项 / 12 个数据集）。这三种解释我都无法从公开信息里证实是哪一种，所以这一项建议按 “厂商口径、待核” 处理，别当成交叉验证过的结论。

顺带说一个容易被忽略的落差：DAB 论文里写得很清楚，当时最强的前沿 Agent（GPT-5.5 配 Codex harness）在完整版上只有 57% pass@1，五个里没一个超过 70% pass@5，专利（patents）那个数据集从来没被解开过。半年时间从 57% 涨到 88.2%、90.62%、96.3%，要么是榜单口径变了，要么是 Agent 工程进步极快，要么两者都有。这个跨度本身就值得单独查一次。

五、它凭什么拿这些分：两个 Agent 加一层知识

阿里云自己披露的架构不复杂，是一套 “规划 — 执行 — 验证” 的闭环：

1. 意图规划 Agent（Coordinator）：拆解模糊需求，调元数据能力探数据分布，把业务歧义先问清楚。
2. 执行验证 Agent（Critic）：按规划生成 SQL，做确定性校验和安全评估，确认这条语句跑出来的东西可信。
3. DMS 的知识底座：把多方言语法规则、性能优化模式、数据治理经验工程化成 Agent 可调用的知识库。这一层是它能处理 Oracle 特殊分页、MySQL 隐式转换这类细节的原因。

这套东西的产品侧对应的是 AIDBS（AI 原生数据库服务），2026 年 6 月 22 日 GA，以 “超级 Agent” 为统一入口，往下串五个专业 Agent：Meta（资产盘点）、Analytics（智能分析）、DAS（自治运维）、DataBridge（数据采集）、Forecast（推演预测），支持 100 多个多模多云数据源，数据不用搬迁就能建 Agent 应用。

六、榜单之外的第三方评价

值得单独列一条：IDC 2026 年 9 月发布的《IDC MarketScape：中国 Data Agent 2026 年厂商评估》里，18 家厂商入选、4 家进入领导者象限，阿里云在最领先位置，产品能力与战略规划两个维度都是最高分。IDC 在同一份报告里给了一个时间表：到 2028 年，60% 的中国 500 强企业将部署企业级 Data Agent。

这是个 “评估” 不是 “榜单”，性质不同 —— 它评的是产品能力与战略，不是任务成功率。但它跟前面的跑分放在一起，能拼出一个比较完整的画像：技术侧在公开榜上有名次，市场侧在分析师报告里有位置。

落地侧的公开案例有两个：古茗接入 AIDBS 后，自助分析需求的上线周期从天级缩到 2 到 4 小时；菜鸟基于 DataWorks 做了一套 SuperETL 技能体系，把数据研发专家的经验封装成可组合 Skill，宣称研发效率提升 10 倍。这两个数字都是厂商口径，没有第三方复测。

七、该怎么看这三个第一

一句话总结：BIRD-CRITIC 那个第一最硬，因为它有官方榜单、有明确的第二名差距、还有人类专家的参照线；BIRD-INTERACT 那个第一 “相对领先明显、绝对水平偏低”；DAB 那个第一得先解决 “同期三家都说自己第一” 的问题。

八、后面盯三个信号

1. DAB 榜单页的实时状态。这是唯一能一锤定音的路径 —— 去看官方 leaderboard 上 AIDBS-DataAgent 的提交日期与当前名次，如果显示 88.2% 且排在第一，那前面那两家要么是不同视图、要么已被覆盖；如果排在第三第四，稿件的 “第一” 就是提交时的旧名次。
2. BIRD-CRITIC 的守榜时长。这个榜的竞争很密，SNIPER SQL 半年就从零冲到 50.18%。52.28% 能守几个月，比登顶本身更能说明问题。
3. 人类参照线会不会被追上。专家 76.67% 是这条赛道的天花板标记。什么时候 Agent 靠到 70% 以上，SQL 诊断这件事才真正谈得上 “可托付”。

九、收尾

一条 “三榜第一” 的通稿，拆开看是三种不同的成绩：一个在官方榜单上可查、领先第二名 2.1 个百分点、但离人类专家还差 24 个百分点；一个拿了三个视图第一，可这个榜的最好基线只有 17.5%，42.33% 意味着一半以上的交互还会失败；还有一个报的是 88.2%，而同一个月里有另外两家在这张榜上分别报了 90.62% 和 96.3%。都叫第一，但能拿去对外说的，其实只有第一个。对做数据平台选型的人来说，真正该抄下来的不是 “第一” 这个结论，而是那张带提交日期的榜单截图 —— 榜单会变，日期不会。

相关 FAQ

问题 1：AIDBS Data Agent 的 “三榜第一” 具体是哪三个榜？

回答 1：按阿里云 2026 年 11 月 10 日的稿件口径，三个榜是 BIRD-CRITIC-1.0-Open（52.28% 任务成功率）、BIRD-INTERACT（600 项交互任务 42.33% 成功率，Stress Mode、Full、a-Interact 三视图均第一）、DAB 即 Data Agent Benchmark（88.2% Pass@1）。要注意前两个榜同出自 HKU 的 BIRD 项目，只有 DAB 来自 UC Berkeley EPIC Data Lab 与 Hasura PromptQL，所以严格说是两个评测方、三个榜。

问题 2：AIDBS Data Agent 在 BIRD-CRITIC 上的 52.28% 含金量如何？

回答 2：这一项最硬。BIRD-CRITIC 官方榜单页可查：AIDBS-DataAgent 以 52.28% 排第一，2026-09-30 提交，领先第二名 SNIPER SQL 的 50.18% 约 2.1 个百分点；人类专家在同榜是 76.67%，也就是说最好的 Agent 距人类还差 24.39 个百分点。它考的是修一段已出错的 SQL 并跑通官方测试集，比单纯生成 SQL 严格得多，所以这个第一有实际分量，但 “接近人类水平” 的说法不成立。

问题 3：AIDBS Data Agent 在 DAB 上报的 88.2% 是第一吗？

回答 3：需要打星号。公开可见的 DAB 榜单记录里，2026-09-21 有 OceanBase 报 90.62%、2026-10-23 有蚂蚁数科报 96.3%，两家都称当时第一。如果这些记录有效，88.2% 就不可能同时是第一；反过来若 88.2% 确为第一，其提交时点应早于 9 月下旬。可能是榜单视图不同、引用的是提交时名次、或榜单存在论文版（104 项）与官网版（54 项）两个口径。核实路径只有一条：去 DAB 官方 leaderboard 看该提交的日期与当前排名。

问题 4：BIRD-INTERACT 上 42.33% 排第一，为什么还说水平不高？

回答 4：因为该榜的绝对基数低。同一评测体系里，Claude Opus 4.6 在 BIRD-INTERACT 上只有 17.5%，42.33% 虽然拿到三个视图第一，但仍意味着一半以上的动态交互任务失败。更值得关注的是失败位置：第一阶段通过率约 64.2% 是瓶颈，第二阶段条件通过率有 86.8%—— 说明 Agent 的短板在 “第一句就答对”，而不在接追问。

参考资料

• [2026-11-10]（三榜第一！阿里云瑶池数据库 AIDBS Data Agent 揽下三大国际 Data Agent 榜单榜首）阿里云开发者社区
• [2026-10-23]（从 “会答题” 到 “能交付” 蚂蚁数科 AiWork 数据智能体方案登顶国际 Data Agent 榜单）ZAKER 新闻
• [2026-10-19]（BIRD-CRITIC 官方榜单：AIDBS-DataAgent 以 52.28% 位列 BIRD-CRITIC-1.0-Open 第一）BIRD-CRITIC Leaderboard
• [2026-09-21]（90,62 Prozent: Chinas OceanBase schlägt GPT und Claude im Data Agent Benchmark）Dr. Web
• [2026-09-09]（Text-to-SQL Leaderboard：Spider 2.0、BIRD-CRITIC 与 DABstep 汇总）SyneHQ
• [2026-09-01]（IDC MarketScape：中国 Data Agent 2026 年厂商评估，阿里云位居领导者）阿里云
• [2026-06-22]（Introducing AI-Native Database Service (AIDBS): Make Your Database Agent-Ready）Alibaba Cloud Community
• [2026-05-09]（Alibaba Cloud ApsaraDB Data Agent Achieves Dual Breakthroughs in Performance and Experience）Alibaba Cloud Community
• [2026-03-20]（Can AI Agents Answer Your Data Questions? A Benchmark for Data Agents）arXiv（EMNLP 2026）
• [2026-02-05]（阿里云瑶池 Data Agent 登顶 BIRD-CRITIC 榜单）极术社区（国产数据库月度大事记）

免责声明

本文为厂商稿件、官方榜单页与第三方报道的整理比对，不构成采购或投资建议。文中 52.28%、42.33%、88.2% 三个成绩及其对应榜单，来自阿里云开发者社区 2026-11-10 的稿件摘要；其中 BIRD-CRITIC-1.0-Open 的 52.28%、排名第一、2026-09-30 提交日期，以及人类专家 76.67%、第二名 SNIPER SQL 50.18%、第三名 AlphaData 48.25% 等数据，可在 BIRD-CRITIC 官方榜单页核对。DAB 一项存疑：稿件称以 88.2% Pass@1 位列第一，但公开报道显示 2026-09-21 OceanBase 报 90.62%、2026-10-23 蚂蚁数科报 96.3%，均称当时第一，与 88.2% 构成互斥；本文已并列标注，未采信单一口径，具体以 DAB 官方 leaderboard 的提交日期与实时排名为准。 BIRD-INTERACT 与 BIRD-CRITIC 同出自 HKU BIRD 项目，DAB 出自 UC Berkeley EPIC Data Lab 与 Hasura PromptQL，“三大国际榜单” 不等于三家独立机构验证。 DAB 论文版为 104 项查询、17 个数据集，官网榜单为重算后的 54 项查询、12 个数据集，两者不可混用；论文中 “最强 Agent 仅 57% pass@1” 属论文实验条件下的结果。BIRD-INTERACT 的 17.5%（Claude Opus 4.6）、第一阶段 64.2%、第二阶段条件通过率 86.8% 等，来自该榜相关论文。AIDBS 的 GA 时间（2026-06-22）、100 多个多模多云数据源、五个专业 Agent 的划分、IDC MarketScape 评价与 “2028 年 60% 中国 500 强部署” 预测，来自阿里云官方博客与官网分析师报告页。古茗 “天级缩至 2—4 小时”、菜鸟 “效率提升 10 倍” 均为厂商口径，无第三方复测。所有榜单成绩均会随新提交变化，引用时请标注查询日期；因榜单口径调整、提交覆盖或验证状态变化导致的差异，本文不承担责任。