您的位置首页 >机器人 >

医疗健康 AI 独立评测平台 InclusionMed 上线Atlas 评测图谱、Index 指数与首期结果梳理

先说核心结论:全球首个面向医疗健康领域的 AI 独立评测与分析平台 InclusionMed 已正式上线,同步推出医疗 AI 评测图谱 InclusionMed Atlas 和首期医疗 AI 评测指数 InclusionMed Index,目标是把不同角色、不同能力要求下的医疗 AI 模型表现摆到同一张可比较的框架里,帮医疗机构、研究者和使用者理解、对比和选择医疗 AI 模型。平台由斯坦福大学、哈佛大学、北京协和医学院、蚂蚁集团、InclusionMed.AI 等 29 家机构的研究人员共同建设,被视作医疗健康领域的 Artificial Analysis,填补了全球医疗健康 AI 综合测评的空白。首期从 388 个候选基准中经过结构化审计和独立复测,保留 4 个公开基准并搭配自建诊断推理基准 InclusionMed-DxFiles,共纳入 1034 项任务,对 11 家厂商的 22 个模型版本进行比较;Index 总分区间为 17.5–49.1 分(满分 100),Gemini 4 Argon 以 49.1 分居首。需要先明确:首期图谱只覆盖九个角色 — 能力格子中的三个,患者与公众相关方向尚缺合适基准,结果只代表纳入基准所测量的范围,不能等同于模型在真实诊疗中的全面能力。下面按平台定位、评测框架、基准筛选流程、首期结果和局限分层梳理。

一、平台基本信息

项目公开口径
平台名称InclusionMed
定位面向包容性医疗健康(inclusive healthcare)的开放式医疗 AI 评测倡议与独立评测分析平台
官网inclusionmed.ai
技术报告InclusionMed Technical Report,2026 年 11 月 16 日发布;arXiv 论文编号 2611.21218
建设机构斯坦福大学、哈佛大学、北京协和医学院、蚂蚁集团、InclusionMed.AI 等 29 家机构研究人员
对标参照医疗健康领域的 Artificial Analysis(AA),提供跨模型的表现与成本比较
首期覆盖临床诊疗与医疗管理两大方向;五项基准、1034 项任务;11 家厂商 22 个模型版本
核心产品InclusionMed Atlas(评测图谱)、InclusionMed Index(评测指数)

二、两大产品:Atlas 图谱与 Index 指数

1. InclusionMed Atlas:九宫格评测图谱

Atlas 用两个维度把医疗 AI 任务归类,避免单一排行榜模糊 "为谁测、测什么能力":

角色维度(任务代表谁的需求或工作)

角色说明
患者与公众寻求健康信息、管理自身健康和获取医疗服务的普通人
医疗专业人员从事临床诊疗、医学研究及相关技术工作的人员
医疗管理人员医疗机构或支付方组织内负责管理与行政工作的人员

能力维度(任务主要考察哪种 AI 行为)

能力说明
知识 Knowledge提供或应用已有的医学、医疗健康信息
推理 Reasoning解读证据和情境,做出判断或形成建议
执行 Agency按要求完成动作、产出规定交付物

两个维度交叉形成九个格子,每个基准按其主要角色 — 能力组合归入对应位置;同一基准可跨多个组合,必要时只取医疗相关子集并归入主导格子。图谱同时标出哪些需求已有基准覆盖、哪些仍是空白。

2. InclusionMed Index:综合评测指数

  • 汇集纳入基准的评测结果,给出模型综合表现,以及按角色、按能力拆分的分数。
  • 五项基准等权重计入指数,每项占 20%;各基准评分先统一折算到 0–100 分。
  • 除能力得分外,平台还比较每个任务的估算推理成本(美元 / 任务),在同分层级下帮助使用者权衡表现与花费。

三、评测基准怎么选出来的

1. 筛选流程

  1. 候选收集:从已发表文献、公开平台与代码仓库、社区贡献中收集候选基准,首期候选来自 2023 年 5 月至 2026 年 9 月发布的资料,共 388 个。
  2. 基准卡片整理:借助 LLM 辅助提取任务范围、数据与标注、评测协议和已报道表现,形成结构化卡片并链接原始资料;全程有人工复核。
  3. 六项审计:对照统一标准筛选候选。
  4. 独立复测:对入围候选按原始评测协议独立复现任务执行和打分,记录执行环境与偏差。
  5. 纳入建库:通过审计和复测的公开基准,加上自建私有基准,进入 Atlas 与 Index。

2. 六项审计标准

审计标准考察内容
医疗相关性基准或其子集是否对应可识别的医疗需求或活动
可信度数据来源、构建方式、标注、参考答案与评分标准是否有可靠的医学或专业依据,排除完全由 AI 生成的基准
可用性与使用许可任务、评分方法、代码、执行环境是否可获取,访问限制与授权条款是否允许用于评测
互补覆盖与现有组合相比,在角色、能力、人群、语言、地区或资源场景上是否带来新增价值
时效性与数据独立性内容和参考答案是否随指南、政策更新仍适用;是否有污染、泄露防护
区分能力在相同评测条件下,分数能否区分不同模型表现,避免高分饱和或差距过小

3. 复测淘汰情况

  • 入围短名单 8 个候选,用同一组 8 个模型跨基准复测。
  • 三个医学知识基准因分数饱和被排除(XLingHealth、NEJMQA-Exams、PubHealthBench)。
  • HealthBench 因模型间区分度不足被排除。
  • 最终保留 4 个公开基准子集,另加 1 个自建私有基准。

四、首期纳入的五项基准

基准任务规模评测方式主要归属格子评分口径权重
HealthBench Professional525 个病例临床医生专业查询,单轮或多轮对话生成助手回复,对照医生制定的病例评分细则医疗专业人员长度调整后细则评分,0–10020%
PhysicianBench100 个病例,覆盖 21 个临床专科在基于 FHIR 标准的隔离电子病历环境中检索信息、执行动作并记录工作,670 个检查点医疗专业人员 × 执行Pass@1,全部检查点通过才算成功20%
ALE-CLI v1.0: Health and Medicine22 个病例医学研究及相关技术工作的计算任务,CLI 智能体调用软件完成医疗专业人员 × 执行 / 推理任务得分(部分得分)20%
CHI-Bench75 个美国医疗运营病例(事前授权、支付方利用管理、照护管理各 25 例)按运营手册使用工具完成多阶段流程、更新状态并产出记录或决策医疗管理人员 × 执行Pass@1,流程检查与细则评估同时通过20%
InclusionMed-DxFiles(自建私有)312 个病例改编自《新英格兰医学杂志》刊载的麻省总医院病例记录,隐去最终诊断,要求给出主诊断和支持推理医疗专业人员 × 推理完美病例比例(主诊断正确且无不支持诊断主张)20%

任务合计:525 + 100 + 22 + 75 + 312 = 1034 项。

五、首期评测范围与结果

1. 评测对象

  • 22 个模型版本,来自 11 个模型家族,涵盖闭源与开源、旗舰与轻量版本。
  • 评测方式按基准区分:HealthBench Professional 和 DxFiles 通过直接 API 调用;PhysicianBench 使用电子病历智能体环境;CHI-Bench 和 ALE-CLI 使用 CLI 智能体环境。
  • 除两个 Qwen 版本设为 xhigh 推理强度外,其余 20 个版本统一设为 high;其余生成参数不覆盖,取服务路由和评测框架默认值。

2. Index 总分前列(0–100 分)

排名模型总分
1Gemini 4 Argon49.1
2Claude Opus 5.548.9
3Claude Fable 5.148.9
4GPT-6 Astra45.1
5GPT-6.1 Sol44.5
6DeepSeek V4.1 Flash 101743.7
7Grok 4.742.9
8Kimi K3.1 Pro42.8
9Qwen3.8 Max 090240.3
10Kimi K337.9

首期总分区间为 17.5–49.1 分,完整 22 个模型的分项结果在 InclusionMed 官网可查。

3. 分角色、分能力的领先者不同

维度领先模型说明
总体 IndexGemini 4 Argon综合排名第一
医疗专业人员Claude Opus 5.5(55.6 分)角色维度排名与总分排名不同
推理GPT-6 Astra(58.7 分)能力维度领先者不同
执行 AgencyClaude Fable 5.1(46.1 分)能力维度领先者不同

排名换位的例子:GLM-5.3 在医疗专业人员维度排第 14,在医疗管理人员维度排第 4;GPT-6 Luna 推理排第 8,执行维度排第 20。这说明选模型不能只看总分,需要对照自身工作对应的角色和能力。

六、首期关键发现

1. 沟通表现强于临床决策

  • HealthBench Professional 中,排名前十的模型在患者沟通类任务上得分均高于临床决策类任务。
  • 医学专长类别里,患者沟通中位分最高(69.1),其次是医学理解(60.5);医学计算、安全与伦理中位分最低,分别为 47.0 和 48.8。
  • 安全与伦理得分区间最宽,为 21.0–62.5,模型间差异显著。

2. 治疗规划落地弱于评估诊断

  • 十个头部模型在治疗规划与实施上的中位分(53.0)低于临床评估与诊断(59.1);医疗服务与管理类任务中位分最高(78.5)。
  • PhysicianBench 中也有八至十名模型在治疗规划与实施上表现弱于评估诊断。
  • 专科表现上,妇产科中位分最高(60.6),精神科最低(49.4),儿科次之(49.9);外科专科中位分(51.5)低于内科(58.2)。

3. 相似总分,成本差距很大

  • 总分相近的模型,估算单次任务推理成本差异明显,一次对比中均值成本相差约 24 倍。
  • 观察到的帕累托前沿模型包括:GPT-6 Luna、GPT-5.6 Luna、DeepSeek V4.1 Flash、GPT-6.1 Sol、Gemini 4 Argon。
  • 平台同时给出 "能力 — 成本" 散点和帕累托边界,方便在固定预算下选择可支撑任务量更多的模型。

七、覆盖局限与后续计划

1. 首期局限

  • 九个角色 — 能力格子只覆盖了三个,现有公开基准对多样医疗需求的支撑不均衡。
  • 患者与公众一行虽有候选基准,但首期没有纳入主要面向患者和公众的评测。
  • 分数只反映纳入基准所测量的任务类型,不代表模型在真实诊疗、病历操作或运营场景中的全部能力。
  • 基准池会随新资料和社区贡献定期更新,后续结果可能变化。

2. 后续方向

  • 与医疗机构和研究团队合作,开发复杂治疗选择中的医患共同决策、资源约束下的诊疗调度等新评测任务。
  • 四个扩展优先方向:更广泛的医疗需求代表性、面向预期使用情境的解释、资源约束条件下的评测,以及跨时间可比较的证据。
  • 面向开放社区征集基准、数据集、工具和基准创意,让全球多样医疗需求参与定义医疗 AI 进步的衡量方式。

八、对不同使用者的价值

使用者可关注的内容
医疗机构采购方按自身角色(临床 / 管理)和核心能力需求对比模型,结合单次任务成本评估性价比
临床与研究人员查看专业人员、推理和执行分项,以及专科、工作流维度的强弱分布
AI 模型团队对照图谱发现基准空白和能力短板,理解自身模型在不同任务上的定位
研究者与社区参与基准、数据集和工具贡献,推动评测覆盖更多人群、语言和资源场景

九、整体梳理

InclusionMed 的核心思路,是把医疗 AI 评测从 "一张综合排行榜" 拆成角色与能力交叉的图谱,再用独立审计、复测和等权重指数呈现模型表现与成本。首期用 5 个基准、1034 项任务比较了 22 个模型,验证了两个现实结论:模型排名会随评测角色和能力改变,沟通类表现普遍强于决策与治疗落地;同时相似能力下推理成本可以相差数十倍。平台目前覆盖仍偏专业和管理方向,患者公众侧、更多语言和资源场景的基准有待补齐。对使用者来说,正确读法是先确认自己属于哪类医疗角色、需要哪种能力,再对照 Atlas 格子和 Index 分项、成本数据做选择,而不是直接按总分排序。

【相关 FAQ】

问题 1:InclusionMed 是什么平台,上线后提供哪些产品?

回答 1:InclusionMed 是全球首个面向医疗健康 AI 的开放式独立评测与分析平台,由斯坦福、哈佛、北京协和医学院、蚂蚁集团等 29 家机构研究人员共建。平台同步推出 InclusionMed Atlas 评测图谱和 InclusionMed Index 评测指数,把患者公众、医疗专业人员、医疗管理人员三类角色与知识、推理、执行三类能力交叉归类,并汇总模型综合得分和推理成本比较。

问题 2:InclusionMed Atlas 的九宫格是怎么划分的?

回答 2:Atlas 角色轴分为患者与公众、医疗专业人员、医疗管理人员;能力轴分为知识、推理、执行,两轴交叉形成九个评测格子。每个基准按其主要任务代表的角色和考察的能力归入对应格子,用于看清现有评测覆盖了哪些医疗需求、哪些方面仍是空白。

问题 3:首期 InclusionMed Index 评测了哪些模型,总分排名如何?

回答 3:首期评测了 11 家厂商的 22 个模型版本,总分区间 17.5–49.1 分;前列为 Gemini 4 Argon 49.1、Claude Opus 5.5 48.9、Claude Fable 5.1 48.9、GPT-6 Astra 45.1、GPT-6.1 Sol 44.5。分维度领先者不同:Opus 5.5 领先医疗专业人员,GPT-6 Astra 领先推理,Fable 5.1 领先执行,完整分项可在官网查询。

问题 4:InclusionMed 选择评测基准的标准是什么,流程是怎样的?

回答 4:首期从 388 个候选基准出发,先用 LLM 辅助整理基准卡片并有人工复核,再按医疗相关性、可信度、可用性与许可、互补覆盖、时效性与数据独立性、区分能力六项标准审计,入围后进行独立复测;因高分饱和或区分度不足被淘汰的基准不纳入。最终保留 HealthBench Professional、PhysicianBench、ALE-CLI 医疗子集、CHI-Bench 四个公开基准,加上自建 InclusionMed-DxFiles。

问题 5:首期评测发现医疗 AI 模型有哪些共性短板?

回答 5:头部模型普遍在患者沟通上得分高于临床决策;治疗规划与实施弱于临床评估与诊断;精神科等专科和安全伦理类别得分偏低、模型间差距大。这意味着模型在信息沟通层面表现较好,但在复杂临床判断、治疗落地和伦理安全处理上仍需谨慎评估,不能仅凭总分判断医疗可用性。

问题 6:InclusionMed 的评测结果能不能直接用来选择医院使用的 AI 模型?

回答 6:不能直接照搬。首期只覆盖九个角色 — 能力格子中的三个,患者公众方向缺少纳入基准,分数仅反映所测基准任务;真实使用还需结合本地病历系统、语言与指南适配、合规要求、安全伦理表现和成本预算。平台价值是提供独立、可比较的参考框架,具体选型应再做场景化测试和专业审查。

【参考资料】

  • [2026-11-18](全球首个医疗健康 AI 独立评测与分析平台 InclusionMed 正式上线)亿欧快讯
  • [2026-11-18](InclusionMed: Benchmarking AI for Inclusive Healthcare)arXiv
  • [2026-11-16](InclusionMed Technical Report 与 Model results overview)InclusionMed 官网
  • [2026-11-18](InclusionMed: Benchmarking AI for Inclusive Healthcare)HyperAI
  • [2026-11-16](InclusionMed: Benchmarking AI for Inclusive Healthcare)alphaXiv

【免责声明】

本文所涉平台定位、机构构成、基准流程、模型得分、成本对比和后续计划均整理自 InclusionMed 官网、arXiv 技术论文、亿欧快讯及第三方论文索引站点;模型名称、版本后缀和分数对应首期公开评测版本,后续基准更新、模型迭代和参数调整可能改变结果。医疗 AI 评测基准不等同于临床验证、医疗器械注册或诊疗能力背书,文中分数不构成对任何模型医疗用途的推荐或安全性保证。涉及真实诊疗、患者决策支持和医疗管理场景时,应以医疗机构专业审查、合规要求和本地化实测为准;本文仅作行业信息梳理,不构成医疗或采购建议。