NeurIPS 2026 这篇 Firefly 论文提出了全新思路，做 Tool-Calling Agent 的训练数据合成，不再沿用传统 “先写题目、再找答案” 的方式，改成先在真实 API 上做工具探索，再基于实际返回结果反向生成可验证任务，解决了老方案里 AI 空想任务、答案无法核验、API 环境难以复现的痛点，这套方案依托 MCP Server 和离线模拟器，产出的数据全部是真实可执行的工具调用轨迹。传统先出题模式的缺陷很突出，大模型凭空编造任务，里面的实体、参数很多是虚构的，放到真实 API 运行就报错，就算拿到答案，也没办法稳定复现，用来训练 Agent 很容易学错幻觉，模型会学会一堆现实里跑不通的工具调用逻辑。这套新的数据合成流程分为四步，先接入真实 MCP 服务自动探测工具依赖关系，然后让模型主动探索调用接口、记录真实返回结果，再基于已经拿到的真实执行结果反向构造用户指令，最后用模拟器做离线回放校验，过滤掉无法稳定复现的样本，留下高质量训练数据。综合来看，从 “先出题” 转向 “先探索”，是 Tool-Calling Agent 数据构建方向一个重要变化，它把数据根基绑定在真实 API 执行结果上，能明显降低训练集里的无效、虚假样本，提升智能体在真实环境调用工具的稳定性，当然它也会带来成本更高、探索耗时更长的问题。
Firefly 论文基础信息清单
- 论文会议：NeurIPS 2026
- 论文名称：Firefly: Illuminating Large-Scale Verified Tool-Call Data Generation from Real APIs
- 核心范式：先探索 API 执行，后反向出题
- 支撑协议：MCP Server
- 配套组件：Retrieval-Augmented Tool-Call Simulator（离线回放模拟器）
- 覆盖规模：240 个 MCP 服务、993 个工具接口
- 产出可验证任务：5144 条
- 核心目标：生成可复现、可核验的 Tool-Calling 训练数据
新旧数据合成范式对比表
| 范式 | 执行顺序 | 优点 | 主要短板 |
|---|---|---|---|
| 传统先出题 | 先写用户指令，再生成工具调用答案 | 生成速度快、简单好实现 | 大量虚构任务，ground truth 不可靠，无法复现 |
| Firefly 先探索 | 先调用真实 API 拿到结果，再反向生成指令 | 全部基于真实执行，结果可核验，适合真实环境 Agent | API 探索成本高、耗时长，依赖稳定 MCP 服务 |
先探索模式完整流水线
- 依赖探测：自动扫描 MCP 服务，识别工具之间输入输出依赖关系
- 主动探索：在真实 API 上执行工具调用，记录返回内容、状态、报错信息
- 反向出题：基于已经拿到的真实执行轨迹，生成合理的用户提问指令
- 离线校验：送入模拟器回放复现，剔除不稳定、随机结果样本，入库作为训练数据
这套方法现存局限清单
- 需要大量稳定可用的 MCP 接口，接口不稳定会直接报废样本
- 批量探索调用 API 会产生算力、接口调用成本
- 探索范围受限于接入的工具，很难覆盖冷门、私有 API
- 模拟器只能近似还原真实环境，和线上环境依然存在微小差异
【相关 FAQ】
问题 1：NeurIPS 2026 从先出题到先探索重新思考 Tool-Calling Agent 训练数据合成，这篇论文叫什么？
回答 1：NeurIPS 2026 从先出题到先探索重新思考 Tool-Calling Agent 训练数据合成，论文名字是 Firefly，全称 Firefly: Illuminating Large-Scale Verified Tool-Call Data Generation from Real APIs。
问题 2：NeurIPS 2026 从先出题到先探索重新思考 Tool-Calling Agent 训练数据合成，先探索是什么意思？
回答 2：NeurIPS 2026 从先出题到先探索重新思考 Tool-Calling Agent 训练数据合成，先探索就是先让模型在真实 API 上跑工具调用、拿到真实返回结果，再根据结果反向生成用户问题，而不是先凭空编问题。
问题 3：NeurIPS 2026 从先出题到先探索重新思考 Tool-Calling Agent 训练数据合成，为什么老的先出题方案不好用？
回答 3：NeurIPS 2026 从先出题到先探索重新思考 Tool-Calling Agent 训练数据合成，传统先出题方案容易造出虚构任务，答案没法核验，模型容易学到幻觉，在真实接口上调用失败。
问题 4：NeurIPS 2026 从先出题到先探索重新思考 Tool-Calling Agent 训练数据合成，配套模拟器有什么作用？
回答 4：NeurIPS 2026 从先出题到先探索重新思考 Tool-Calling Agent 训练数据合成，配套离线模拟器用来回放工具调用轨迹，验证样本能不能稳定复现，过滤掉不可靠的数据。
【参考资料】
[2026-11-07]（NeurIPS 2026 | 从「先出题」到「先探索」：重新思考 Tool-Calling Agent 的训练数据合成）机器之心
[2026-11-07]（Firefly：基于真实 API 生成可验证工具调用数据集）腾讯新闻
[2026-11-07]（NeurIPS 2026 接收论文 Firefly 解读：Tool Agent 数据新范式）AI 科技评论
【免责声明】
本文内容仅为 NeurIPS 2026 这篇 Tool-Calling Agent 数据合成论文的技术解读，不代表落地工程方案。该方法属于学术研究方案，实际落地会受接口稳定性、调用成本、私有工具适配等因素影响；论文效果以官方实验数据为准，技术落地效果存在不确定性，不构成技术选型、项目开发建议。