UIUC 联合港科大、德州农工大学推出 Ask to Distill(简称 A2D)框架,彻底改变传统知识蒸馏模式,不再是学生模型被动回答问题,而是让学生模型主动生成问题、向教师大模型提问来获取监督信号,就算没有标准答案、外部标注数据,也能完成在策略蒸馏,有效提升小模型的学习效率。传统知识蒸馏大多依赖现成的数据集,拿固定问题交给教师模型生成答案,学生跟着学,这种方式很容易出现问题质量差、学习信号稀薄的情况,而且标注数据成本很高。Ask to Distill 新增问题生成器,用强化学习去筛选能产出最多有效知识的提问,只保留那些能暴露学生知识缺口的问题,再送入师生模型对做蒸馏训练。整套流程不需要真实标签,训练完成后会得到优质问题库,在数学推理、代码生成、智能体任务上实测,A2D 方法性能优于普通合成数据蒸馏,部分场景甚至超过使用真实数据集蒸馏的基线,经过优化后的提问,学生模型输出回答长度减少约 20%,能拿到的有效学习信号提升 28%。
一、传统知识蒸馏的痛点
- 依赖现成数据集,优质标注数据获取成本高,很多场景很难拿到足量高质量题目。
- 问题固定不变,不少问题没法挖出学生模型的薄弱点,能拿到的教师监督信号比较少。
- 评价方式简单,一般只看答案对错,忽略了问题本身能不能传递有效知识。
- 学生全程被动接收题目,缺少主动挖掘知识缺口的能力,蒸馏效率上限受限。
二、Ask to Distill 核心架构与原理
- 核心思路:把提问本身当成知识载体,训练问题生成器,自动产出最适合当前学生模型学习的问题。
- 三大核心模块
- 问题合成器:基于学生模型初始化,专门用来生成候选提问,由强化学习负责优化。
- 奖励评估模块:不用标准答案,依靠师生模型输出分布差异计算奖励,衡量这道问题能激发多少教师知识信号,同时控制生成问题的长度和多样性。
- 问题过滤去重:筛选高质量提问,构建提示词库,供给在策略蒸馏(OPD)训练使用。
- 关键特点:全程不需要外部正确答案、不需要额外验证模型,师生模型冻结不变,只优化提问生成器。
三、Ask to Distill 完整执行步骤
- 准备固定配对的教师大模型与待训练学生模型,不改动这两个模型权重。
- 初始化问题生成器,让生成器产出一批候选问题。
- 送入师生模型运行,计算奖励值,奖励综合师生预测分歧、教师概率分布,附带长度、多样性约束。
- 通过强化学习迭代更新问题生成器,持续产出更有学习价值的提问。
- 对生成问题做过滤、去重,整理成提示词库。
- 使用这套问题库,执行标准在策略蒸馏,完成学生模型训练。
四、实测效果与适用任务
- 测试任务:数学推理、代码生成、AI 智能体任务三类场景。
- 对比基线:无优化的学生自生成提示、经过 KL 筛选的真实数据集。
- 实验结论:Ask to Distill 平均性能更强,缩小学生模型和教师模型之间的能力差距;优化后的问题能用更短的回答,激发出密度更高的监督信号。
- 开源信息:论文配套代码、数据集已经公开,开发者可以复现实验。
【相关 FAQ】
问题 1:UIUC 提出的 Ask to Distill,和传统知识蒸馏最大区别是什么?
回答 1:传统知识蒸馏是学生被动回答预设问题,UIUC 提出的 Ask to Distill 框架,让学生模型主动生成问题向教师模型提问,利用强化学习挑选高价值提问,不用标准答案也能完成知识蒸馏,把蒸馏重心从 “回答问题” 转向 “优化提问”。
问题 2:Ask to Distill 做知识蒸馏的时候,是否需要带标准答案的训练数据集?
回答 2:Ask to Distill 不需要带标准答案的训练数据集,该框架依靠教师、学生模型两者输出分布来评估提问价值,没有外部标注和正确答案也能完成知识蒸馏训练。
问题 3:Ask to Distill 知识蒸馏方法,在哪些 AI 任务上验证有效,有什么性能优势?
回答 3:Ask to Distill 知识蒸馏方法在数学推理、代码生成、智能体任务上完成验证,相比普通合成提问蒸馏,学生模型性能更高,学生回答长度减少约 20%,获取到的有效教师学习信号提升 28%,部分场景性能超越真实数据集蒸馏方案。
【参考资料】
[2026-11-18](让大模型学会向老师提问:UIUC 等提出 Ask to Distill,让知识蒸馏从「回答问题」走向「优化问题」)新浪财经
[2026-10-22](Distillation shorts: Ask-to-Distill)bayesiansapien
[2026-10-20](Ask to Distill: Learning to Synthesize Data for On-Policy Distillation)arXiv
[2026-10-20](Ask to Distill 论文开源项目介绍)GitHub
【免责声明】
本文仅为 AI 学术论文资讯解读,不构成模型训练落地、投资的相关建议。Ask to Distill 相关性能指标来自论文实验环境下的测试结果,在不同模型、不同业务数据集上效果会存在差异,技术落地需要结合自身场景二次调优。
