我先联网核实 DeepSeek"自我改造 Transformer 架构、暴涨七分" 这条消息的具体所指。
我精读新智元这篇原文，把 "自我改造" 的技术细节和 "暴涨 7 分" 的具体基准搞清楚。
先把这事说清楚，免得被标题带偏：这不是 DeepSeek 官方发了新模型，而是 Mobileye 创始人 Amnon Shashua 创办的 AI 机构 DoubleAI，在 11 月 8 日刷屏的一篇研究里，提出了一个叫 "机制干预"（Mechanistic Intervention）的新范式 —— 让一个编程 Agent 直接钻进神经网络训练和推理现场，哪层卡壳就当场写 Python 代码塞进模型主干接管计算。最出圈的实验是：团队把 7630 亿参数的 DeepSeek-V4.1-Flash 做 243 道数学题时最深 7 层的内部激活状态喂给它自己，它分析完 "快算偏" 的信号规律后，亲手写了一段叫 probe_and_resample 的探针重采样程序，塞进推理流程 —— 一旦发现思路跑偏就当场回滚重算，不改半个权重，就在 AIME 和 HMMT 2026 数学竞赛上把准确率从 63.9% 拉到 71.0%，涨了 7 个百分点。这套打法的反直觉之处在于：以前调模型只能在写死的 Transformer 架构里硬调权重，现在 AI 能自己读懂自己的内部状态、自己写代码给自己的大脑 "动手术"，研究者把这视为通向递归自我改进（ASI）的关键一步。
这套 "机制干预" 到底怎么运作
传统深度学习的死办法是：架构是人写死的，模型聪明不聪明全靠反向传播一点点调权重，研究员盯着 Loss 曲线猜哪层有问题。DoubleAI 这套方法把流程倒过来，分三步：
- 找瓶颈：Agent 实时读每层网络的梯度信号，靠 "幽灵梯度"（ghost gradient）假想在某层后面加个新模块，测算往哪个方向推误差降得最快，自动揪出靠调权重学不会的短板层。
- 写代码：Agent 现场生成几十个候选 Python 函数，在单批数据上实测哪段代码最贴合这层的梯度方向。
- 热插拔：胜出函数挂在一个初始值为 0 的门控后面并入网络，刚插进去时门控输出 0、原网络不受影响；后续训练发现这段代码真能降误差，自动把门控推开到 0.58—— 等于模型自己学会了 "启用" 这段代码。
最终长出来的网络 "一半来自训练学出的权重，一半来自半路拼接的 Python 代码"，联创 Gal Beniamini 原话是：边训练边让大模型改写自己，最后长出来的架构连研究员都觉得不可思议。
四组实验，每组都在拆传统认知
研究一共做了四组对照实验，每一组都有一个反直觉结论，我按冲击力排序：
| 实验 | 做法 | 结果 | 反直觉点 |
|---|---|---|---|
| 预训练中途塞代码 | 12 层 nanochat 模型 1500 步训练，Agent 三次插入 Python 代码层 | 每次插入 bpb 连降，训完相当于白赚 15% 训练进度 | 第 1000 步塞的 20 行 "错误记忆层"，在单次前向传播里就跑了一步梯度下降，打破 "前向只推理、反向才改错" 的铁律 |
| 半路插 vs 天生自带 | 记忆窗口锁 500 词，考几千词前的变量召回 | 基线 0%、第 0 步就装代码层 55%、第 1200 步半路插入 72% | 同一个 Python 代码层，半路插比天生自带高 17 分 —— 早给捷径模型会 "偷懒"，先逼它把表征练扎实再接代码才双赢 |
| 连塞 10 层学算法 | 30 种经典算法，第 10000 步起每 500 步塞一层代码，连塞 10 层 | 总准确率从 55% 涨到 84%（+29 分）；BFS 从 0% 到 97%、拓扑排序 93% | 传统 Transformer 一遇上训练没见过的 "中间长度" 测试就崩到 0%，代码层专门记录 "哪些节点访问过"" 当前最小值 " 把盲区填平 |
| DeepSeek 读脑自救 | 把 V4.1-Flash 做题轨迹 + 最深 7 层激活喂给它，自写 probe_and_resample | AIME/HMMT 2026 从 63.9%→71.0%（+7.1 分） | 不改半个权重，纯靠推理时挂一段监控代码，发现跑偏就 rollback |
第三组实验里有个特别技术控的细节值得单拎出来：代码层需要比较数字大小，但喂进去的原始输入只是拆散的字符 "8" 和 "3"。Agent 自己用线性探针逐层探测，发现在第 4 层，神经网络已经把零散字符拼成了真正的数值 —— 于是代码层从第 4 层读出 82.6 这个数，在 Python 里完成比大小和循环更新，再写回网络。神经表征和符号计算就这样被 Agent 自己接起来了。
DeepSeek 涨的那 7 分，具体怎么涨的
这是标题最核心的一组实验，把数字拆开看：
- 实验对象：DeepSeek-V4.1-Flash（552B 总参 MoE，输入激活 8B、输出激活 16B）
- 喂给它看的东西：243 道数学题的完整做题轨迹，连同网络最深 7 层的内部激活状态
- 它自己干的事：分析完犯错规律，写出 probe_and_resample 探针重采样程序
- 考的试：AIME + HMMT 2026 数学竞赛
- 三组对照（相同 token 预算）：
| 策略 | 准确率 |
|---|---|
| 标准单次长思维链，一条道走到黑 | 63.9% |
| 只按长度盲目重采样 | 65.4% |
| DeepSeek 自写探针、实时读脑提前止损 | 71.0% |
机制不复杂：思维链每推进到一个检查点，程序自动提取最深 7 层的激活特征打分，一旦测出轨迹偏离正常分布，当场触发回滚重算。以前大模型走错思路，往往要白白算完几万个 token 才发现全错；现在它边想边监控自己，发现苗头不对就掉头。
同组实验里 Qwen3-8B 也做了一遍，零梯度更新、零权重改动，光是测试了 15000 个 Python 调度策略，就把 AIME/HMMT 2026 从 58.5% 拉到 65.5%，同样涨 7 分。它那段代码干的是另一套活：32 条并发轨迹每跑 2048 个 token 检查一次，满 8 条算出答案且榜首票数是第二名 2 倍以上就提前收工省算力；跑满 12288 token 还没算完、重复率超 0.35 的 "死循环复读" 轨迹，当场砍掉重启并在投票里降权。
这事为什么被说成 "改写 Transformer 架构"
媒体标题里 "AI 亲手改写 Transformer 架构" 这个说法，得拆开理解，别真以为 DeepSeek 重写了注意力机制：
- 改的不是训练好的权重：DeepSeek 那组实验明确 "不改半个权重"，涨分全靠推理时外挂一段监控代码。
- 改的是 "网络里允许塞什么"：预训练那组实验才真正动了架构 ——Agent 在训练中途往网络里插 Python 代码层，这些层是符号代码、不是可学习的神经权重，由门控自动决定开多大。
- 本质是把 "人设计架构" 变成 "Agent 边训边长架构"：Shashua 的原话是深度学习已经跨过 "只调权重" 的边界；Beniamini 说最后长出来的结构一半权重一半代码，研究员都没见过。
对普通开发者来说，这距离你明天就能用上的产品还很远 —— 目前还是 DoubleAI 在 nanochat 这种玩具模型和已开源的 DeepSeek/Qwen 上做的研究演示。但方向信号很明确：以后模型卡壳、崩在某个长度、走错思路，不再需要人类盯着 Loss 猜，AI 自己读内部状态、自己写补丁代码，这条路被走通了一次。
【相关 FAQ】
问题 1：DeepSeek"自我改造暴涨 7 分" 到底是什么研究？是 DeepSeek 官方发新模型了吗？
回答 1：不是 DeepSeek 官方发新模型。这是 Mobileye 创始人 Amnon Shashua 创办的 AI 机构 DoubleAI 在 11 月 8 日刷屏的 "机制干预" 研究：团队把 DeepSeek-V4.1-Flash 做 243 道数学题时最深 7 层的内部激活状态喂给它自己，它分析完犯错规律后亲手写了 probe_and_resample 探针重采样程序，塞进推理流程实时监控思路是否跑偏、一旦偏离就回滚重算。不改半个权重，就在 AIME 和 HMMT 2026 数学竞赛上把准确率从 63.9% 拉到 71.0%，涨了 7.1 个百分点。
问题 2：DeepSeek 读脑自救涨的这 7 分，是在哪个基准上测的？对照组是什么？
回答 2：是在 AIME 和 HMMT 2026 数学竞赛上测的，消耗相同 token 预算做三组对照：标准单次长思维链准确率 63.9%，只按长度盲目重采样 65.4%，DeepSeek 自写探针实时读脑止损的组冲到 71.0%。Qwen3-8B 用同样的零权重改动思路也从 58.5% 涨到 65.5%，同样涨约 7 分。关键变量是模型自己写的监控代码 —— 每推进到检查点就提取最深 7 层激活特征打分，轨迹偏离正常分布就当场 rollback。
问题 3：所谓 "AI 亲手改写 Transformer 架构"，是 DeepSeek 自己重写了注意力机制吗？
回答 3：不是。要区分两个层面：DeepSeek 涨 7 分那组实验明确 "不改半个权重"，只是推理时外挂一段 Python 监控代码；真正动架构的是预训练实验 —— 编程 Agent 在训练中途往 nanochat 网络里插入 Python 代码层，这些层是符号代码、不是可学习权重，挂在初始值为 0 的门控后面，训练自动把门控推开。连塞 10 层代码后，30 种经典算法准确率从 55% 涨到 84%。所以 "改写架构" 指的是网络里开始混入 AI 自己写的代码层，不是重写了 Transformer 的注意力公式。
问题 4：DoubleAI 这套 "机制干预" 方法，现在普通开发者能直接拿来用吗？
回答 4：还不能直接当工具用。目前它是研究演示阶段：预训练实验在 12 层的玩具模型 nanochat 上做，读脑实验是在已发布的 DeepSeek-V4.1-Flash 和 Qwen3-8B 上离线分析轨迹、写补丁程序，并没有变成一个你能 pip install 的库。但思路对开发者有参考价值 —— 比如给自家推理服务加一层 "激活监控 + 跑偏回滚" 的外挂程序，不需要重训模型就能提分，这个方向已经被验证有效，后续大概率会有人把它工程化成可复用的推理中间件。
【参考资料】
[2026-11-08]（AI 亲手改写 Transformer 架构！DeepSeek 自我改造暴涨 7 分）新浪财经（转新智元）
[2026-11-03]（DeepSeek V4.1 Flash: Smaller, Faster, and It Outsmarts V4 Pro）AI D-A-M-N
[2026-10-19]（DeepSeek V4.1 Flash 1017 发布：DeepSWE 74.2→77.0、Terminal-Bench 31.2→42.3）稀土掘金
[2026-10-17]（DeepSeek API 更新日志：DeepSWE v1.1 77.0、ProgramBench 29.1 等基准）DeepSeek API Docs
[2026-09-10]（DeepSeek V4.1 Flash：更强、更快、更普惠，552B MoE 非对称结构）DeepSeek 官网
[2026-09-29]（DeepSeek V4.1 Tech Report：CSA2 跨层 KV 复用注意力机制）GitHub
[2026-06-08]（DeepSeek-V4-Pro 模型详情：CSA+HCA 混合注意力，1M 上下文仅需 27% FLOPs）魔搭社区
[2026-04-24]（DeepSeek-V4 预览版：迈入百万上下文普惠时代）DeepSeek 官网
【免责声明】
本文核心事实（DoubleAI 提出 "机制干预" 范式、Amnon Shashua 与 Gal Beniamini 身份、四组实验设置、DeepSeek-V4.1-Flash 在 AIME/HMMT 2026 从 63.9% 到 71.0%、Qwen3-8B 从 58.5% 到 65.5%、30 种算法从 55% 到 84% 等数字）均整理自新智元 2026 年 11 月 8 日报道。该研究截至发稿以媒体解读形式传播，DoubleAI 官方论文原文及可复现代码 / 权重未在本文核对，上述实验配置、分数与对照组描述以新智元转述为准，可能与正式论文存在出入。文中 "暴涨 7 分" 特指 AIME+HMMT 2026 数学竞赛这一项基准，不代表 DeepSeek-V4.1-Flash 在所有能力测试上的整体提升；"AI 改写 Transformer 架构" 为媒体修辞，实际是训练中插入 Python 代码层与推理时外挂探针，不构成对 DeepSeek 官方模型架构的任何改动或背书。本文不构成投资建议，也不代表 DeepSeek 公司立场；模型能力评测存在数据污染、测试集泄露等常见陷阱，引用分数请以官方技术报告复核为准。