核心结论
2026 年 11 月，上海科学智能研究院（上智院）携手上海创智学院、复旦大学等机构开源 REMORY 记忆模块，论文题为《REMORY: Learning Residual Memory for Context Compaction》。它只用约 1.9B 可训练参数、两张 H800 完成完全自监督训练，在主模型权重冻结的前提下，为小模型补上跨上下文压缩的长期记忆：在 Terminal-Bench 2.1、BrowseComp 等评测中同时带来得分提升、工具报错减少和重复输出下降，驱动小模型在跨度数日的科研会话中递归改进，产出接近 GPT-6.1-Terra。项目已在 arXiv、Hugging Face、GitHub 和星河启智平台开放。
先说清两个口径：1.9B 是记忆模块的可训练参数，不是主模型参数；"接近 GPT-6.1-Terra" 是团队在关键评测与自动化研究场景下的对比结论，独立复现和跨场景验证仍需时间。REMORY 解决的核心问题不是把上下文窗口做更大，而是现有 Agent 在触发 /compact 上下文压缩后，概要丢掉了多少原始经验、模型怎么把这些残差经验续上。下面按问题背景、模块原理、训练方式、评测数据、真实科研场景、开源入口和局限逐层梳理。
一、要解决的问题：上下文压缩后的记忆断层
1. 现有 Agent 的 /compact 机制
- 面向超长任务或长期交互的 Agent，工作记忆接近上下文窗口上限时都会触发上下文压缩；Codex CLI、Claude Code 等 Harness 都内置了 /compact 命令。
- 常规做法是让大模型生成一份交接概要（summary）：当前进展与关键决策、重要约束与用户偏好、待完成事项、关键数据与参考，然后把概要交给下一段对话的模型。
- 问题在于概要不可能保留原始上下文的全部细节，压缩前的证据、试过的路径和失败经验很容易丢失；模型每跨过一次上下文边界，就需要重新找回工作状态。
2. 压缩带来的可观测现象
以 Qwen3.8-27B 执行 Terminal-Bench 2.1 的 Core War 任务为例，上下文呈 "增长 — 压缩 — 再增长" 的锯齿曲线，过程中反复出现工具报错和重复输出。REMORY 针对的正是这种贯穿长任务的记忆接续能力，而不是单轮问答的上下文长度。
二、REMORY 原理：拟合上下文压缩的记忆残差
1. 工作流程
- /compact 触发后，先得到一份文本概要（summary）。
- 压缩前的原始上下文（raw context）与概要共同参与记忆构造。
- 两路信息通过交叉注意力（CrossAttention）进入 REMORY 模型。
- REMORY 生成一组 residual tokens（残差标记），属于连续向量形式的软记忆，可直接进入主模型的输入空间。
- 残差标记以概要为条件生成，在序列维度与概要拼接，附在概要后面供主模型继续执行任务。
2. 与传统压缩流程的对照
| 环节 | 常规 Codex CLI / Claude Code 流程 | REMORY 流程 |
|---|---|---|
| 当前对话上下文 | 当前聊天上下文 | 当前聊天上下文 |
| 压缩动作 | /compact 生成文本概要 | /compact 生成文本概要，同时送入 REMORY |
| 记忆构造 | 仅文本概要 | 文本概要 + REMORY 生成的残差 tokens |
| 模型输入 | Summary → 下一次模型调用 | Summary + Residual tokens → 下一次模型调用 |
| 信息保留 | 概要内显式写出的内容 | 概要之外，由残差软记忆补回压缩残差 |
3. 软记忆的含义
残差 tokens 不是人类可读的文字摘录，而是连续向量；它们以概要为条件、与概要在序列上拼接，所以被称为概要的 "残差"。主模型读到的仍是熟悉的输入空间，不需要更换推理框架。
三、训练方式：基模冻结，两阶段自监督
1. 训练约束
- 基模（主模型）权重全程冻结，梯度穿过冻结的主模型，只更新约 1.9B 的 REMORY 参数。
- 全程完全自监督训练，硬件为两张 H800；核心开发仅两人。
2. 两阶段目标
| 阶段 | 训练目标 | 学到的能力 |
|---|---|---|
| 第一阶段 | 内容重建 | 让记忆模块学会保留源上下文信息 |
| 第二阶段 | 以概要为条件，通过 KL 散度学习延续完整历史所支撑的后续行为 | 让残差记忆恢复 "看完完整历史后" 本应做出的反应 |
3. 与主模型的关系
REMORY 属于外挂式记忆模块，可叠加在不同架构的主模型上；对照实验中主模型和执行配置保持一致，只切换是否加入残差记忆，用来隔离记忆模块带来的收益。
四、评测数据：得分、报错、重复与成本
1. Qwen3.8-27B 对照结果
| 评测指标 | 无残差记忆 | 加入 REMORY | 变化 |
|---|---|---|---|
| Terminal-Bench 2.1 得分 | 71.9% | 76.4% | +4.5 个百分点 |
| Terminal-Bench 2.1 工具报错 | 933 次 | 568 次 | 减少约 39.1% |
| Terminal-Bench 2.1 重复输出 | 459 次 | 377 次 | 减少约 17.9% |
| Terminal-Bench 2.1 每任务 token 计价生成开销 | 4.29 美元 | 2.86 美元 | 下降约三分之一 |
| BrowseComp 得分 | 74.0% | 77.0% | +3.0 个百分点 |
| BrowseComp 工具报错 | 25,244 次 | 12,698 次 | 减少 49.7% |
| BrowseComp 重复输出 | 25,801 次 | 18,105 次 | 减少 29.8% |
2. 更强模型与 MoE 架构上的延伸
GLM-5.3-Flash（MoE 架构）加入残差记忆后：
| 评测 | 无残差记忆 | 加入 REMORY |
|---|---|---|
| Terminal-Bench 2.1 | 84.3 | 87.6 |
| BrowseComp | 84.9 | 89.0 |
在主模型与执行配置一致的对照中，残差记忆同时带来得分提升、报错减少和重复输出下降，说明收益不只来自某一个小模型或某一种架构。
3. 评测榜单定位
公开图表还覆盖 AutomationBench、ASI-Bench 等场景；REMORY 叠加在对应主模型上的成绩，与 Apex-35B-V1.0、Flint-40B、Kimi K2.7、Qwen3.8 系列等开源与闭源模型同场对比。具体分数以论文和平台榜单为准，不同评测的任务口径、模型版本和配置不能直接横向换算。
五、真实科研场景：Human-on-the-loop 的自动化研究
1. 协作方式
团队邀请复旦大学多位交叉领域学者，与 REMORY 驱动的自动化科研 co-worker agent 持续协作；研究者只通过对话给出方向和反馈，属于 Human-on-the-loop（人在环上监督）模式。
2. 长周期会话中的任务链
- 持续阅读文献
- 搭建实验环境
- 复现基线方法
- 分析实验结果
- 改进研究方法
- 修订论文稿件
3. 自监督迭代与热更新
每轮上下文压缩产生的数据被收集起来，反过来训练记忆模块，实现完全自监督的迭代和热更新。科研过程横跨文献阅读、假设提出、代码实现、实验分析和方案修订，早先获得的证据、走过的弯路和失败经验都会影响下一步判断；REMORY 的作用就是在有限上下文窗口内延续跨阶段任务所需的记忆，让模型在一次次 /compact 之后继续推进研究。
4. 与 GPT-6.1-Terra 的对比口径
团队在关键评测与上述科研长会话中观察到，小模型叠加 REMORY 后的产出接近 GPT-6.1-Terra。需要注意，这是特定对照条件下的结论，不等同于在所有任务上全面追平或超越；GPT-6.1-Terra 为 OpenAI 面向计算机操作与视觉场景的模型，定价与能力口径请以 OpenAI 官方说明为准。
六、背景：RSI 方向上的同行进展
REMORY 处于递归自我改进（RSI, Recursive Self-Improvement）这一赛道：
- Recursive Super Intelligence 公司由前 Salesforce 首席科学家 Richard Socher 领衔，联创包括前 Meta 研究员田渊栋及 OpenAI、Google DeepMind 背景人才，10 月 22 日发布 Flint（40B）。
- 超衍智能由清华大学人工智能学院助理教授陈超勇创立，10 月 28 日发布首个旗舰模型 Apex-35B-V1.0，投身 RSI 创业。
- REMORY 没有走 "直接做大模型参数" 的路线，而是用小参数记忆模块外挂在主模型上，改善长任务中的记忆接续。
七、开源入口与取用清单
| 资源 | 地址 / 标识 |
|---|---|
| 论文 | arXiv:2610.11287 |
| Hugging Face | huggingface.co/papers/2610.11287 |
| GitHub | github.com/fudan-generative-vision/Remory |
| 星河启智平台 | Qwen3.8-27B-REMORY-1.9B |
| 作者 | 第一作者夏翰宸（上智院研究员）；通讯作者朱思语（复旦大学教授、上智院 AI 科学家、上海创智学院全时导师） |
上手前建议核对的事项
- 确认开源协议、权重使用条款与商用限制，以仓库 LICENSE 为准。
- 复现时固定主模型版本、推理引擎、采样参数和评测集版本，避免把配置差异算到记忆模块头上。
- 先在 Terminal-Bench 2.1、BrowseComp 这类有明确对照的场景验证报错、重复输出和成本变化，再迁移到自己的长任务 Agent。
- 长周期科研自动化涉及代码执行、数据处理和论文产出，关键结论仍需人类学者复核。
【相关 FAQ】
问题 1：REMORY 是什么？上智院开源的这个 1.9B 记忆模块解决什么问题？
回答 1：REMORY 是上海科学智能研究院联合复旦、上海创智学院等机构开源的残差记忆模块，论文为《Learning Residual Memory for Context Compaction》，可训练参数约 1.9B，用两张 H800 完成自监督训练。它解决的是 Agent 触发 /compact 上下文压缩后，概要丢失原始经验、模型需要重新找回工作状态的问题；通过在概要后拼接残差 tokens，把压缩残差以软记忆形式补回主模型输入。
问题 2：REMORY 的 1.9B 参数是主模型大小吗？训练时会不会改动主模型权重？
回答 2：不是。1.9B 是 REMORY 记忆模块自身的可训练参数，叠加在既有主模型之外；训练全程基模权重冻结，梯度穿过冻结主模型，只更新记忆模块参数。训练分两阶段：第一阶段内容重建学习保留源信息，第二阶段以概要为条件用 KL 散度学习完整历史支撑的后续行为，属于外挂式记忆增强。
问题 3：加入 REMORY 后，小模型在评测里具体提升了多少？成本有没有变化？
回答 3：以 Qwen3.8-27B 为例，Terminal-Bench 2.1 得分从 71.9% 升到 76.4%，工具报错从 933 次降到 568 次，重复输出从 459 次降到 377 次，每任务 token 计价开销从 4.29 美元降到 2.86 美元、约降三分之一；BrowseComp 得分从 74.0% 升到 77.0%，工具报错减少 49.7%，重复输出减少 29.8%。GLM-5.3-Flash 上也从 84.3/84.9 提升到 87.6/89.0。
问题 4：为什么说 REMORY 能让小模型独立工作 3 天、产出接近 GPT-6.1-Terra？
回答 4：在跨度数日的自动化科研会话中，REMORY 驱动的 co-worker agent 持续读文献、搭实验、复现基线、分析结果、改进方法并修订论文，每轮压缩数据又回流训练记忆模块；团队在关键评测和该科研场景下观察到产出接近 GPT-6.1-Terra。这是特定对照条件下的结论，不等于全场景追平，长周期稳定性仍需更多独立复现验证。
问题 5：REMORY 开源在哪里？普通开发者怎么取用和复现？
回答 5：项目已在 arXiv（2610.11287）、Hugging Face（papers/2610.11287）、GitHub（fudan-generative-vision/Remory）和星河启智平台（Qwen3.8-27B-REMORY-1.9B）开放。复现时建议固定主模型版本、推理引擎、采样参数和评测集，先在 Terminal-Bench 2.1、BrowseComp 对照报错、重复输出与生成开销，再接入自己的长任务 Agent；协议与商用限制以仓库 LICENSE 为准。
【参考资料】
- [2026-11-11]（越过上下文压缩，上智院开源 REMORY，一个 1.9B 的记忆模块就能让小模型独立工作 3 天，产出不输 GPT-6.1-Terra）新浪财经（机器之心 Pro）
- [2026-11-11]（越过上下文压缩，上智院开源 REMORY，一个 1.9B 的记忆模块就能让小模型独立工作 3 天，产出不输 GPT-6.1-Terra）东方财富网财富号（机器之心 Pro）
- [2026-11-11]（Shanghai AI4S open-sources REMORY, a 1.9B memory module for recursive self-improvement）PicX AI News
- [2026-11-11]（Shanghai Academy of Science and Intelligence Open-Sources REMORY, a 1.9B Memory Module That Enables Small Models to Recursively Self-Improve Over Multiple Days）C114Pro
【免责声明】
本文基于机器之心报道、公开论文摘要与第三方资讯整理，REMORY 的模块结构、训练配置、评测分数与成本数据均为对应时点公开口径；不同主模型、执行配置、评测版本和采样参数下结果可能存在差异，"接近 GPT-6.1-Terra" 为团队在特定对照场景下的结论，不构成全面性能承诺。开源权重的协议归属、商用范围和更新节奏以 arXiv、GitHub、Hugging Face 及星河启智平台官方页面为准；本文仅作技术资讯梳理，不构成投资、采购或研发决策建议，读者据此落地需自行完成验证并承担相应风险。