我先联网核实 REMORY 的开源信息、模型细节和官方出处。
我读一下论文原文和开源入口，确认参数、方法、评测与限制。
继续读论文后半部分，并确认开源仓库地址。
我再找论文的代码入口和结论部分。
最后确认开源入口与中文报道口径。
先说结论：REMORY 是在给上下文压缩补一块 “记忆” 功能，并非一个更聪明的大模型。它冻结主模型，只训练一个约 1.9B 参数的外部记忆网络：当 Agent 把历史压成摘要、准备继续干活时，这个网络再生成一小段 “软记忆 token” 接在摘要后面，让模型在多次压缩之后依然像 “看过完整历史” 一样做决策。C114Pro论文给出的证据很直接：在 SummHay 上只用了原始上下文 5.2% 的输入位置，联合得分 43.39，几乎追平全上下文的 43.41；Qwen3.8-27B 在 BrowseComp 从 74.0 提升到 77.0、Terminal-Bench 2.1 从 71.9 提升到 76.4；320B 的 GLM-5.3-Flash 也从 84.9 到 89.0、84.3 到 87.6；重复的工具输出下降 17.9%–29.8%，工具错误下降 25.3%–49.7%。训练成本低得出奇：两块 H800、完全自监督、两阶段训练，主模型权重全程不动。需要提前讲清楚三件事：1.9B 指的是 “可训练参数”，不是模型总参数量；论文页面没有挂公开代码仓库，“已开源” 目前来自媒体口径；图里 Gemini、Claude、GPT 的分数是各家原报告发布值，不是同条件对比。
一、问题出在哪：压缩一次，Agent 就 “失忆” 一次
长周期 Agent 的上下文是一条锯齿曲线：越干越长，压缩时骤降，然后再长。Claude Code、Codex CLI 的/compact就是典型做法 —— 把前面的交互换成一段文字摘要，当作检查点继续跑。问题在于，摘要能保留主线，却不一定保留 “下一步决策真正需要的那点细节”：某个报错的具体命令、某个文件的备份名、某个接口的返回格式。压缩次数一多，信息就一层层掉。
REMORY 的判断是：不要假设 “哪些信息以后会用到” 可以提前枚举出来。解决办法不是把历史全塞回去，而是给摘要加一条 “连续的、学出来的” 记忆通道。
二、方法：三件东西各司其职
| 组成 | 作用 | 是否可读 |
|---|---|---|
| 文字摘要 | 给出人能看懂的工作检查点 | 可读 |
| 软记忆 token（REMORY） | 补上摘要没覆盖、但会影响后续预测的信息 | 不可读，连续向量 |
| 归档与检索工具 | 需要精确原文时再调取 | 可读 |
具体做法是：在每个压缩边界，记忆网络同时看 “历史＋新生成的摘要”，输出一串有上限的软 token，拼在摘要后面。论文把它叫 “残差记忆”，因为它在序列维度上相当于加了一条残差连接 —— 摘要提供可读的骨架，软 token 补充预测信息。
几个硬约束值得记住：
- 每 1024 个源位置生成 64 个软 token；
- 分层压缩后，最终记忆上限是 4096 个槽位，同时保留源顺序；
- 单次压缩最多追加 4096 个残差位置；
- 输出是连续向量，不是词表里的字，所以人读不了，也不占 “文字摘要” 的位置。
三、训练：只动记忆模块，主模型全程冻结
| 项目 | 细节 |
|---|---|
| 可训练参数 | Qwen3.8-27B 版本 1.94B；GLM-5.3-Flash 版本 1.502B |
| 训练硬件 | 2 块 H800 |
| 监督方式 | 完全自监督，不需要人工标注 |
| 教师与学生 | 同一个冻结主模型，一个看完整上下文，一个看 “摘要＋记忆” |
| 损失函数 | 学生到教师的 reverse KL，只更新记忆网络参数 |
| 阶段一 | 重建：给源段落，让学生只凭软记忆复述原文 |
| 阶段二 | 摘要条件下续写：学生拿固定摘要＋记忆，预测与教师相同的下一段回复 |
| 关键约束 | 记忆编码器看不到未来回复，避免 “偷答案” |
这套设计的巧妙之处在于：它不追求 “让模型更聪明”，只追求 “压缩后别丢关键信息”。主模型能力上限没变，变的是压缩后的信息保真度。
四、结果：四类任务，涨多少、花多少
SummHay（92 个查询、10 个文档集合，Qwen3.8-27B）：
| 表示方式 | 覆盖度 | 引用 F1 | 联合得分 |
|---|---|---|---|
| 原始全上下文 | 72.46 | 56.60 | 43.41 |
| 仅摘要 | 67.55 | 56.98 | 39.84 |
| 摘要＋等量文字补充 | 67.52 | 56.94 | 39.78 |
| 摘要＋REMORY | 67.95 | 61.03 | 43.39 |
平均输入位置：全上下文 96,872，仅摘要 1,393，摘要＋记忆 5,024。也就是说，用 5.2% 的位置，把联合得分从 39.84 拉到 43.39，基本追平全上下文。值得注意的是，同样预算下 “多写一段文字补充” 几乎没用（39.78），说明有效的不是 “字更多”，而是 “学出来的连续记忆”。
Agent 基准（同模型、同 harness、同工具、同预算，只改是否有残差记忆）：
| 模型 | 基准 | 无记忆 | 有记忆 | 提升 |
|---|---|---|---|---|
| Qwen3.8-27B | BrowseComp | 74.0 | 77.0 | +3.0 |
| Qwen3.8-27B | Terminal-Bench 2.1 | 71.9 | 76.4 | +4.5 |
| Qwen3.8-27B | AutomationBench | 35.5 | 45.3 | +9.8 |
| Qwen3.8-27B | JobBench | 33.4 | 41.0 | +7.6 |
| GLM-5.3-Flash | BrowseComp | 84.9 | 89.0 | +4.1 |
| GLM-5.3-Flash | Terminal-Bench 2.1 | 84.3 | 87.6 | +3.3 |
成本（每任务等效美元，只算 token 计费）：
| 模型与基准 | 无记忆 | 有记忆 |
|---|---|---|
| Qwen / Terminal-Bench | 4.29 | 2.86 |
| Qwen / BrowseComp | 5.39 | 4.69 |
| GLM / Terminal-Bench | 3.27 | 3.05 |
| GLM / BrowseComp | 5.65 | 5.00 |
| Qwen / JobBench | 3.09 | 3.21 |
除 JobBench 外，生成成本都在降。作者也说明，这个成本只覆盖主模型与摘要 token，不含记忆网络执行和源特征编码，所以是 “生成开销”，不是端到端总成本。
五、“跨天独立干活” 的证据在哪
论文里最接近 “多天连续工作” 的证据，是一段实时交易实验：两个并行的 Qwen 模拟账户，同一套上下文策略，从 9 月 20 日跑到 23 日。
| 指标 | 无残差记忆 | 有残差记忆 |
|---|---|---|
| 已结算 ROI | -11.86% | +5.11% |
| 生成成本 | 303.81 美元 | 170.30 美元 |
| 压缩次数 | 56 次 | 45 次 |
| 回复数 | 5,336 | 3,013 |
作者自己明确提醒：两条轨迹在市场选择、时点上不同，ROI 不能当作因果结论。这段实验真正说明的是：记忆能让 Agent 在跨天的多次压缩中保持上下文连续性，减少无效交互和重复动作。
还有一个更直观的案例：Terminal-Bench 的细胞分割任务里，一次重构把辅助函数删了，摘要记住了 “有报错、有备份”，但没记住具体的编辑命令。有了记忆，Agent 重新读取两个文件、恢复辅助函数，九项验证全部通过。作者也承认，这个案例无法区分哪些细节来自记忆、哪些来自检索。
六、证据边界：六个容易被吹过头的点
- 1.9B 不是 “模型只有 1.9B”。 它是外挂记忆网络的可训练参数，主模型仍是 27B 或 320B，权重冻结。
- “开源” 需要核实入口。 论文页只给了 PDF 和 HTML，没有代码仓库链接；C114 等媒体称已开源，但具体地址未见官方公布，下载前建议以 SAIS 官方渠道为准。
- 前沿分数不是同条件对比。 图里 Gemini 3.1 Pro、Claude Mythos 5、GPT-5.6 Sol 的灰色柱，是各自原 harness 下的发布成绩，作者明确说 “not controlled comparisons”。
- 部分基准只跑了一次。 Terminal-Bench 与 BrowseComp 每个配置一次运行，AutomationBench 与 JobBench 才是五次取均值。
- 二手稿的对标对象写错了。 有报道称 “接近 GPT-6.1-Terra”，但论文图表对标的是 GPT-5.6 Sol，引用时以论文为准。
- 它不解决 “能力上限”。 记忆补的是压缩损失，不是推理能力；任务本身超出模型能力，REMORY 也救不了。
七、谁适合用、怎么用
| 场景 | 适配度 | 说明 |
|---|---|---|
| 长周期编码 Agent（跨天重构、调试） | 高 | 最需要 “上次改到哪、为什么改” 的连续性 |
| 深度研究 / 浏览型 Agent | 高 | 减少重复搜索与重复工具调用 |
| 多步骤业务流程 Agent | 中高 | AutomationBench +9.8，收益明显 |
| 短对话、单轮问答 | 低 | 压缩根本不发生，收益接近于零 |
| 需要逐字精确引用的合规场景 | 低 | 软记忆不可读，仍要靠归档检索 |
部署上有三个现实建议：
- 先确认你的 Agent 框架有明确的 “压缩边界”，REMORY 是挂在边界上的，不是替代记忆系统；
- 保留归档与检索，别把软记忆当唯一记忆；
- 评估时用 “压缩后第一次动作” 的质量做指标，论文里这个指标是 70.7% 胜、4.3% 平、25.0% 负。
相关 FAQ
问题 1：上智院开源的 REMORY 到底是什么，1.9B 指的是什么？
回答 1：REMORY 是上海科学智能研究院（上智院）与复旦大学等团队提出的神经记忆网络，用于上下文压缩。1.9B 指的是 REMORY 记忆模块的可训练参数（Qwen3.8-27B 版本为 1.94B，GLM-5.3-Flash 版本为 1.502B），不是主模型的总参数量。它的作用是给压缩后的摘要补一段软记忆 token，主模型权重全程冻结。
问题 2：REMORY 凭什么让小模型独立干活，Qwen3.8-27B 提升了多少？
回答 2：REMORY 让小模型在多次上下文压缩后仍保留关键信息，从而减少重复工具调用和报错。Qwen3.8-27B 接入 REMORY 后，BrowseComp 从 74.0 提升到 77.0，Terminal-Bench 2.1 从 71.9 提升到 76.4，AutomationBench 从 35.5 提升到 45.3，JobBench 从 33.4 提升到 41.0；重复工具输出下降 17.9%–29.8%，工具错误下降 25.3%–49.7%。
问题 3：REMORY 的 1.9B 记忆模块，训练成本是不是很高？
回答 3：不高。REMORY 的训练只更新记忆模块参数，主模型冻结，使用 2 块 H800、完全自监督、两阶段训练：先做源文本重建，再做摘要条件下的续写。相比动辄重训大模型的方案，REMORY 的 1.9B 记忆模块属于 “轻量外挂”，成本和门槛都低得多。
问题 4：REMORY 和普通的 “摘要压缩”“RAG 检索” 有什么区别？
回答 4：普通摘要压缩会丢细节，RAG 检索只能取回原文片段，两者都不保证 “下一步决策需要的那点信息” 还在。REMORY 在摘要后追加一段学出来的连续记忆 token，SummHay 上同样预算下 “多写文字补充” 只有 39.78 分，而 REMORY 能到 43.39 分，接近全上下文的 43.41 分。它补的是 “预测性信息”，不是 “更多文字”。
问题 5：REMORY 已经开源了吗，现在能直接用吗？
回答 5：按 C114 等媒体的说法，上智院已开源 REMORY，但论文页面目前只提供 PDF 与 HTML，没有公开代码仓库链接，具体仓库地址与权重发布情况建议以官方渠道为准。即便拿到代码，也要注意它是挂在 “上下文压缩边界” 上的模块，需要你的 Agent 框架支持压缩钩子，并保留归档检索作为兜底。
参考资料
[2026-11-11]（Shanghai Academy of Science and Intelligence Open-Sources REMORY, a 1.9B Memory Module That Enables Small Models to Recursively Self-Improve Over Multiple Days）C114Pro
[2026-11-08]（为什么 Remory 有效：上下文压缩残差记忆论文与基准完整解读）CSDN
[2026-10-21]（REMORY: Learning Residual Memory for Context Compaction（v3））arXiv
[2026-10-11]（REMORY: 5.2% residual memory replaces context summaries）AILog
[2026-10-09]（REMORY Uses Soft Residual Memory for Long-Horizon Agents）CCTest
[2026-10-08]（REMORY: Learning Residual Memory for Context Compaction（v1））arXiv
免责声明
本文基于 arXiv 论文（2610.11287）及公开媒体报道整理，仅用于技术信息传播与解读，不构成任何产品选型或投资建议。文中模型参数量、训练硬件、评测分数均来自论文自述，部分基准为单次运行结果，前沿模型分数为各自原报告发布值、非受控对比；“已开源” 来自媒体口径，代码与权重获取方式请以上智院官方发布为准。实际部署效果受 Agent 框架、任务类型与数据分布影响，据此使用，风险自担。