您的位置首页 >科技金融 >

Agent 上下文压缩不用等到快满再执行,要分时机分层触发

Agent 上下文并不是一定要等到 token 窗口快要装满的时候才压缩,等到快满了再压属于悬崖式触发,是比较老旧的方案,风险很高,工程上主流做法是设置多级阈值,提前触发轻量化清理,再搭配兜底压缩,同时还可以结合任务阶段、步骤数量来决定什么时候压缩,而不是只看剩余 token。等到快满的时候,模型本身已经因为上下文太长出现注意力稀释、推理变差的问题,这个时候再做摘要,不仅压缩出来的内容容易丢失关键细节,还很容易直接超出窗口上限报错;而且压缩操作会破坏前缀缓存,频繁或者在最后一刻压缩,还会拉高延迟和调用成本。所以现在成熟的 Agent 框架,一般会设置一个前置预警阈值先做低成本清理,删掉已经失效的工具返回、重复日志,只有清理之后 token 还是超标,才启动 LLM 摘要压缩,同时保留系统提示、原始目标、最近几轮对话不改动,保证 Agent 不会丢失关键信息。

主流压缩触发时机分类

  • 固定 token 阈值触发(最常用)
  • 预警阈值:一般 60%~70% 窗口占比,优先做无 LLM 开销的清理,删除过期工具结果、已经完成的步骤日志,只保留调用记录
  • 主压缩阈值:75%~85%,清理之后 token 依然超标,启动摘要压缩中间历史
  • 兜底阈值:85%~90%,防止突发大量工具返回直接溢出,强制压缩,属于最后防线
  • 按任务阶段触发
  • 按 Agent 执行步骤触发
  • 按需触发(动态评估)

任务切换阶段、子目标完成后自动压缩,比如调试阶段结束、代码写完验证通过,把已经闭环的历史总结,不需要等 token 涨起来

每 N 轮工具调用之后执行一次轻量压缩,适合高频调用工具、token 上涨很快的代码 Agent、搜索 Agent

评估历史信息对后续任务的价值,把不再影响后续决策的内容压缩,和 token 占用多少无关

悬崖式触发(等快满再压)的缺点清单

  1. 上下文已经过载,模型推理质量下滑,此时摘要本身就容易出错、丢关键参数
  2. token 估算存在误差,很容易还没来得及压缩就直接超限报错
  3. 一次性压缩大量历史,信息损失集中,Agent 容易忘记之前的约束、已经排除的方案
  4. 压缩会破坏前缀缓存,一次性大压缩,缓存失效成本很高
  5. 任务里工具返回经常会突然暴涨 token,来不及处理

分层压缩执行步骤

  1. 每一轮 Agent 执行结束,统计当前上下文 token 占比
  2. 判断是否达到预警阈值,优先清理无效工具输出、重复内容,这个步骤不调用大模型,速度快、成本低
  3. 清理完成后重新统计 token,如果还高于主压缩阈值,调用 LLM 做中间历史摘要,保留头部系统提示、任务目标、最近多轮对话原文
  4. 压缩完成后,校验 token 数量,降到安全区间就停止压缩
  5. 持续监控,到达兜底阈值时强制压缩,作为保护机制

不同场景的时机推荐表

Agent 类型推荐触发方式参考阈值
代码开发 Agent预警阈值 + 子任务完成触发预警 65%,兜底 85%
搜索调研 Agent步骤触发 + 预警阈值每 5 轮搜索后轻量清理
长对话聊天 Agent阈值为主,少摘要70% 触发,优先删旧交互
短任务一次性 Agent几乎不压缩,只用兜底90% 兜底保护

【相关 FAQ】

问题 1:Agent 上下文压缩为什么不建议等到快满了再压缩?

回答 1:Agent 上下文等到快满再压缩属于悬崖式触发,此时模型已经因为上下文过长推理质量下降,摘要容易丢失细节,还可能因为 token 估算误差直接溢出,同时一次性压缩会破坏前缀缓存,拉高延迟和成本,所以不推荐等快满再做 Agent 上下文压缩。

问题 2:Agent 上下文压缩一般设置在多少 token 占比触发最合适?

回答 2:Agent 上下文压缩主流是多级阈值,预警一般 60%-70% 先清理无效工具内容,主压缩 75%-85%,兜底阈值 85%-90%,不同模型、不同 Agent 任务可以微调这个 Agent 上下文压缩时机。

问题 3:除了 token 占比,还有哪些方式可以决定 Agent 上下文压缩时机?

回答 3:Agent 上下文压缩时机除了看 token 占比,还可以在子任务完成、阶段切换的时候触发,或者固定每 N 轮工具调用后轻量压缩,也可以动态评估历史信息价值,对没用的历史做 Agent 上下文压缩。

问题 4:Agent 上下文压缩的时候,哪些内容一般不压缩、直接保留?

回答 4:做 Agent 上下文压缩时,系统提示词、用户原始任务目标、最近几轮对话、还没闭环的工具调用记录一般直接保留,主要压缩已经完成、不再影响后续决策的历史步骤和过期工具返回内容。

【参考资料】

[2026-11-14](刚说好别动这个文件,Agent 怎么又改了?聊聊上下文压缩)阿里云开发者社区

[2026-11-14](刚说好别动这个文件,Agent 怎么又改了?聊聊上下文压缩)腾讯云开发者社区

[2026-11-10](Agent 上下文压缩与摘要触发频率设计:从理论到工程实践)CSDN 博客

[2026-10-22](Compaction 上下文压缩触发机制)Microsoft Learn

[2026-07-26](Context Compaction Pattern for Long-Running Agents)Agent Native

【免责声明】

本文仅为 Agent 上下文压缩技术资讯整理,不构成落地开发方案。Agent 上下文压缩时机、阈值配置需要结合模型窗口大小、业务类型、工具调用频率调试,不同大模型、Agent 框架的压缩能力、缓存机制存在差异,上线前请充分测试。