Apple发布Self-Compacting：一种无需微调的自适应语言模型上下文压缩机制
2026/10/12 08:00阅读量 2
Apple Machine Learning Research提出SELFCOMPACT框架，解决长轨迹Agent因上下文累积导致的性能下降问题。该方案通过结合“压缩工具”与“轻量级触发规则”，使模型能在推理阶段自主判断何时进行上下文摘要，无需任何微调或外部监督。实验显示，该方法在数学和智能体搜索任务中显著优于无压缩基线，且大幅降低Token成本。
事件概述
针对长期运行的语言模型Agent（如思维链和工具调用序列）中出现的上下文窗口溢出及陈旧信息锚定问题，Apple Machine Learning Research团队提出了SELFCOMPACT框架。现有方法通常依赖固定的Token阈值触发压缩，容易在推导中途错误丢弃关键中间结果。SELFCOMPACT允许模型自身决定压缩的时机与方式，实现了自适应的上下文管理。
核心机制
SELFCOMPACT由两个推理时（inference-time）组件构成，二者缺一不可：
- 压缩工具（Compaction Tool）：模型调用的一个功能，用于对累积的上下文进行摘要总结。
- 轻量级规则（Lightweight Rubric）：指定触发压缩的条件。当子任务解决或轨迹收敛时触发压缩；而在推导中途或陷入停滞时抑制压缩。
这种组合使得模型能够在不进行任何微调（fine-tuning）或外部监督的情况下，有效执行自适应压缩。研究指出，仅靠工具本身会导致使用不均（常在不当时刻调用或不调用），而仅靠规则无法直接行动，两者结合才能弥补模型在元认知层面的差距——即模型难以自行判断上下文是否已“腐烂”。
实验结果与影响
团队在六个基准测试（涵盖竞争性数学问题和智能体搜索）及七个不同模型上进行了评估。主要发现如下：
- 性能提升：相比无摘要基线，SELFCOMPACT在数学任务上最高提升 18.1分，在智能体搜索任务上提升 5–9分。
- 成本优化：在达到匹配或超越固定间隔摘要性能的同时，每道题目的Token成本降低了 30%–70%。
- 能力重构：研究揭示了一个关键洞察，即通过轻量级规则引导，可以将“何时压缩”转化为一种可由脚手架（scaffold）提供而非必须通过训练获得的能力。
该论文作者包括来自约翰霍普金斯大学及Apple的研究人员，相关成果已发表于NeurIPS会议。