工具使用解锁状态空间模型的长度泛化能力：理论突破与实证
Apple ML Research 发表研究指出，尽管状态空间模型（SSMs）在长上下文处理上具有效率优势，但理论上无法准确解决“真正长形式”生成问题。研究证明，通过引入外部工具的交互访问及针对性训练数据，SSMs 能够克服这一限制，实现任意长度和复杂度的任务泛化。实验表明，增强工具能力的 SSMs 在算术、推理和代码任务中展现出卓越的长度泛化性能，为交互式智能体场景提供了 Transformer 的高效替代方案。
事件概述
Apple Machine Learning Research 团队在 ICLR 2026 发表论文《To Infinity and Beyond: Tool-Use Unlocks Length Generalization in State Space Models》，深入探讨了状态空间模型（State Space Models, SSMs）在长序列建模中的局限性及其解决方案。
核心发现
1. SSMs 的理论局限
研究首先提出了一个基础理论结果：SSMs 无法准确解决任何被形式化定义的“真正长形式”（truly long-form）生成问题。这一结论直接挑战了 SSMs 作为 Transformer 主要替代品的核心竞争力——即在固定内存和线性计算复杂度下处理长上下文的假设。
2. 工具增强的解决方案
研究进一步证明，上述局限性可以通过允许 SSMs 交互式地访问外部工具来缓解。关键条件包括：
- 工具选择：必须选择合适的工具访问机制。
- 训练数据：需要依赖特定于问题的训练数据。
在上述条件下，SSMs 能够学习解决任何可处理的问题，并实现对任意问题长度和复杂度的泛化（即达成长度泛化）。
3. 实证验证
基于理论发现，研究团队在多种任务上进行了验证，结果显示工具增强型 SSMs 取得了显著的进展：
- 任务类型：涵盖算术运算、逻辑推理和代码生成。
- 表现：模型成功实现了长度泛化，证明了其在处理超出训练分布长度的输入时的有效性。
行业意义
该研究揭示了 SSMs 在交互式工具使用和智能体（Agentic）设置下的巨大潜力。通过结合外部工具，SSMs 有望成为 Transformer 架构在长上下文和复杂任务场景下的一种高效替代方案，同时保持其计算效率优势。