语言模型中的通信瓶颈：树结构表达式序列化往返研究
2026/09/29 08:00阅读量 2
Apple ML Research 发布研究指出，当大语言模型通过自然语言交换结构化信息时存在显著的“通信瓶颈”。实验表明，该信道具有损耗性和不对称性，生成质量是主要失败源头。通过对约3600个样本进行微调，开源模型的表现可超越未训练的 Gemini-3.1-Pro，证实了该序列化过程是可优化的关键限制因素。
事件概述
Apple Machine Learning Research 在 NeurIPS 2026 发表题为《The Communication Bottleneck: A Round-Trip Study of Tree-Structured Expression Serialization in Language Models》的研究论文。该研究旨在量化语言模型在思维链（Chain-of-Thought）或自由文本交互中，将结构化信息序列化为自然语言时的信息保留率。研究提出了一种“往返协议”（Round-Trip Protocol），通过评估树结构表达式的序列化与反序列化过程，揭示了模型间通信的主要瓶颈。
核心发现
1. 信道的损耗性与不对称性
- 性能差异巨大： 实验涵盖了16种模型的成对组合，结果显示生成端与提取端的角色互换会导致准确率波动高达 60.4 个百分点。
- 异构组合最优： 最佳准确率（92.9%）出现在使用不同模型分别负责生成和提取的场景中，而非同一模型两端复用。
- 失败根源： 至少 73.6% 的往返失败源于生成阶段。错误率主要由树结构的复杂性（如运算符数量、深度、右分支结构）驱动，而非模型家族本身的差异。
2. 训练优化潜力
- 微调效果显著： 使用约 3600 个共享评估算子和树形状的微调样本，所有开源模型的往返准确率均超过了未训练的 Gemini-3.1-Pro（作为语义匹配下的上限基准）。
- 泛化能力验证： 在新算子和词汇表的独立领域测试中，所有开源模型表现依然提升，证明增益并非仅由语义匹配造成，但与前沿模型之间仍存在差距。
结论
研究确认，树结构表达式的序列化是模型通过自然语言通信层级结构时的主要限制因素。这一发现为优化多智能体协作及复杂推理任务中的信息传递效率提供了实证依据。