何恺明团队发布VISTA：为多模态模型构建视觉原生Harness框架

事件概述

何恺明（Kaiming He）团队在最新论文《VISTA: A Visual Harness for Reasoning in an Interactive World》中发布了名为 VISTA 的多模态视觉原生 Harness 框架。该框架旨在让现有的多模态大模型（LMMs）在不进行额外训练的前提下，具备在持续交互环境中积累、保存并利用视觉经验的能力。

传统方法通常将环境抽象为文字或代码，导致细节丢失；而 VISTA 保留了原始的视觉信息，使模型能够像人类一样“回忆”过去看到的画面，放大检查细节，从而提升推理的准确性。

核心机制：视觉原生脚手架

VISTA 的核心创新在于引入了“Harness”概念，借鉴了 Anthropic 此前关于文本/代码记忆的工作，但将其扩展至视觉领域。系统包含三个关键组件：

1. 视觉观测（Visual Observation）：

   • 负责将环境画面提供给模型。例如在 ARC-AGI-3 实验中，将官方提供的 64×64 画面放大为 512×512 的 PNG 图像，保留颜色、外观和空间关系，供模型直接观察。

2. 无损视觉记忆（Lossless Visual Memory）：

   • 负责完整保存模型看到的所有画面，包括动作过程中的动画中间帧。
   • 按照回合号和帧号建立索引，存储在上下文窗口之外。模型无需提前判断哪些信息重要，而是先完整保存，留待后续使用。

3. 主动视觉检查（Active Visual Inspection）：

   • 提供 inspect 工具，允许模型指定历史回合，调出对应画面。
   • 支持裁剪、放大局部区域以检查细节（如小方块上的朝向标记），或对比多帧画面以分析动作前后的变化。

此外，框架还引入了两份文字笔记辅助长期任务连贯性：

• GUIDE.md：记录不同关卡间可复用的规则和经验。
• WORKING.md：记录当前关卡的状态、进度和计划。

当上下文接近上限时，模型会整理交接摘要，确保视觉档案和文字笔记在新窗口中继续生效。

实验验证与结果

团队在多个基准上验证了 VISTA 的有效性，主要结果如下：

• ARC-AGI-3 基准：

  • 搭配 Claude Opus 5.0：完成全部 25 个公开游戏，人类动作效率得分达到满分 100。所用游戏动作数比首次游玩的人类基线少 57.4%。
  • 搭配 GPT-5.6 Sol：同样全部通关，得分达到 99。

• 其他基准测试（使用 GPT-5.6 Sol 模型）：

  • GameWorld：170 项任务成功率从 40.0% 提升至 63.3%。
  • AI GameStore：10 个游戏的综合得分从 47.3 升至 140.3（人类中位数归一化为 100）。
  • BabyVision：39 道迷宫与连线题准确率从 41.0% 提升至 63.2%。即使在仅有静态图片的任务中，通过放大局部检查像素也能改善判断。

值得关注

• 零训练成本：VISTA 并未改变底层多模态模型本身，而是通过外部工具调用、视觉历史保存和证据提供来增强现有模型的能力。这意味着任何具备足够视觉理解能力的 LMM 均可接入该框架。
• 显式注意力机制：研究将这种机制称为对交互历史的“显式注意力”，模型根据当前问题主动选择哪些视觉信息重新进入上下文，而非被动依赖滑动窗口。
• 未来方向：团队表示下一步将把该方法应用于更接近物理世界的具身智能任务，探索模型在持续变化的真实环境中如何保存、复查并利用视觉经验。