上交大团队提出 Holi-Spatial：无需激光雷达和人工标注，普通视频即可生成高精度 3D 数据，入选 ICML 2026 Oral

事件概述

上海交通大学团队提出的 Holi-Spatial 是一种纯软件 3D 自动标注管线，能够从普通 2D 视频直接生成结构化 3D 空间标注数据，无需激光雷达、深度相机或人工标注。该工作已入选 ICML 2026 Oral。

核心方法

Holi-Spatial 采用三阶段数据精炼管线：

1. 几何级优化（Geometric Optimization）：首先利用运动恢复结构（SfM）计算相机参数，再引入单目深度估计模型（Depth-Anything-V3）作为深度先验，并通过三维高斯泼溅（3DGS）进行几何一致性约束，消除深度图中的噪点和“鬼影”，为后续投影打下物理基础。

2. 图像级感知与 2D-to-3D 升维（Image-level Perception & Lifting）：均匀抽取视频关键帧，利用 Gemini3-Pro 等 2D 多模态模型生成帧级图像描述，并构建动态类名记忆库保证类别命名一致性。随后使用 SAM3 生成 2D 实例 Mask，结合第一阶段优化的深度，将 2D 像素反向投影为 3D 定向包围框（OBB）。通过“边缘腐蚀”策略和多视角一致性滤网，消除边缘锯齿和离群点。

3. 场景级精炼与 AI Agent“监考制”（Scene-level Refinement）：利用 3D IoU 合并重叠包围框，并引入三级决策过滤器：置信度 >0.9 直接保留，<0.8 直接丢弃，0.8-0.9 之间则调用由强大多模态大模型担任的 AI Agent 进行图像缩放、重新分割等二次核查，提升准确率与召回率。最终生成的 3D 实体由 Qwen3-VL-30B 自动生产长文本描述和空间 QA 问答对。

关键成果

• 在 ScanNet++ 基准上，3D 目标检测 AP25 达到 81.06%，AP50 达到 70.05%，相比此前最先进的 LLaVA-3D（AP25 12.2%，AP50 4.8%）提升超过 5 倍。
• 在空间推理问答任务（MindCube 基准）中，使用 Holi-Spatial-4M 数据集微调后的 Qwen3-VL-8B 准确率从 29.4% 提升至 49.1%。
• 在 3D Grounding 任务上，AP50 实现翻倍增长。

局限性

Holi-Spatial 当前仅适用于 静态室内环境，无法处理包含动态物体（如人、宠物、移动车辆）的视频。此外，每个视频场景需从头训练一次 3DGS，算力开销大，尚无法实时或在移动端部署。

团队观点

团队负责人钟志航（上海交通大学人工智能学院副教授）指出，Holi-Spatial 的灵感来自团队长期在 3D/4D 重建方面的积累，以及 3DGS、SAM3 等工具能力已跨过临界点，可串联起来自动生成高质量 3D 语义数据。研发过程中，Vibe Coding 工具和 AI Agent 极大地提升了工程效率。对于垂直细分类别（如实验室专用烧杯），通用模型存在识别偏见，未来可通过领域微调克服。