苹果提出HeadsUp：大规模多视角3D高斯头部重建方法
2026/05/08 08:00阅读量 11
Apple研究团队提出HeadsUp，一种可扩展的前馈方法，能从多摄像头阵列高效重建高质量3D高斯头部模型。该方法基于UV参数化3D高斯和中性模板，在超过1万个主体的大规模数据集上训练，达到当前最优重建质量，并能泛化到未见身份，无需测试时优化。
事件概述
Apple Machine Learning Research 联合 ETH Zurich 等机构发表论文，提出 HeadsUp 方法，用于从大规模多视图捕获中重建高质量 3D 高斯头部模型。
核心方法
- 采用高效的编码器-解码器架构，将多视角输入压缩为紧凑的潜表征，再解码为一组 UV 参数化的 3D 高斯，这些高斯锚定在一个中性头部模板上。
- UV 表示将 3D 高斯的数量与输入图像的数量和分辨率解耦，允许使用大量高分辨率视图进行训练。
关键结果
- 在包含 10,000+ 主体的内部数据集上训练与评估，该数据集规模比现有公开多视角头部数据集大一个数量级。
- 实现了当前最优的重建质量，并且能够泛化到未见身份，无需测试时优化。
- 系统分析了模型在身份数量、视角数量和模型容量上的缩放行为，提供了质量与计算成本的实用权衡。
下游应用
- 生成新的 3D 身份。
- 通过表情融合变形驱动 3D 头部动画。
论文链接：arXiv:2605.04035