GHARP：基于大规模重建先验的实时高斯头部动画技术
2026/10/26 08:00阅读量 2
Apple Machine Learning Research 提出 GHARP，一种利用大规模重建先验实现实时3D头部动画的方法。该方法将过程解耦为离线身份构建和在线动画预测两个阶段，在移动端设备上实现了高效运行。实验显示，GHARP 在 Ava-256 基准测试中达到最先进水平，且在 A100 GPU 上比现有方法快 13 倍，同时使用的高斯点数量减少 8 倍。
事件概述
Apple Machine Learning Research 发布了名为 GHARP（Real-time Gaussian Head Animation from Large-scale Reconstruction Prior）的研究成果。该方法能够从少量输入图像和驱动表情信号中，实时生成高质量的3D人类头部动画。研究发表于 Asian Conference on Computer Vision (ACCV)，旨在解决传统表情驱动头像方法中存在的身体区域模糊和时间闪烁问题。
核心机制与技术创新
两阶段设计架构
GHARP 将问题解耦为两个独立阶段，以平衡保真度、质量和运行时性能：
- 身份阶段（Identity Stage）：离线进行，负责构建主体的几何结构和外观表示。此阶段计算成本较高，但只需执行一次。
- 动画阶段（Animation Stage）：运行时进行，基于预训练的重建模型语义结构化潜在空间，预测依赖于表情的残差。该阶段采用轻量级网络，专门针对移动设备优化。
关键技术创新
- 大规模重建先验：利用多视角输入融合成紧凑、固定大小的规范高斯表示（Canonical Gaussian Representation），提供一致的空间布局。
- 身体对齐网络（Body Alignment Network）：针对表情代码仅描述面部而忽略身体姿态和衣物位置的缺陷，GHARP 引入了身体对齐网络。该网络学习将目标图像中的身体与输入参考图像对齐，消除了训练信号中的歧义，从而解决了身体区域出现的模糊和时间闪烁问题。
性能表现
- 速度提升：在 NVIDIA A100 GPU 上，运行速度比对比方法快高达 13 倍。
- 资源效率：使用的高斯点（Gaussians）数量减少了 8 倍。
- 质量指标：在 Ava-256 基准测试中取得了最先进的（State-of-the-art）质量评分。
相关背景
该研究与 Apple 此前发布的 HeadsUp（用于从多视图捕获中重建高质量3D高斯头部）和 HUGS（Human Gaussian Splats，用于可动画化的人体场景表示）一脉相承，进一步推动了神经渲染技术在动态人体建模中的应用。