Apple ML Research:WD-R 损失函数显著提升 3D Gaussian Splatting 渲染质量与压缩效率

Apple ML Research 团队针对 3D Gaussian Splatting (3DGS) 方法常因像素级损失组合导致渲染模糊的问题,系统探索了基于感知优化的策略。通过涉及 39,320 次人类主观评分的大规模研究,提出的正则化 Wasserstein 失真(WD-R)在纹理恢复和视觉偏好上均优于原始 3DGS 损失及当前最佳方法 Perceptual-GS。该优化方案不仅提升了 LPIPS、DISTS 等指标,还能在保持资源预算不变的情况下实现约 50% 的比特率节省。

事件概述

针对 3D Gaussian Splatting (3DGS) 技术中常见的渲染模糊问题,Apple Machine Learning Research 团队提出了一种名为“即插即用感知优化”(Drop-In Perceptual Optimization)的新方法。该方法通过搜索多种失真损失函数,旨在提升最终由人类观看者感知的渲染质量。

核心发现与数据

  • 大规模人类主观评估:研究进行了同类首创的大规模实验,涵盖多个数据集和 3DGS 框架,累计收集了 39,320 次成对评分。结果显示,新提出的 WD-R(正则化 Wasserstein Distortion)损失函数表现最优。
  • 视觉偏好对比
    • WD-R 获得的人类评分偏好度是原始 3DGS 损失的 2.3 倍
    • 相比当前最佳方法 Perceptual-GS,WD-R 的偏好度高出 1.5 倍
  • 客观指标表现:WD-R 在多个数据集上 consistently 取得了最先进的 LPIPSDISTSFID 分数,且在无需增加高斯球(splat)数量的前提下,有效恢复了精细纹理。

泛化能力与资源优化

WD-R 具有极强的通用性,可无缝集成到近期的 3DGS 框架中,包括 Mip-SplattingScaffold-GS

  • Mip-Splatting:替换为 WD-R 后,在相同的高斯球数量预算下,重建结果获得人类偏好的比例提升了 1.8 倍
  • Scaffold-GS:在相同的模型大小预算下,重建结果获得人类偏好的比例提升了 3.6 倍

此外,该优化方案在 3DGS 场景压缩任务中也表现出显著优势。在保持可比感知指标性能的前提下,WD-R 实现了约 50% 的比特率节省。

结论

WD-R 作为一种高效的感知损失函数,解决了传统 3DGS 方法依赖启发式像素级损失导致的模糊问题。它不仅大幅提升了渲染的主观质量,还在不增加计算或存储成本的基础上,显著优化了压缩效率,为 3D 内容生成与传输提供了新的优化路径。

来源:Apple Machine Learning Research
返回列表

准备好启动您的定制项目了吗?

现在咨询,即可获得免费的业务梳理与技术架构建议方案。