Apple ML Research:WD-R 损失函数显著提升 3D Gaussian Splatting 渲染质量与压缩效率
Apple ML Research 团队针对 3D Gaussian Splatting (3DGS) 方法常因像素级损失组合导致渲染模糊的问题,系统探索了基于感知优化的策略。通过涉及 39,320 次人类主观评分的大规模研究,提出的正则化 Wasserstein 失真(WD-R)在纹理恢复和视觉偏好上均优于原始 3DGS 损失及当前最佳方法 Perceptual-GS。该优化方案不仅提升了 LPIPS、DISTS 等指标,还能在保持资源预算不变的情况下实现约 50% 的比特率节省。
事件概述
针对 3D Gaussian Splatting (3DGS) 技术中常见的渲染模糊问题,Apple Machine Learning Research 团队提出了一种名为“即插即用感知优化”(Drop-In Perceptual Optimization)的新方法。该方法通过搜索多种失真损失函数,旨在提升最终由人类观看者感知的渲染质量。
核心发现与数据
- 大规模人类主观评估:研究进行了同类首创的大规模实验,涵盖多个数据集和 3DGS 框架,累计收集了 39,320 次成对评分。结果显示,新提出的 WD-R(正则化 Wasserstein Distortion)损失函数表现最优。
- 视觉偏好对比:
- WD-R 获得的人类评分偏好度是原始 3DGS 损失的 2.3 倍。
- 相比当前最佳方法 Perceptual-GS,WD-R 的偏好度高出 1.5 倍。
- 客观指标表现:WD-R 在多个数据集上 consistently 取得了最先进的 LPIPS、DISTS 和 FID 分数,且在无需增加高斯球(splat)数量的前提下,有效恢复了精细纹理。
泛化能力与资源优化
WD-R 具有极强的通用性,可无缝集成到近期的 3DGS 框架中,包括 Mip-Splatting 和 Scaffold-GS:
- Mip-Splatting:替换为 WD-R 后,在相同的高斯球数量预算下,重建结果获得人类偏好的比例提升了 1.8 倍。
- Scaffold-GS:在相同的模型大小预算下,重建结果获得人类偏好的比例提升了 3.6 倍。
此外,该优化方案在 3DGS 场景压缩任务中也表现出显著优势。在保持可比感知指标性能的前提下,WD-R 实现了约 50% 的比特率节省。
结论
WD-R 作为一种高效的感知损失函数,解决了传统 3DGS 方法依赖启发式像素级损失导致的模糊问题。它不仅大幅提升了渲染的主观质量,还在不增加计算或存储成本的基础上,显著优化了压缩效率,为 3D 内容生成与传输提供了新的优化路径。
