苹果提出 LGTM 框架:以更少高斯实现 4K 前馈纹理渲染

针对现有前馈式 3D 高斯泼溅(Gaussian Splatting)方法随分辨率提升导致图元数量呈二次方增长、难以支持 4K 合成的问题,苹果机器学习研究团队提出了 LGTM 框架。该方案通过预测紧凑的高斯图元并耦合每图元的纹理,成功将几何复杂度与渲染分辨率解耦。实验表明,LGTM 无需场景优化即可实现高保真 4K 新视角合成,且显著减少了所需的高斯图元数量。

事件概述

苹果机器学习研究团队(Apple Machine Learning Research)联合香港大学等机构,于 2026 年 3 月发表了一篇题为《Less Gaussians, Texture More: 4K Feed-Forward Textured Splatting》的论文,提出了一种名为 LGTM (Less Gaussians, Texture More) 的新框架。

核心挑战

现有的前馈式 3D 高斯泼溅(Feed-forward 3D Gaussian Splatting)方法通常预测像素对齐的图元(primitives)。这种机制导致随着图像分辨率的提升,所需的图元数量呈二次方增长。这一根本性限制使得高分辨率(如 4K)的合成在计算上变得不可行,严重阻碍了此类方法的扩展性。

LGTM 技术方案

LGTM 框架旨在突破上述分辨率扩展瓶颈,其核心创新点包括:

  • 几何与纹理解耦:该方法不再单纯依赖增加图元数量来适应高分辨率,而是预测更紧凑的高斯图元,并为每个图元单独生成纹理(per-primitive textures)。
  • 降低资源消耗:通过将几何复杂度与渲染分辨率解耦,LGTM 能够在保持高保真度的同时,显著减少所需的高斯图元总数。
  • 前馈推理能力:作为前馈框架,LGTM 无需进行传统的每场景优化(per-scene optimization),即可直接处理输入数据。

关键成果

  • 4K 新视角合成:LGTM 首次实现了无需场景优化的 4K 分辨率高质量新视角合成,解决了此前前馈方法无法触及的高分辨率难题。
  • 效率提升:在达到同等或更高视觉质量的前提下,相比传统方法大幅降低了图元数量,提升了渲染效率。

背景信息

  • 作者团队:Yixing Lao, Xuyang Bai, Xiaoyang Wu, Nuoyuan Yan, Zixin Luo, Tian Fang, Jean-Daniel Nahmias, Yanghai Tsin, Shiwei Li, Hengshuang Zhao。
  • 发布会议:ICLR (International Conference on Learning Representations)。
  • 相关领域:计算机视觉、神经渲染(Neural Rendering)。
  • 关联工作:该研究延续了团队在 3D 高斯泼溅领域的探索,此前曾发布过针对可动人体表示的 HUGS (Human Gaussian Splats) 及基于 GAN 的 3D 纹理生成方法 Texturify。
来源:Apple Machine Learning Research
返回列表

准备好启动您的定制项目了吗?

现在咨询,即可获得免费的业务梳理与技术架构建议方案。