Ubicept展示多模式SPAD成像：融合被动与主动感知技术

事件概述

Ubicept在其技术博客中详细阐述了如何利用单片单光子雪崩二极管（SPAD）传感器，结合其Ubicept Photon Fusion (UPF)算法和Flexible Light Acquisition and Representation Engine (FLARE)软件栈，实现被动成像与多种主动成像模式的灵活切换与融合。这一方案旨在解决传统系统中深度传感器与强度传感器分离带来的同步、校准及空间对齐难题。

核心技术与应用场景

1. 被动成像基础

Ubicept的核心优势在于利用SPAD传感器稀疏但极高速的输出，在低光照、快速运动和超高动态范围等挑战性条件下生成高质量图像。这是其FLARE引擎的基础功能。

2. 多模式主动成像扩展

在支持的设备上，FLARE可协调外部光源与传感器采集，使同一硬件具备以下主动成像能力：

• 飞行时间成像 (Time-of-Flight, ToF):

  • 原理：利用SPAD精确的时间戳测量光子往返时间以计算距离。
  • 优势：由于强度和深度数据来自同一传感器和光路，无需像双摄像头系统那样进行复杂的对齐校准，特别适合相机或场景移动的情况。

• 门控成像 (Gated Imaging):

  • 原理：传感器仅在照明脉冲后的特定时间窗口内捕获光子，从而过滤掉近距离散射光（如雾、雨、雪中的背向散射），只保留感兴趣距离的反射信号。
  • 应用：穿透恶劣天气或浑浊介质进行远距离清晰成像。

• 高速主动成像 (High-Speed Active Imaging):

  • 痛点解决：传统CMOS相机在进行光度立体摄影或多帧结构光扫描时，若物体移动会导致帧间误差和重建伪影。
  • SPAD优势：SPAD传感器能以接近100,000 fps的速度产生原始二进制帧。UPF算法可将这些高速测量重构为有用的强度图像，将原本需要数十毫秒完成的序列压缩至极短时间间隔，显著减少运动引入的误差。

3. 被动与主动感知的融合价值

• 信息互补：主动成像提供精确的几何结构（如道路标志的形状和距离），被动成像提供视觉语义信息（如标志上的文字内容）。
• 简化系统架构：在同一传感器上紧密对齐地获取两类信息，避免了多传感器融合所需的复杂同步和标定流程，尤其在动态场景中优势明显。

4. 前沿应用：非视域成像 (NLOS)

• 概念：利用可见表面（如墙壁）作为中间反射面，探测视线遮挡区域的目标。
• 机制：通过测量光子经过隐藏场景后返回的微小时间延迟差异，恢复被遮挡物体的几何信息。
• 意义：展示了SPAD高精度光子计时能力在扩展感知边界方面的潜力。

关键结论

该演示表明，基于SPAD的成像系统不再局限于单一的深度测量或被动捕捉，而是可以通过软件定义的方式，在同一硬件平台上集成ToF、门控、高速结构光等多种主动技术，并与被动高分辨率成像无缝结合。这种“多模式”能力为自动驾驶、机器人导航及工业检测等需要同时处理几何结构与视觉语义的动态场景提供了更简洁、高效的解决方案。