Temporal-Mapping Photography for Event Cameras

2024年7月，课题组博士研究生鲍宇涵、孙磊，硕士研究生马雨沁等人的论文《Temporal-Mapping Photography for Event Cameras》发表于ECCV2024会议。

期刊介绍

ECCV被认为是计算机视觉领域最重要的会议之一，与CVPR（IEEE Conference on Computer Vision and Pattern Recognition）和ICCV（International Conference on Computer Vision）并列，被誉为计算机视觉领域的“三大会议”。

论文主要图表

论文介绍

本文中，我们提出了一种利用基于事件的时域映射成像方法（Event-Based Temporal Mapping Photography），实现了<0.01lux极暗环境，118dB超大动态范围的HDR灰度成像。

传统的图像传感器受限的动态范围以及帧率，使其在智能驾驶、夜间安防等高速、高动态范围（HDR）场景下的视觉应用较为受限。事件相机，或称动态视觉传感器（Dynamic Vision Sensors, DVSs）可以能够以极高的时间分辨率响应亮度变化信息，同时具备极高的动态范围，使其在运动视觉任务中发挥着非常重要的作用。然而，事件相机仅能响应亮度变化的特性，使其丧失了获取传统灰度图像的能力，也同时丧失了获取静态场景图像信息的能力。

我们巧妙地结合了光学方法和事件相机的基本原理，通过外界调制，引起入射到像面上的亮度发生整体变化，从而使事件相机的各个位置都能采集入射光信息。我们利用一个加装在事件相机前的透过率调整附件，调控入射至事件相机像面的整体亮度；利用受调控的亮度变化，将各像素的灰度映射至时间，利用事件相机的高时间分辨特性记录由全暗变亮过程中各像素的第一个正事件（initial positive event，IPE）的时间戳；根据IPE时间戳与各像素灰度的关系，通过一个时域映射过程及独特设计的去退化网络，得到高动态范围灰度图像。

过去利用运动事件恢复灰度的方法（如E2VID）仅能在动态场景中应用，而我们的方法在动静态场景中均适用，并能提供准确的灰度信息。相较于传统图像传感器，我们仅用单次短时曝光即可获得传统HDR多次包围曝光的高动态范围成像效果，极大地减轻了HDR图像的运动模糊以及融合伪影。

这项工作不仅推动了事件相机领域的前沿发展，使得事件相机真正实现了动态视觉和静态视觉的统一，为事件相机的诸多应用提供了研究基础，也为事件相机的商业化应用部署提供了全新方案。

BibTeX

@inproceedings{bao2025temporal,
  title={Temporal-mapping photography for event cameras},
  author={Bao, Yuhan and Sun, Lei and Ma, Yuqin and Wang, Kaiwei},
  booktitle={European Conference on Computer Vision},
  pages={55--72},
  year={2025},
  organization={Springer}
}