Exploring event-based human pose estimation with 3D event representations

2024年10月，课题组博士研究生印晓婷、时昊、王泽、叶耀祖等人的论文《Exploring event-based human pose estimation with 3D event representations》发表于CVIU期刊。

期刊介绍

《Computer Vision and Image Understanding (CVIU)》 是 Elsevier 旗下的计算机视觉领域期刊，2023年影响因子为 4.3。该期刊为 CCF B类 期刊，在 JCR 的计算机科学人工智能分类中排名 54/197 (Q2)，在工程电子与电气分类中排名 83/352 (Q1)。

论文主要图表

论文介绍

《Exploring Event-based Human Pose Estimation with 3D Event Representations》这篇论文的第一作者为博士生印晓婷，时昊与陈家安为共一。传统相机在高动态范围和运动模糊场景中表现欠佳，而事件相机则凭借其高时间分辨率，在复杂动态场景下展现出极大的潜力。然而，现有方法往往将事件数据累积为事件帧并输入常规CNN处理，未能充分利用事件相机的异步性与高时间分辨率。为了解决这一问题，本文针对人体姿态估计任务提出了两种创新的3D事件表示方法——栅格化事件点云（RasEPC）和解耦事件体素（DEV）。RasEPC通过在相同位置的简短时间片内聚合事件，保留了事件的三维属性，同时显著降低内存与计算需求；DEV通过解耦事件注意力机制，将事件数据离散为体素，然后从二维投影平面中提取三维信息。我们还发布了包含噪声与无噪声两个版本的合成数据集 EV-3DPW，并在 DHP19、MMHPSD 和 EV-JAAD 数据集上验证了该方法的有效性。此外，通过小车采集数据的 zero-shot 测试进一步验证了这两种3D事件表示方法的鲁棒性。

本研究不仅推动了事件相机在人体姿态估计中的应用，还展示了其在边缘计算平台上进行实时处理的潜力。未来，事件相机在更多领域的应用与研究将继续受到关注与探索。

BibTeX

@article{yin2024exploring,
  title={Exploring event-based human pose estimation with 3D event representations},
  author={Yin, Xiaoting and Shi, Hao and Chen, Jiaan and Wang, Ze and Ye, Yaozu and Yang, Kailun and Wang, Kaiwei},
  journal={Computer Vision and Image Understanding},
  pages={104189},
  year={2024},
  publisher={Elsevier}
}