CoBEV: Elevating Roadside 3D Object Detection with Depth and Height Complementarity

2024年9月，课题组博士研究生时昊的论文《CoBEV: Elevating Roadside 3D Object Detection with Depth and Height Complementarity》发表于T-IP期刊。

期刊介绍

IEEE Transactions on Image Processing (T-IP) 是IEEE旗下计算机视觉领域顶级期刊，SCI、JCR一区，2023年影响因子IF=10.8。在JCR工程分类期刊中排名9/352。

论文主要图表

论文介绍

实验室团队联合牛津大学、卡尔斯鲁厄理工学院，完成了一篇关于提升智能交通系统中路侧摄像头单目3D目标检测性能的论文《CoBEV: Elevating Roadside 3D Object Detection with Depth and Height Complementarity》，第一作者为博士生时昊。本文中，我们提出了一种名为“Complementary-BEV (CoBEV)”的新型端到端单目3D目标检测框架，首次将深度和高度特征的互补性整合到Bird’s-Eye-View (BEV) 表示中。相较于以往仅使用深度或高度特征的研究，CoBEV能够充分利用深度特征提供的几何信息以及高度特征带来的语义上下文，从而构建更为鲁棒的BEV表示。此外，我们设计了一个两阶段互补特征选择（CFS）模块，并集成了BEV特征蒸馏框架，以进一步提升检测精度。我们在多个公共3D检测基准（DAIR-V2X-I 和 Rope3D）及私有Supremind-Road数据集上进行了大量实验，结果表明，CoBEV不仅在easy模式下首次达成80%的车辆AP分数，达到了新一代的最先进水平，还显著提升了在远距离场景和摄像头内外参噪声干扰下的鲁棒性，并在异构设置中大幅提高了泛化能力。

这项工作不仅推动了单目3D检测技术在智慧交通系统中的前沿发展，也提升了路端检测框架对于相机内外参噪声的鲁棒性。我们期待该BEV检测技术在未来的进一步研究与探索。

BibTeX

@article{shi2024cobev,
  title={Cobev: Elevating roadside 3d object detection with depth and height complementarity},
  author={Shi, Hao and Pang, Chengshan and Zhang, Jiaming and Yang, Kailun and Wu, Yuhao and Ni, Huajian and Lin, Yining and Stiefelhagen, Rainer and Wang, Kaiwei},
  journal={IEEE Transactions on Image Processing},
  year={2024},
  publisher={IEEE}
}