Computational Imaging for Machine Perception: Transferring Semantic Segmentation Beyond Aberrations

2024年3月，课题组博士研究生蒋奇、时昊、高少华、孙磊等人的论文《Computational Imaging for Machine Perception: Transferring Semantic Segmentation Beyond Aberrations》发表于T-CI期刊。

期刊介绍

IEEE Transactions on Computational Imaging是IEEE旗下计算成像领域权威期刊，SCI二区、JCR一区，2023年影响因子4.2。该期刊在数学-计算数学领域JCR综合排名10/189，在数学-信号处理领域JCR综合排名25/131。

论文主要图表

论文介绍

本文中，我们改变了传统计算成像“给人看”的观念，提出直接成像给智能机器，让智能感知算法直接处理成像系统编码的受损图像信号，从而避免了繁琐、消耗计算资源的图像重建步骤，实现了使用极简成像系统完成高精度的场景感知。

传统的智能感知终端往往使用复杂的光学系统来确保获取图像的质量，这样的光学系统重量大、体积大、成本高，同时耐用性差，限制了其在移动、可穿戴设备上的应用。因此，使用轻薄的系统甚至极简系统来实现智能感知是现在行业迫切需求的，但这样的系统往往需要计算成像算法的辅助来确保输出图像的质量，这带来了额外的计算资源消耗。同时，算法重建的图像虽然人眼看上去更加清晰，但其数据分布可能发生偏移，这导致重建图像并不能有效提升智能感知的精度。

为了解决这一问题，本文提出直接使用极简系统输出的带严重像差退化的图像进行智能场景感知任务，提出了一种基于计算成像辅助的域适应框架 （CIADA），同时填补了这一领域的空白，提出一套随机像差生成方法，构建了该任务的评估基准和训练、测试数据集，该评估基准和数据集已经公开，可供后续该领域研究人员使用。

具体地，我们的随机像差生成方法建立在泽尼克模型上，通过随机生成随视场变化的泽尼克系数分布，我们构建了虚拟透镜组，该透镜组涵盖不同像差特性、像差严重程度的透镜样本，能够涵盖常见极简系统的多样像差分布。基于该虚拟透镜库，我们能将任何现有的场景感知数据集变成像差下的数据集，作为训练数据与评估基准。

此外，CIADA框架有以下2个主要两点：

1. 提出利用无监督域适应（UDA）思路来解决像差下场景感知问题，在无需访问像差图像对应清晰图的情况下，实现清晰数据到像差数据的适应，该情形与真实场景等效，避免了仿真数据带来的域差异问题；
2. 计算成像算法在CIADA中仅扮演教师模型的角色，得益于知识蒸馏架构，我们在推理时无需使用计算成像模型便可获得受计算成像重建带来的场景感知精度提升效果。

通过广泛的实验，包括两个数据集相互的域适应实验，CIADA证明了其在极简系统智能场景感知任务上的领先性能，其表现远超先计算成像恢复再感知的传统流程和现有的域适应方案。

这项工作为计算成像系统的应用提供了新的见解，使其不再局限于输出人眼感官最优的图像，而是直接面向下游智能终端的应用。我们期待着该技术在未来更多智能感知算法中的应用。

代码仓库

Github

BibTeX

@article{jiang2024computational,
  title={Computational Imaging for Machine Perception: Transferring Semantic Segmentation Beyond Aberrations},
  author={Jiang, Qi and Shi, Hao and Gao, Shaohua and Zhang, Jiaming and Yang, Kailun and Sun, Lei and Ni, Huajian and Wang, Kaiwei},
  journal={IEEE Transactions on Computational Imaging},
  volume={10},
  pages={535--548},
  year={2024},
  publisher={IEEE}
}