Representing domain-mixing optical degradation for real-world Computational Aberration Correction via vector quantization

2025年5月，课题组博士研究生蒋奇、易中华等人的论文《Representing domain-mixing optical degradation for real-world Computational Aberration Correction via vector quantization》发表于OLT期刊。

期刊介绍

Optics&Laser Technology是Elsevier旗下光学领域经典期刊，SCI二区、JCR一区，2024-2025年影响因子5.0。该期刊在光学领域JCR综合排名21/125，在物理-应用领域JCR综合排名30/187。

论文主要图表

论文介绍

计算像差校正是计算成像领域中的重要基础问题，其目标是通过后处理算法，对光学成像过程中由设计缺陷、装配误差等因素引起的光学像差带来的图像退化问题进行校正，在极简光学系统成像等领域发挥至关重要的作用。而现有的基于深度学习的计算像差校正范式依赖目标光学系统的成像仿真数据集进行模型训练，这些数据不可避免地与真实镜头拍摄的数据存在域差距（domain gap）问题，导致训练的模型往往难以泛化至真实数据，校正图像出现伪影、残留像差等问题，严重损害了计算像差校正技术在真实系统中部署的应用前景。

针对这一问题，区别于传统不断优化数据集精度的解法，课题组研究团队另辟蹊径，提出使用感知检测领域中常用的域适应（Domain Adaptation，DA）技术路线，通过模型训练过程中直接加入真实拍摄图像进行无监督/自监督训练，在不引入额外推理开销的前提下，大大提升了模型对真实数据的处理能力。该工作在计算像差校正领域首次探索了DA路线的可行性，为解决domain gap这个计算像差校正领域常见又具有挑战性的问题提供了新的思路和角度；同时本工作提供的基准数据集，也有利于促进该领域研究人员进一步进行DA框架的研发和探讨，为计算成像社区作出了贡献，相关代码和数据已开源在https://github.com/zju-jiangqi/QDMR。

具体而言，DA路线的核心是将没有配对真值的真实图像数据送入模型，设计自监督或无监督约束优化模型学习真实数据分布，从而解决域差距问题。因此，课题组研究团队提出一套基于矢量量化（VQ）的域混合像差退化表征方案，该方案的核心思想是通过对仿真和真实的像差图像通过同一个自回归模型进行重建，从而让模型在潜在特征空间学习到各个数据域的退化先验信息，并通过该信息指导下游的像差校正模型；其中，VQ策略用于直观存储学习到的关键特征向量，以便于作为指导特征。此外，研究团队进一步利用了VQGAN生成图像的能力，借助学习的混合像差退化表征实现了从仿真域数据到真实域数据的转换，为目标真实域上的模型训练提供了“伪”配对数据。最后，结合混合像差退化表征的指导、伪配对数据的监督以及经典的特征对齐DA策略，研究团队成功实现了对真实数据鲁棒的计算像差校正模型的DA训练，训练的模型有效解决了domain gap带来的伪影问题，在仿真和真实数据的benchmark上均取得了SOTA的结果。 该工作有望为计算像差校正领域提供新的研究方向，通过探索利用目标无配对的实拍数据进行训练的DA框架，来更效率、更有效地解决domain gap问题，推进未来计算像差校正技术和极简光学系统设计思路在商业化成像模组中的广泛应用。

代码仓库

Github

BibTeX

@article{jiang2025representing,
  title={Representing domain-mixing optical degradation for real-world Computational Aberration Correction via vector quantization},
  author={Jiang, Qi and Yi, Zhonghua and Gao, Shaohua and Gao, Yao and Qian, Xiaolong and Shi, Hao and Sun, Lei and Niu, Jinxing and Wang, Kaiwei and Yang, Kailun and others},
  journal={Optics \& Laser Technology},
  volume={183},
  pages={112080},
  year={2025},
  publisher={Elsevier}
}