单幅图像去雨数据集和深度学习算法的联合评估与展望

作者:胡明娣; 吴怡; 宋尧; 杨静冰; 张瑞芳; 王红; 孟德宇
更新时间:

雨天会影响室外图像采集的质量,导致室外视觉任务性能下降。基于深度学习的单幅图像除雨研究以其优越的算法性能吸引了大家的关注,主要集中在数据集质量、图像除雨方法、后续高层次单幅图像除雨任务研究和性能评价指标等方面。为了便于研究人员快速、全面地了解这一领域,本文从以上四个方面总结了基于深度学习的单图像除雨的主流文献。根据数据集的构建方法,雨图数据集分为四类:基于背景雨层的简单添加、背景雨层的复杂集成、由对抗网络(GAN)生成的数据驱动合成数据集和半自动采集的真实数据集。根据任务场景、学习机制和网络设计,对主流算法进行了分类和总结。本文总结了单任务和联合任务的雨水去除算法。单一任务是清除雨滴、雨痕、雨雾和暴雨。联合任务是清除雨滴、雨痕和所有噪音。本文总结了学习机制和网络构建方法(如CNN卷积神经网络的结构、多分支组合、GAN的生成结构、循环和多阶段结构、多尺度结构、编解码器结构、基于注意和基于Transformer)以及数据模型的双驱动构建方法。本文总结了后续高层次的单幅图像除雨任务和图像除雨算法性能评价指标的研究文献。通过合成数据集与真实数据集的综合实验比较,证实了领域知识隐式引导网络的构建可以有效提高算法的性能,而领域知识显式引导正则化网络的学习有可能进一步提高算法的泛化能力。最后,指出了单幅图像除雨技术目前面临的挑战和未来的研究方向。