北航新闻网10月20日电(通讯员 史洁玉)近日,《Nature》子刊《Nature Machine Intelligence》(2021年第10期)以全文Article形式刊发了我校宇航学院白相志教授团队最新研究成果“Neutralizing the impact of atmospheric turbulence on complex scene imaging via deep learning”,提出了一种基于多尺度时空域注意力机制的生成对抗网络模型,逆向推理大气湍流效应导致的二维成像退化过程,揭示了深度学习在推演复杂随机物理过程方面的潜力。
大气湍流效应广泛存在于日常生活和工业生产中。在大雷诺数、惯性力对流场影响为主导的情况下,流体失稳并分化为尺度不一的湍涡,形成湍流。在高分对地观测、远距离成像探测、大范围安防监测等应用中,湍流使得大气折射率随时间和空间作无规则变化,导致光在传输过程中发生强度、相位和方向性波动,最终成像结果包含高度耦合的时变-空变模糊和几何畸变退化(图1)。而湍流的各向异性、不均匀性和不确定性,使得上述退化过程高度病态、高度非线性。因此,对这一物理过程进行逆向推理、抵消成像过程中大气湍流引起的退化效应是一项巨大挑战。
图1. 大气湍流效应下成像退化物理过程示意图
针对上述问题,白相志教授团队基于大气湍流效应成像退化机制进行半物理仿真,提出一种基于生成对抗网络的逆向推理方法(TSR-WGAN),抑制了光线波动引起的模糊效应(图2),缓解了光路变化导致的时域连续几何畸变与抖动(图3)。在PSNR、RRED等客观量化指标上均优于对比方法,在包含50名参与者的主观测试中总体得分指标领先对比方法50%以上(图4)。更为重要的是,该研究建立了大型仿真湍流数据集和真实湍流数据集(共27458段视频序列,包含411870帧图像),提供了视觉对比评测软件。研究成果可为后续湍流物理性质的探索提供理论支撑,在高分对地观测、远距离成像探测、大范围安防监测中有重要应用。
宇航学院2019级博士研究生晋达睿为该论文第一作者,白相志教授为通讯作者,北京航空航天大学为唯一完成单位。宇航学院博士研究生卢毅、陈俊彰、王鹏、郭胜,硕士研究生陈颖、刘子超在研究中也做出了重要贡献。该研究得到国家自然科学基金通用联合基金重点项目(批准号:U1736217)和国家重点研发计划(批准号: 2019YFB1311301)的支持。
图2. TSR-WGAN改善图像模糊效应效果。图中左半部分为受大气湍流效应影响的退化图像,右半部分为TSR-WGAN校正后效果。
图3. TSR-WGAN(最后一列)与其他对比方法校正抖动与几何畸变效果对比
图4.基于Bradley-Terry模型计算得到的主观成像质量归一化评价指数结果,TSR-WGAN显著高于对比方法
论文链接:https://www.nature.com/articles/s42256-021-00392-1
(审核:刘睿)
编辑:贾爱平