摘要：红外图像与可见光图像的融合旨在结合两者的优势，互补彼此在不同环境下的局限，以生成更全面、信息更丰富的图像，从而提升在多种应用场景下的目标检测与识别能力。针对FusionGAN在融合图像时出现的细节不丰富、图像不清晰等问题，本文提出了一种基于交叉注意力机制的改进的GAN方法。该方法将自编码器（Autoencoder， AE）结构融入生成器中，以增强生成器的表达能力。在自编码器的融合层引入了交叉注意力机制（Cross-Attention），促进了不同模态特征的有效对齐和融合。通过生成器与判别器的对抗学习，利用深度学习网络实现高质量图像融合。最后，通过对经典算法和改进模型进行主客观评估，改进算法在相关系数（CC）、差异相关性总和（SCD）以及基于伪影的指标(NAB/F)这三项客观指标上，分别取得了0.575、1.742和0.011的成绩，均位列榜首。从主观上来看，所研究融合方法产生的融合图像不仅信息含量丰富，而且具备优异的视觉舒适度，符合人眼的感知习惯。
文章目录
1 基于 GAN 的红外与可见光图像融合方法—FusionGAN
1.1 生成对抗网络 GAN
1.2 FusionGAN算法
2 基于交叉注意力 GAN 的红外与可见光图像融合方法
2.1 改进的FusionGAN红外与可见光图像融合方法
2.2 生成器与判别器设计
2.3 损失函数设计
3 实验与分析
3.1 数据集与评价方法
3.2 实验结果
3.3 评价
3.3.1 主观分析
3.3.2 客观分析
3.4 消融实验
3.4.1 客观分析
3.4.2 主观分析
4 结 论
