文件大小：1.33M
摘要：为提升融合图像的质量和信息完整性，解决红外与可见光图像融合中存在的特征提取能力不足、缺乏纹理细节以及全局上下文信息丢失等问题，提出一种红外与可见光图像的融合与分解网络架构。首先，利用Restormer和Res2Net的并联结构，通过多个深度卷积头转置注意力机制和多尺度残差连接，协同捕获全局上下文信息和局部细节特征；其次，通过带有仿射耦合结构的可逆神经网络，将红外与可见光图像浅层特征分为两部分，利用交替耦合变换实现特征无损保留；然后，重建模块利用拼接及卷积操作生成高质量融合图像。最后，分解网络通过最小化分解损失函数，将融合图像逆向分解为源图像。实验结果表明，在RoadScene数据集上，本文方法的主客观结果优于多数对比方法，其中标准差、差异相关系数、平均梯度和空间频率较其他对比方法分别平均提升了8.5%、23.1%、49.0%和56.1%；在MSRS数据集上，本文方法较最新的SDCFusion方法在标准差、视觉信息保真度、平均梯度、差异相关系数和空间频率方面分别提升了1.4%、0.4%、0.6%、4.3%和3.4%。所提方法在提升融合图像质量、保留纹理细节和全局信息方面展现出显著优势。
文章目录
1 相关理论
1.1 Restormer
1.2 可逆神经网络
2 本文方法
2.1 网络总体结构
2.2 特征提取模块
2.3 细节补偿模块
2.4 重建模块
2.5 分解网络
2.6损失函数
2.6.1融合损失
2.6.2分解损失
3 实验结果与分析
3.1数据集和实验设置
3.2评价指标和对比方法
3.3 MSRS数据集上的对比试验
3.3.1 主观结果分析
3.3.2 客观结果分析
3.4 RoadScene数据集上的对比实验
3.4.1 主观结果分析
3.4.2 客观结果分析
3.5 消融实验
