基于多模态的小样本遥感影像地物分类模型

2025-06-09 40 4.05M 0

  针对遥感影像覆盖范围大、标注困难、类别融合适配度弱的问题,该文提出一种基于图像-文本多模态融合的小样本语义分割网络模型(FSSNet),采用编解码结构,编码器提取、语义对齐图像-文本多模态特征,并引入类别信息融合模块、实例信息提取模块。其中利用相关性原理设计基于对比语言-图像预训练(CLIP)模型的类别信息融合模块以增强查询图像与支持图像、文本间类别的适配;利用支持图像的实例目标区域作为先验提示,设计基于改进金字塔特征网络(IFPN)的实例信息提取模块,以提高查询图像目标区域分割的完整性。解码器引入多尺度特征融合的语义聚合模块,聚合类别信息、多尺度实例位置信息和查询图像特征,准确识别地物语义类别。在小样本语义分割数据集PASCAL-5i,公共遥感影像地物分类数据集LoveDA, Postdam和Vaihingen进行实验,该文FSSNet模型在PASCAL-5i数据集上的1-shot, 5-shot的平均交并比(m Io U)精度超越多信息聚合网络(MIANet),优于最佳水平(SOTA)模型分别为2.29%, 1.96%;在数据集LoveDA, Postdam和Vaihingen上的mIoU精度,优于SOTA模型分别为2.1%, 1.4%, 1.9%。在水利工程实际场景构建数据集HERSD,并进行实验,该文FSSNet模型的mIoU精度高于SOTA模型1.89%。结果表明该文FSSNet模型在遥感影像小样本地物分类、水利实际场景具有更高的分类识别精度。



您还没有登录,请登录后查看详情



 
举报收藏 0打赏 0评论 0
本类推荐
下载排行
网站首页  |  关于我们  |  联系方式  |  用户协议  |  隐私政策  |  版权声明  |  网站地图  |  排名推广  |  广告服务  |  积分换礼  |  网站留言  |  RSS订阅  |  违规举报  |  蜀ICP备2024057410号-1