摘要：针对文本生成图像算法存在的部分特征缺失、生成图像质量低及布局属性不匹配等问题，提出一种基于改进稳定扩散模型的文本生成图像算法(ISD-NC)。通过引入判别器来最大化潜在表征和浅层特征的互信息，提高潜在表征与浅层特征的相似度，保留原始图像信息；根据主干网络和跳跃连接的作用，引入比例因子，动态调节特征的权重比例，提高生成图像的质量；结合NoiseCollage网络，增加布局条件，通过掩膜交叉注意力机制实现复杂的多目标文本条件的图像生成。在MS COCO数据集上与Cogview、DF-GAN、Stable Diffusion、KNN-diffusion算法进行定性和定量分析及消融实验，结果表明：ISD-NC算法生成的图像具有更优的细节保真度和生成质量；与基于扩散模型的Stable Diffusion、KNN-diffusion算法相比，FID平均降低28.99%，IS平均提升10.21%。
文章目录
0 引言
1 相关研究方法
1.1 扩散模型
1.2 稳定扩散模型
2 改进的稳定扩散模型
2.1 互信息最大化
2.2 改进U-Net
2.3 结合NoiseCollage
3 实验结果及分析
3.1 数据集与实验设置
3.2 定性分析
3.3 定量分析
3.4 结合NoiseCollage
3.5 消融实验
3.5.1 VAE互信息最大化消融实验
3.5.2 改进U-Net网络消融实验
4 结论
