文件大小：1.26M
摘要：在移动边缘计算中，边缘端服务器和移动终端利用联邦学习分布式架构构建深度模型，使得终端之间无需共享数据就可以协作训练，然而深度模型训练需要在服务器和多个客户终端之间进行多轮通信传输，需要消耗大量的通信资源和训练开销。针对这种问题，提出了一种通信高效的联邦学习模型剪枝（CEMP-FL）架构，服务器运行单次层平衡网络剪枝（SBNP）算法，通过粗剪枝和精细剪枝的组合，并结合非结构化稀疏参数压缩，显著减少了通信过程中传输的深度模型参数量，并有效减少了终端侧训练样本分布差异所带来的剪枝偏差。同时，使用网络剪枝的层平衡（LBP）策略，确保了深度模型层之间参数量平衡，在稀疏度很大的情况下有效的推迟了深度模型坍塌。最后，在两种基准数据集中讨论了CEMP-FL在无线场景中的性能，实验表明，提出的CEMP-FL在保持性能的前提下取得了最优的通信成本压缩比，实现了在联邦学习分布式训练架构下的高效通信。
文章目录
0 引言
1 相关工作
1.1 联邦学习
1.2 深度模型剪枝
1.3 联邦学习剪枝
2 通信高效的联邦学习模型剪枝架构
3 单次层平衡网络剪枝算法SBNP
3.1 单次网络剪枝方法
3.2 网络剪枝的层平衡策略Layer Balance Policy (LBP)
3.3 非结构化剪枝参数矩阵压缩
4 通信高效的联邦学习模型剪枝CEMP-FL算法描述
5 实验及性能分析
5.1 实验设置和对比算法
5.2 CEMP-FL算法性能讨论
5.3 算法性能比较和讨论
6 结束语
