摘要:连续学习是一种能在连续的数据流中训练模型的深度学习范式,适合日益开放复杂的智能应用场景。连续学习最大的挑战是“灾难性遗忘”,即模型在学习新知识后会遗忘过去学习的知识。现有的连续学习忽视了不确定性对模型训练的影响,且大多数方法都聚焦于连续学习后续阶段的改进,对模型初始阶段研究较少。本文提出一种基于不确定性校正的可信连续学习方法,通过在初始阶段约束模型输出的不确定性来弥补模型参数漂移带来的分类误差,从而缓解“灾难性遗忘”。本文方法可以与其它连续学习方法相结合并形成改进模型,具有较强的通用性。本文对三种经典的连续学习方法进行改进,实验结果表明均能有效提高原始模型的性能:在两个数据集上平均准确率提升1.2%-19.1%。除此之外,本文引入期望校准误差评判连续学习模型的可靠性,实验表明,对比原始模型,基于本文方法的改进模型具有更低的期望校准误差,这证明基于本文方法的改进模型更加可信。
文章目录
0 引言
1 相关工作
1.1 连续学习研究
1.2 本文方法提出背景
2 基于不确定性校正的连续学习方法UC-RCL
2.1 UC-RCL总体介绍
2.2 基于知识蒸馏的连续学习方法
2.3 基于不确定性校正的连续学习方法
3 实验结果与分析
3.1 数据集介绍
3.2 实验设置和数据集划分
3.3 评价指标
3.4 基准方法
3.5 实验结果
3.6 有效性分析
3.7 可靠性证明
3.8熵值实验
3.9参数设置实验
4 结论