摘要：随着城市电力需求的不断增长，直膨式可变风量空调系统（Direct Expansion Variable Air Volume System，DXVAV）可作为灵活调节负载，参与电力系统需求响应调控。然而，如何在满足温度舒适性和安全约束的同时，优化功率控制并避免功率峰值反弹，仍然是一个亟待解决的挑战。针对这些问题，本文提出一种基于深度强化学习（Deep Reinforcement Learning，DRL）的无模型控制策略，利用其自学习和自适应能力，实现对DXVAV系统的智能调控。此外，我们引入一种基于非线性映射的安全层，以确保空调系统组件的安全性。同时，设计了一种自适应奖励机制来应对恢复阶段可能出现的功率峰值反弹问题，维护了电网的平稳性。最后，通过引入累计奖励优化策略，更好地追踪和优化控制策略，解决了空调系统中的控制延迟问题。仿真结果表明，所提出的策略能有效降低实时功率至需求响应目标，并确保恢复阶段功率平稳，有效提升系统灵活性和安全性。
文章目录
0 引言
1 空调系统建模
1.1 DXVAV框架
1.2 关键部件建模
2 基于深度强化学习的空调系统控制
2.1 DXVAV系统控制问题的阐述
2.2 Safe Soft Actor-Critic(safe-SAC)算法框架
2.3 基于安全层的策略约束
2.4 自适应目标设计
2.5 累计奖励回调函数
3 实验
3.1 测试系统
3.2 算法对比
3.3 safe-SAC智能体的训练过程
3.4 DXVAV系统的在线控制
3.5 消融实验
4 结论
