摘要：强化学习具有强大的自适应性和学习能力，能够根据环境的变化和反馈信号来不断调整策略和行为，从而实现持续优化，为城市交通信号控制提供了新的技术手段。针对现有强化学习方法在交通信号协同控制中存在的智能体协作效率低下与控制区域划分机制缺失问题，本文提出一种交通信号分层协同控制架构，通过构建交叉口智能体，进行状态空间与回报函数的关联性协同设计，并建立基于拥堵扩散的交通控制子区划分模型，实现动态划分交通控制子区。最后构建子区智能体协调子区内部交叉口智能体，交叉口智能体根据子区智能体提供的全局性建议以及所在交叉口情况完成信号控制方案的优化，实现区域交通信号分层协同控制。仿真结果表明，与现有定时控制与强化学习方法相比，所提出方法平均行程时间分别降低56.78%和29.23%。相比MPLight方法，平均速度提升7.21%，平均行程时间与停车次数分别减少22.62%和3.98%。此外，通过对比在不同规模以及拓扑结构路网的性能表现，验证了提出方法在同质交叉口路网中具有一定可移植性。
文章目录
0 引言
1 单智能体信号控制架构设计
1.1 单智能体RL要素设计
1.2基于近端策略优化的单智能体信号控制方法
2 区域交通信号分层协同控制
2.1 控制子区动态划分方法
2.2 分层协同控制框架
3 仿真测试
3.1 实验设置
3.2测试结果分析
4 结论
