摘要：精准的交通流量预测是智能交通系统和智慧城市建设的关键。交通流量数据具有复杂的时空依赖性，呈现出多粒度的特征变化和动态演化规律。现有方法在捕获多粒度时空特征方面存在局限，难以充分挖掘丰富时空关联。预训练大语言模型(Pre-trained Large Language Model， PLM)在特征表示学习方面展现出巨大潜力，但由于其预训练数据主要集中在自然语言领域，与交通流量数据存在显著的领域差异，限制了其直接应用效果。为解决上述问题，本文提出了一种基于预训练时空自注意力模型的交通流量预测框架(Pre-trained Spatio-Temporal Attention Model for Traffic Flow Prediction， PSTAM)。首先通过创新的双路径激活机制解决领域差异问题，实现特征对齐与融合；其次利用预训练策略对多粒度时空特征进行深度建模，增强对复杂时空依赖关系的捕获能力。实验结果表明，PSTAM在多个标准交通数据集上优于现有方法，为智能交通系统的实时决策提供了可靠支持。
文章目录
0．引言
1．相关工作
1.1 交通流量预测
1.2 预训练大模型在交通流量预测的应用
2．问题定义
2.1 交通流量数据表示
2.2 交通流量预测任务
3．基于预训练时空自注意力大模型的交通流量预测
3.1 双激活领域桥接模块
3.2 时空特征多重嵌入模块
3.3 预训练多粒度时空Transformer模块
3.4 输出回归层
4. 实验与分析
4.1实验设置
4.2数据集
4.3 对比实验
4.4 消融实验
4.4.1 模块消融实验
4.4.2 参数敏感性实验
4.5 案例研究
4.5.1 高峰期交通流量预测分析
4.5.2 交通模式转换期预测分析
5. 结论
