资讯详情

[论]【CAFGCN】Cross-Attention Fusion Based Spatial-Temporal Multi-Graph Convolutional Network for

Cross-Attention Fusion Based Spatial-Temporal Multi-Graph Convolutional Network for Traffic Flow Prediction

原文链接,见此 作者:Kun Yu,Xizhong Qin *,Zhenhong Jia,Yan Du andMengmeng Lin 期刊:MDPI ,Sensors 关键字:交通流量预测;数据多样性;交叉注意;时空多图 相关阅读博文:阅读笔记 data code:《CAFGCN》,只有数据没有代码


文章目录

  • Cross-Attention Fusion Based Spatial-Temporal Multi-Graph Convolutional Network for Traffic Flow Prediction
    • 摘要
    • 1. Introduction
    • 2. Related Work
      • 2.1. T raffic Flow Prediction
      • 2.2. Multi-Graph Convolutional Networks
      • 2.3. Cross-Attention Mechanism
    • 3. Preliminaries
    • 4. Methodology
      • 4.1. Multi-Level Temporal Inputs
      • 4.2. Multi-Graph Convolutional Layer
        • 4.2.1. Multi-Graph Construction
        • 4.2.2. Multi-Graph Convolutional Network
      • 4.3. Cross-Attention Mechanism Fusion
        • 4.3.1. Cross Attention
        • 4.3.2. Feature Fusion
    • 5. Experiment
      • 5.1. Datasets Description
      • 5.2. Settings
      • 5.3. Baselines
      • 5.4. Evaluation Metric
      • 5.5. Experiment Results Analysis
      • 5.6. Ablation Experiment
    • 6. Conclusions and Outlook
    • References

摘要

准确的交通流预测对智能交通城市的建设至关重要。现有的研究主要采用给定的单图结构作为模型,只考虑局部和静态的空间依赖,忽略了动态时空数据多样性的影响。提出了充分捕捉时空数据多样性的特点基于交叉注意融合的时空多图卷积网络(CAFMGCN) a cross-Attention Fusion Based Spatial-Temporal Multi-Graph Convolutional Network (CAFMGCN) mode交通流预测模型。GCN历史交通数据建模三个时间属性(当前、日、周),提取时间特征。??其次,考虑距离与交通流的关系,构建相邻图、连接图和区域相似图获取动态空间拓扑信息。为充分利用全局信息,引入交叉注意机制 a cross-attention mechanism,将时间和空间特征分开,以减少预测误差。最后,对 CAFMGCN 实验结果表明,该模型的预测比其他模型的基线预测更准确、更有效。

1. Introduction

在智能交通城市中,交通流量预测越来越受到重视。近年来,随着经济的快速增长和城市车辆数量的增加,许多城市的交通拥堵和交通事故日益困扰,给出行带来了许多不便。人们希望通过建设智能交通城市来缓解交通拥堵,提高交通管理效率。智能交通系统(ITS)广泛应用于改善交通状况[1,2]。

对交通流预测的相关研究已有近40年的历史,提出了数十种预测方法。根据预测时间,城市道路交通流量分为长期预测、中长期预测和短期预测研究方法分为经典时间序列预测、传统机器学习和深度学习。(HA)[4]和自回归综合移动平均移动平均(ARIMA)[5]支持向量机回归等传统机器学习模型(SVR)[6]。尽管它们能很好地捕捉到时间相关性,但它们忽略了空间相关性的重要性。这个问题直到出现深度学习模型才能解决。研究人员在早期主要使用RNN(递归神经网络)解决空间相关性问题,如LSTM(长短期记忆)[7,8]和GRU(门控递归单元)[9,10]模型。虽然基于rnn该方法可以学习空间相关性,但它们往往过于复杂,无法处理非线性相关性。此外,传统的深度学习方法很容易与时空相关性分离,使用单独的模块实现时空相关性[11]

最近,图卷积神经网络(GCN)[12、13]已成为交通预测中最热门的话题。与传统的数据驱动方法不同,图神经网络可以处理非欧几里德数据,捕获道路拓扑信息。训练速度比其他方法快,参数也减少了。如图1在十字路口形成道路网。当一个路段拥堵时,其相邻路段将受到显著影响,并在一定时间内扩散到其他路段以节点1为目标节点,当节点1堵塞时,相邻节点2相关性强,相邻节点5相关性弱。与远端节点3和节点4相比,它们都的相关性。因此,可以看出,交通网络空间相关性相当复杂。两个地理位置相似的路段之间的交通条件可能不相关,但两个距离较长的路段之间的交通条件可以连接。此外,在不同时间的观测值之间也有特定的非线性相关性。同一节点的不同观测值(如一小时、一天甚至一周前)与测量点有关。要做到这一点,我们必须将这些信息纳入模型,以做出准确的交通预测。图2是模拟道路流量相关性的示例. 在这里插入图片描述

Fig.1 模拟道路交叉口

Fig.2 目标是测试节点1,adj相邻节点2,adj反相邻节点5,far一是远程节点3,far2为远程节点4

为了解决上述问题,我们提出了一种新的时空融合模型多图卷积网络交叉集成(CAFMGCN。该模型使用 MCGN 和 时空交叉注意机制 spatio-tempral cross-attention mechanism 来研究基于图形视角的多变量时间序列数据多图卷积有两个功能:一个是构造具有三种不同时间属性的相关图来捕获时间特征;另一种是构建三条不同道路之间的空间语义关联图,以获取空间特征。🐸输入层将当前、每日和每周三个不同时段的历史交通流作为输入。我们使用来表示不同时期的节点特征,以捕获多级时间相关性。对于🐸卷积层,我们提出了一种多图卷积网络来捕获不同节点之间的空间相关性,并构造了来表示不同类型的节点关系特征,以捕获空间相关性和全局信息。为了同时捕获输出层中的时空相关特征,我们使用交叉注意机制对构建的时空图进行多图融合,以减少数据丢失。本文的主要贡献如下:

  • 提出了一种新的,它分别处理多级时间相关性(即当前、每日和每周)和多空间位置相关性(即邻近性、连通性和区域相似性)。建模用于捕获不同时间不同位置节点的时间和空间特征。
  • 提出了一种。该机制可以同时捕获时空特征并进行整体融合,有效减少了捕获特征图时的计算量和数据丢失。
  • 在两个真实的交通数据集上进行了广泛的实验。结果表明,与现有基线相比,CAFMGCN模型具有更好的可预测性。

2. Related Work

本节回顾了与交通流预测相关的图卷积网络和时空交叉注意的最新研究,并指出了以往研究的局限性。

2.1. T raffic Flow Prediction

近年来,交通流预测的研究取得了许多优秀的成果。用于交通流预测的模型已经从最初的传统时间统计模型发展到现在的深度学习模型。随着深度学习在语音识别[14]、图像分类[15]等领域取得的诸多突破,越来越多的研究人员将深度学习应用于时空数据预测。例如

🔥文献[16]使用递归神经网络(RNN)和卷积神经网络(CNN)对交通速度进行建模,捕捉时间和空间相关性。 🔥文献[17]提出了一种结合CNN和LSTM的方法,来模拟交通流的变化状态,利用道路之间的相互作用来捕捉空间相关性。 🔥文献[18]引入了3D卷积,自动获取交通数据在时空维度上的相关性。

现有的这些方法虽然可以从交通网络的邻域提取空间特征,但往往忽略了道路的物理特征(如长度和限速)。它们不足以获取全面的路网信息。此外,大多数RNN/CNN模型都是基于欧几里得结构来进行预测。他们很少挖掘非欧几里得拓扑结构的网络,因此在本质上不能表征道路的空间相关性。

2.2. Multi-Graph Convolutional Networks

图卷积网络的应用 图卷积网络是一种新兴的深度学习模型,可以很好地处理非欧几里德空间数据,并已应用于道路网络的空间建模。

🔥文献[19]提出了扩散卷积递归神经网络Diffusion Convolutional Recursive Neural Network(DCRNN),该网络将交通流建模为有向图上的扩散过程,并引入双向有向图来考虑空间相关性。 🔥文献[20]使用图卷积和门卷积的组合combination of graph convolution and gated convolution 来捕获时空相关性。

由于交通数据是不断变化的,在以前的GCN方法中,图结构的定义通常是局部的和静态的,没有考虑交通数据的动态特性。因此,

🔥文献[21]设计了一个自适应矩阵adaptive matrix ,以考虑节点及其邻居之间影响的变化。 🔥文献[22]使用动态拉普拉斯矩阵dynamic Laplacian matrix估计器来跟踪交通数据之间的空间变化。 🔥文献[23]设计了注意图卷积序列到序列framework of the Attention Graph Convolution Sequence-to-Sequence(AGC-Seq2Seq)模型的框架,以多步预测方法捕获交通模式的时空变化。

然而,时空网络数据通常在空间和时间维度上都表现出异质性。例如,在城市道路网中,住宅区和商业区交通监测站记录的观测结果通常在不同时间显示不同的模式【24】。基于单个GCN无法提取时空拓扑信息。

多图卷积网络的应用 多图网络模型用于共享自行车预测【25】和叫车需求预测【26】,但很少用于道路交通流预测。文献[27,28]通过测试周期与当前、每日和每周周期之间的关系,对时间多样性进行建模。为了捕捉长距离时空异质性

🔥文献[29]设计了不同时期的多模块建模。 —>对用不同时期 🔥文献[30]介绍了多图GCN来分别处理三种流入和流出模式(当前、每日和每周),并使用了不同流入和流出模式之间以及附近和远处站点之间的高级时空特征,这些特征可以通过3D CNN提取。 —> 对应不同模式? 🔥文献[31]使用多图网络为节点邻接、连通性和功能性的不同属性构建邻接矩阵,以测量道路之间的空间相关性。 —>对应不同该矩阵

这些模型能够很好地提取时间和空间特征。然而,它们往往将时空相关性分离开来,无法同时捕获多层次的时间相关性和异质空间相关性。

2.3. Cross-Attention Mechanism

注意机制是基于编码器/解码器模型实现的。该模型最初用于机器翻译[32],

🔥后来的文献[33,34]在交通流预测中引入了软注意和硬注意机制。利用注意机制捕获道路网络动态变化的时空相关性,较好地捕获全局时间信息和空间相关性。 🔥文献[35]将自我注意引入了生成性对抗网络 generative adversarial network,并取得了很好的实验结果。 🔥文献[36]首次将交叉注意模块引入图像检测 image detection,考虑到远距离对上下文信息的影响。它使用了一种更有效的方法来捕获远程时间上下文信息。 🔥文献[37]提出了一种基于交叉注意融合的增强图卷积网络an enhanced graph convolutional network based on cross-attention fusion,用于深度聚类。 🔥文献[38]将交叉注意力cross-attention 用于救护车需求预测。交叉注意机制不仅训练速度快,而且只占用很少的GPU

本文提出了一种用于交通流预测的多图卷积和交叉注意融合机制,以更好地解决道路网络中多层时间和异构空间相关性问题。

3. Preliminaries

在本节中,我们定义了道路交通网络建模的基本概念,并说明了存在的问题。 Definition 1. T raffic Road Graph 在时间上,我们将历史时段划分为一组连续的时间片,记为 T = { h t ∣ t ∈ 1 , 2 , ⋅ ⋅ ⋅ , T } T=\{h_t|t∈1,2,⋅⋅⋅,T\} T={ ht​∣t∈1,2,⋅⋅⋅,T}。每个节点在每个时间片上生成一个特征向量。本文使用三个历史时间片段(当前、每日和每周)的特征图作为输入信息,具体内容在4.1节中详细阐述。

在空间上,我们将道路图表示为加权图 G = ( V , E , A ) G=(V,E,A) G=(V,E,A),其中 V = { v i ∣ i ∈ 1 , 2 , ⋅ ⋅ ⋅ , N } V=\{v_i | i∈1,2,⋅⋅⋅,N\} V={ vi​∣i∈1,2,⋅⋅⋅,N} 是一组N个检测器节点,每个节点 v i v_i vi​代表一个检测器。 E E E是连接这些节点的一组边,每条边 e i j e_{ij} eij​表示 v i v_i vi​和 v j v_j vj​之间的相关性。边 e i j e_{ij} eij​的权重表示 v i v_i vi​和 v j v_j vj​之间的相关强度。权重越大,两条道路之间的相关性越高。 A ∈ R N × N A∈R^{N×N} A∈RN×N是图 G G G的邻接矩阵。本文从三个方面构建道路图:道路网络拓扑( X w X_w Xw​)、交通连通性( X P X_P XP​)和区域相似性( X s X_s Xs​),这将在第4.2.1节中详细阐述。

Definition 2. Problem Definition. 我们使用 x t c , i x^{c,i}_t xtc,i​,它表示节点 i i i在时间 t t t的第 c c c个特征, X t i X^i_t Xti​表示节点 i i i在时间 t t t的所有特征值, X t X_t Xt​表示时间t的所有节点的所有特征值。 X = ( X 1 , X 2 , ⋅ ⋅ ⋅ , X τ X=(X_1,X_2,⋅⋅⋅,X_{\tau} X=(X1​,X2​,⋅⋅⋅,Xτ​表示τ时间片上所有节点的所有特征值。根据各种历史观察结果, X i n p u t { X t − τ ∣ τ ∈ ( 0 , 1 , ⋅ ⋅ ⋅ , w − 1 ) } X_{input}\{X_{t−\tau}|\tau∈(0,1,⋅⋅⋅,w−1) \} Xinput​{ Xt−τ​∣τ∈(0,1,⋅⋅⋅,w−1)}在过去的 w w w个时间片中,在 X w X_w Xw​、 X P X_P XP​和 X s X_s Xs​的前提下,利用多图网络的模型知识学习函数f。交通流预测问题旨在预测下一时刻 X ^ t \hat{X}_t X^t​的交通量。即:

4. Methodology

我们的CAFMGCN模型如图3所示。该模型由多级时间输入、多图卷积层和时空交叉注意融合模块组成。

Fig.3 CAFMGCN框架

4.1. Multi-Level Temporal Inputs

根据文献[18,27,28,30],待测周期与其当前、每日和每周周期之间有很强的相关性。为了充分捕捉时间维度的特征,本文根据时间序列将当前、每日和每周待测时段组合在时间维度上作为模型的输入,以此表示多层次的时间相关性

🐸首先,将一天平均划分为 q q q个时段,我们以当前时刻 t t t为起点;预测窗口大小为 p p p。分别使用 X r X_r Xr​、 X d X_d Xd​和 X w X_w Xw​表示待测期间当前、每日和每周模式的时间维度特征图,然后: where, T r T_r Tr​、 T d T_d Td​和 T w T_w Tw​表示最新时段、每日时段和每周时段的长度。由三种时态拼接而成的并集用作模型的输入集: 其中, d d d和 w w w表示每日和每周时间段中的时间片数(例如,在1小时时间段中, d = 24 d=24 d=24, w = 24 × 7 w=24×7 w=24×7), l r l_r lr​、 l d l_d ld​和 l w l_w lw​分别为3、1和1。模型输入如图4所示。

Fig.4 多层次时间模型的输入

4.2. Multi-Graph Convolutional Layer

为了获得多样化的空间相关性和上下文信息,本文使用来捕获异构的空间相关性。多图网络可以聚合不同领域的数据,捕获多个空间相关性,并单独学习。例如,文献[25,26]分别从邻近性、功能相似性和连通性对空间相关性进行建模。文献[31]使用历史交通模式相关性对异质空间进行建模。然而,他们都忽视了长距离和流量之间的相关性对空间建模的影响。在本节中,我们使用多个图形对道路和这些关系之间的不同相关性进行编码。

4.2.1. Multi-Graph Construction

利用多个图对道路之间的三种相关性进行建模,包括:(1)邻接图adjacency graph,,编码空间接近度;(2) 交通连通图 traffic connectivity graph,考虑相对遥远区域之间的连通性;(3)区域相似图regional similarity graph,对动态方向相似的节点进行编码。 (1) Traffic Adjacency Graph 本文定义了基于空间邻近性的交通邻接图( X w X_w Xw​),每对节点( v i , v j v_i,v_j vi​,v

标签: 流量传感器p11146stwl1260单点式传感器

锐单商城拥有海量元器件数据手册IC替代型号,打造 电子元器件IC百科大全!

锐单商城 - 一站式电子元器件采购平台