文章信息
文章题为《Adaptive Spatiotemporal Dependence Learning for Multi-Mode Transportation Demand Prediction》发表在一篇文章中IEEE Transactions on Intelligent Transportation Systems多模式交
摘要
由于城市交通方式的日益多样化，许多城市存在交通需求不平衡的问题，因此准确预测交通需求变得非常重要。然而，现有的研究大多集中在单一交通模式的单一空间关系上，以提高交通需求预测的准确性，忽略了交通网络中交通网站空间关系的多样性和异质性。文章提出了关注网络的共模态图(CMGAT)为了揭示不同空间关系和交通模式交互对交通需求的影响，框架。具体来说，文章首先利用嵌入块的特征从多个特征中获取语义信息。然后，提出了基于多交通图的空间注意机制和基于多时间周期的时间注意机制，以捕获多模式交通需求中的空间和时间依赖性。此外，为了预测未来的交通需求，提出了合并隐藏状态和原始时间序列的输出层。最后，这篇文章在纽约自行车(NYC Bike)以及纽约市的出租车(NYC Taxi)在两个真实数据集中进行了实验，结果证明了模型的优势和考虑各种空间关系和交通方式的必要性。
文章的创新点包括以下三点：
1.文章将不同的图片作为不同的空间关系集成到空间学习模块中，捕捉到特定时期节点之间的各种空间依赖关系。
2.本文提出了基于注意机制的多模式交通预测框架，有效捕捉了所有成对节点的空间关系和长短时间模式。
3.本文在两个现实世界的数据集中进行了实验。实验结果显示了该模型的优势，以及多模式交通和不同图形对空间学习模块的影响。
构建交通网络
虚拟站点：
由于出租车和其他交通方式没有车站，乘客可以在任何地方上下车，通过生成一些虚拟车站来总结这些交通方式的交通需求。文章受DPC受聚类算法的启发，算法中构建的聚类中心被视为虚拟站，聚类的数量被视为虚拟站的数量。在DPC在算法中，聚类中心的选择有两个基本假设：1、簇中心的局部密度大于相邻簇的密度；2、不同集群中心之间的距离较远。
文章首先将城市划分为I×J两个集合R和U，记录每个网格的上下客户需求和距离。其中，每个区域的上下客户需求总和按下公式计算。
获取集合R和U之后，基于文章的使用DPC构建虚拟网站的算法。
交通图：
文章构建了三中图：距离图（distance graph）、移动性图（mobility graph）和相似性图（similarity graph）用于描述不同站点间的空间相关性。
距离图定义如下，其中si表示站点。
移动性图定义如下，表示在一段时间内从站点i开始，目的地是站点j的行程记录。
类似性图的定义如下，其中表示第一站T个月的客流序列。
模型细节
模型的整体框架如下图所示Encoder和Decoder两部分。
Encoder：
Encoder主要由空间注意力模块、时间注意力模块和门控机制三部分组成。注意模块提取站间在一定时间内的动态空间依赖性。时间关注模块建模每个独立站点的时间依赖性。在整合信息时，提出了门控机制，并捕获了如下图所示的时空相关性。此外，为增加了残差网络，以避免编码器层数增加时消失。
文章采用图注意机制，即GAT，构建空间学习模块。首先，计算输入节点之间的关系R。其中Rij表示节点i与节点j的关系，W可学习参数。
此外，权重矩阵基于关系R和原始交通图计算A，此外，本文利用邻接矩阵进一步处理了关系R，具体权重矩阵A计算公式如下。
为了使学习过程更加稳定，采用了多重注意机制。本文采用K种独立注意机制，结果均匀，如下所示。
空间学习模块可以表示如下。N为节点数，F输入特征数，输出。
具体来说，文章构建了距离图、移动性图和相似性图三种图。对于距离图，一般假设附近网站的交通需求相似，文章设置阈值以确保距离矩阵的效果。移动性图可以模拟需求上升和下降之间的关系。相似性图用于随时间发现具有相似交通模式的网站之间的变化。基于图形注意机制Gatt，输入X执行三个图形。
同时使用注意力嵌入模块和残余连接。注意力嵌入模块表示如下：
在时间学习模块中，文章采用标准的多头自我注意机制和位置，将前馈网络完全连接起来。此外，注意机制还提供了不同的时间段，有助于连接以前的长期和短期时间序列。多头注意机制与Transformer相同，如下式所述。
考虑到长期关注机制不能有效地捕捉短期依赖性，文章选择了几个周期来捕捉时间序列的时间依赖性，并将其连接在一起，如下图所示。
基于注意机制的输出如下。
最后，时间学习模块的输出是基于注意机制的输出、嵌入模块的值和残差连接的值集成。
Decoder：
与Encoder文章提出了预测未来交通需求的关注机制。首先，文章是基于Encoder嵌入式单元嵌入历史时间序列和未来时间序列。然后应用注意机制来计算历史时间序列的重要性。本文定义了预测时间的长度tj历史时间长ti∈t相似性。
通过上述类似参数softmax()归一化。
对归一化后的注意系数进一步加权组合，预测时间较长tj表达形式。文章可以通过线性变换预测一个特定的需求。
文章采用L作为损失函数，设置一组超参数来权衡不同的任务。
实验
本文选择纽约的自行车和出租车数据来代表各种交通模式和实验。
实验结果如下：
文章提出的模型可以看到CMGAT取得了良好的效果。本文进一步进行了消融实验，分析了使用多模式交通和多图进行需求预测的优结果如下。
1.多模式交通与单模式交通需求预测结果对比表
2. 多图与单图需求预测结果对比图。
其中，CMGAT-D, CMGAT-S, CMGAT-M。这些模型只在基于距离、相似性和移动性的空间学习模块中使用一张图，这意味着空间依赖性是由公式(10)中的单张图捕获的。 CMGAT-DS、CMGAT-SM、CMGAT-DM两张图片结合在空间学习模块中。
总结
本文提出了基于时空注意机制的协同预测模型CMGA T，并成功应用于交通需求预测。CMGAT应用多图关注机制捕捉空间的相关性，不同时期关注机制捕捉动态时间的相关性。两个真实数据集中的实验表明，CMGAT性能优于其他先进方法。
Attention
欢迎关注微信微信官方账号当交通遇到机器学习！如果你和我一样，也可以加微信:Dr_JinleiZhang，备注进群，加入交通大数据交流群！希望我们共同进步！