【时间序列】从 ICLR 2022 投稿中了解图神经网络和时间序列相结合的研究趋势...

这篇文章从 ICLR 2022 在论文提交中学习 「时间序列」 和 「图神经网络」 研究趋势的结合主要包括两个研究领域的整合，更受个人关注；然后总结研究趋势。

首先介绍下 ICLR 会议：

?

ICLR，全称为 International Conference on Learning Representations（国际学习表征会议），2013年由两位深度学习巨佬、图灵奖得主 Yoshua Bengio 和 Yann LeCun 成立被认为是深度学习领域的顶级会议。ICLR 未在 CCF 清华大学推荐推荐会议清单 A 懂了就懂类会！??

?

Articles

ICLR 2022 OpenReview 上次序列相关研究的贡献很多，主要总结一下 ICLR 2022 时间序列和 GNNs 结合领域的文章列表。

?

?? 请注意，目前的贡献仅存在 Double-blind Review 这个阶段并不意味着它已经被接受了，所以它只能代表大人物的研究趋势。但是接收文章也是从贡献中选择的！

?

01

「论文标题」 Evaluating the Robustness of Time Series Anomaly and Intrusion Detection Methods against Adversarial Attacks

「涉及领域」 时间序列、异常检测、入侵检测、对抗攻击

「主要内容」 统计学、经济学和计算机科学广泛研究时间序列异常和入侵检测。多年来，提出了基于深度学习的时间序列异常和入侵检测方法。许多方法在基准数据集中展示了最先进的性能，给人一种错误的印象，即这些系统在实际和工业场景中是强大的和可部署的。本文证明，最先进的异常和入侵检测方法可以通过向传感器数据添加对抗扰动来轻松欺骗。我们在几个公共和私人数据集中使用不同的评分指标，如预测误差、异常和分类分数，属于航空航天应用、汽车、服务器机器和网络物理系统。我们评估了最先进的深度神经网络 (DNN) 和图神经网络 (GNN) 方法，他们声称对异常和入侵有鲁棒性，并发现他们的性能可以降低到对抗性攻击 0% 快速梯度符号法 (FGSM) 投影梯度下降 (PGD) 方法。据我们所知，我们是第一个展示异常和入侵检测系统对抗性攻击的漏洞的人。代码可见：https://anonymous.4open.science/r/ICLR298

「论文地址」 https://openreview.net/forum?id=C5u6Z9voQ1

02

「论文标题」 Spatiotemporal Representation Learning on Time Series with Dynamic Graph ODEs

「涉及领域」 时序预测多元序列表示学习

「主要内容」 多变时间序列的时空表明，学习在预测交通和能源数据方面受到了极大的关注。最近的工作要么依赖于复杂的离散神经结构或图先验，阻碍了它们在现实世界中的有效性和应用。受神经常微分方程和图结构学习的启发，我们提出了一个名字 Dynamic Graph ODE (DyG-ODE) 捕获远程空间和时间依赖的完全连续模型表示，学习任何多个时间序列数据的表达都不受严格的先决条件（如先验图）的限制。为了建模时空线索的连续动态，我们通过耦合提出了时空线索 ODE 设计了一个简单而强大的动态图 ODE，这不仅使模型能够获得无限的时空感觉，而且显著降低了数值误差和模型的复杂性.我们的实证评估证明 DyG-ODE 卓越的有效性和效率在许多基准数据集中。

「论文地址」 https://openreview.net/forum?id=Jh9VxCkrEZn

03

「论文标题」 Multivariate Time Series Forecasting with Latent Graph Inference

「涉及领域」 因果推理

「主要内容」 本文介绍了多时间序列预测的新架构，同时推断和利用时间序列之间的关系。我们将我们的方法作为单变量架构的模块化扩展，在编码整个输入信号后获得的潜在空间中动态推断单时间序列之间的关系。我们的方法足够灵活，可以根据预测任务的需要进行适当的扩展。在最直接和通用的版本中，我们推断出一个潜在的全连接图来建模时间序列之间的相互作用，这使我们能够获得竞争性的预测准确性，而不是最先进的预测图神经网络。此外，虽然之前的潜在图推理方法缩放了 O(N^2) w.r.t.节点数 N(代表时间序列)置我们的方法来满足现代时间序列面板的规模。假设推断图是两个图，其中一个分区是原始的 N 我们介绍了一个节点组成 K 我们将过程的时间复杂度降低到一个节点(从低秩分解中汲取灵感) O(NK)。这使我们能够利用依赖结构，在预测准确性方面做出很小的权衡。在完全连接和二分假设下，我们证明了我们的方法对各种数据集的有效性，更有竞争力。

「论文地址」 https://openreview.net/forum?id=JpNH4CW_zl

04

「论文标题」 TAMP-S2GCNets: Coupling Time-Aware Multipersistence Knowledge Representation with Spatio-Supra Graph Convolutional Networks for Time-Series Forecasting

「涉及领域」 时序预测、多元序列、拓扑分析

「主要内容」 图神经网络 (GNN) 在多元时空过程中，学习复杂的依赖关系已被证明是一种强大的机制。然而，大多数现有的 GNN 它具有固有的静态结构，因此没有明确考虑编码知识的时间依赖性，并限制了推断实体之间潜在时间条件关系的能力。我们假设这种隐藏的时间条件属性可以被多个持久工具捕获，即拓扑数据分析中的一种新兴机制，允许我们沿着多个几何维度量化数据形状。我们迈出了整合时间感知深度学习和多持久性两个新兴研究方向的第一步，并提出了一个新模型，时间感知多持久性空间-超图卷积网络（TAMP-S2GCNets）。我们将数据的固有时间条件拓扑属性总结为时间感知的多持久性 Euler-Poincar'e 表面并证明其稳定性。然后我们构建了一个超图卷积模块，解释了从数据中提取的时空依赖性。高速公路交通流量、以太坊代币价格及 COVID-19 广泛的住院实验表明，TAMP-S2GCNets 优于多时间序列预测任务中最先进的工具。

「论文地址」 https://openreview.net/forum?id=wv6g8fWLX2q

05

「论文标题」 Neural graphical modelling in continuous-time: consistency guarantees and algorithms

「涉及领域」 结构学习复杂系统

「主要内容」 结构是复杂系统研究领域的关键问题。大多数可识别结果和学习算法都假设潜在动态在时间上是离散的。相比之下，很少有人在无限小的时间间隔内明确定义依赖关系，这与观察规模和采样规律无关。本文考虑了基于分数的结构学习来研究动力系统。我们证明，使用自适应正则化方案的最小二乘优化始终如一地恢复随机微分方程系统中局部独立性的有向图。利用这一观点，我们提出了一种基于分数的学习算法，基于惩罚神经常微分方程（平均过程建模）。我们证明该算法适用于不规则采样多时间序列的一般设置，优于跨越一系列动态系统的现有技术。

「论文地址」 https://openreview.net/forum?id=SsHBkfeRF9L

06

「论文标题」 Filling the G_ap_s: Multivariate Time Series Imputation by Graph Neural Networks

「涉及领域」 时序插值多元序列

「主要内容」 在处理来自实际应用程序的数据时，处理缺失值和不完整的时间序列是劳动密集型、无聊和不可避免的任务。有效的时间和空间表示，通过使用来自不同位置的传感器的信息，可以重建丢失的时间数据。然而，标准方法在捕捉互联传感器网络中的非线性时间和空间依赖性方面存在不足，也没有充分利用可用的（通常是强的）相关信息。值得注意的是，大多数基于深度学习的最先进的补充方法都没有明确建模关系，也没有使用处理框架来充分表达结构化的时空数据。相反，图神经网络最近作为处理相关归纳偏差序列数据的表达和可扩展性工具非常流行。在这项工作中，我们首次在多时间序列插补的背景下评估了图神经网络。特别是，我们引入了一个名字 GRIN 新的图形神经网络架构旨在通过信息传递学习时空表达来重建不同通道中的数据缺失。实证结果表明，我们的模型在相关现实世界基准的补充任务中优于最先进的方法，平均绝对误差改进通常高于 20%。

「论文地址」 https://openreview.nt/forum?id=kOu3-S3wJ7

07

「论文标题」 Graph-Guided Network for Irregularly Sampled Multivariate Time Series

「涉及领域」 时序分类丨时序采样丨多元序列

「主要内容」 在许多领域，包括医疗保健、生物学和气候科学，时间序列是不规则采样的，连续观察之间的时间可变，并且在不同的时间点观察不同的变量子集（传感器），即使在对齐开始事件之后也是如此。这些数据为假设完全观察和固定长度特征表示的流行模型带来了多重挑战。为了应对这些挑战，必须了解传感器之间的关系以及它们如何随时间演变。在这里，我们介绍了 RAINDROP，这是一种图引导网络，用于学习不规则采样的多元时间序列的表示。RAINDROP 将每个样本表示为图形，其中节点表示传感器，边表示它们之间的依赖关系。RAINDROP 使用神经消息传递和时间自注意力来模拟传感器之间的依赖关系。它考虑了跨样本共享的传感器间关系以及每个样本所特有的随时间变化的关系，并根据附近的观察结果自适应地估计未对齐的观察结果。我们使用 RAINDROP 对时间序列进行分类并解释三个医疗保健和人类活动数据集的时间动态。RAINDROP 优于最先进的方法高达 11.4%（F1 分数中的绝对分数），包括使用固定离散化和集合函数处理不规则采样的方法，甚至在具有挑战性的离开传感器设置和设置中需要推广到新的患者群体。

「论文地址」 https://openreview.net/forum?id=Kwm8I7dU-l5

08

「论文标题」 GAETS: A Graph Autoencoder Time Series Approach Towards Battery Parameter Estimation

「涉及领域」 时间序列丨参数估计丨因果推理

「主要内容」 锂离子电池正在为正在进行的交通电气化革命提供动力。锂离子电池具有较高的能量密度和良好的电化学性能，使其成为电动汽车的首选能源。精确估计电池参数（充电容量、电压等）对于估计电动汽车的可用范围至关重要。基于图的估计技术使我们能够了解支持它们以改进估计的变量依赖性。在本文中，我们采用图神经网络进行电池参数估计，我们介绍了一种独特的图自动编码器时间序列估计方法。众所周知，电池测量中的变量在某种因果结构中相互之间存在潜在关系。因此，我们将因果结构学习领域的思想作为我们学习的邻接矩阵技术的正则化。我们使用基于 NOTEARS Zheng 等人的非线性版本的图自动编码器。(2018) 因为这允许我们在学习结构时执行梯度下降（而不是将其视为组合优化问题）。所提出的架构优于最先进的图形时间序列（GTS）Shang 等人。(2021a) 用于电池参数估计的架构。我们称我们的方法为 GAETS（Graph AutoEncoder Time Series）。

「论文地址」 https://openreview.net/forum?id=2z5h4hY-LQ

09

「论文标题」 Graph-Augmented Normalizing Flows for Anomaly Detection of Multiple Time Series

「涉及领域」 多元序列丨异常检测

「主要内容」 异常检测是一项广泛研究的任务，适用于各种数据类型；其中，多个时间序列经常出现在应用中，例如电网和交通网络。然而，由于组成序列之间错综复杂的相互依赖性，检测多个时间序列的异常是一个具有挑战性的课题。我们假设异常发生在分布的低密度区域，并探索使用归一化流进行无监督异常检测，因为它们在密度估计方面具有出色的质量。此外，我们通过在组成序列之间施加贝叶斯网络来提出一种新的流模型。贝叶斯网络是一种对因果关系建模的有向无环图 (DAG)；它将序列的联合概率分解为易于评估的条件概率的乘积。我们将这种图形增强归一化流方法称为 GANF，并提出对 DAG 与流参数的联合估计。我们对真实世界的数据集进行了大量实验，并证明了 GANF 在密度估计、异常检测和时间序列分布漂移识别方面的有效性。

「论文地址」

10

「论文标题」 Back2Future: Leveraging Backfill Dynamics for Improving Real-time Predictions in Future

「涉及领域」 时序预测丨流行预测

「主要内容」 对于公共卫生和宏观经济等领域的实时预测，数据收集是一项艰巨而艰巨的任务。通常在最初发布后，它会在之后进行多次修订（可能由于人为或技术限制）——因此，数据达到稳定值可能需要数周时间。这种所谓的“回填”现象及其对模型性能的影响在先前的文献中几乎没有得到解决。在本文中，我们以 COVID-19 为例介绍了多变量回填问题。我们构建了一个由过去一年大流行的相关信号组成的详细数据集。然后，我们系统地描述了回填动态中的几种模式，并利用我们的观察来制定一个新的问题和神经框架 Back2Future，旨在实时改进给定模型的预测。我们广泛的实验表明，我们的方法改进了用于 COVID-19 预测和 GDP 增长预测的各种顶级模型的性能。具体来说，我们表明 Back2Future 将顶级 COVID-19 模型精炼了 6.65% 至 11.24%，并比非平凡基线提高了 18%。此外，我们表明我们的模型也改进了模型评估；因此，决策者可以更好地实时了解预测模型的真实准确性。

「论文地址」 https://openreview.net/forum?id=L01Nn_VJ9i

11

「论文标题」 Causal discovery from conditionally stationary time-series

「涉及领域」 时间序列丨因果推理

「主要内容」 因果发现，即从对场景或系统的观察中推断出潜在的因果关系，是人类认知中的一种固有机制，但已被证明对自动化极具挑战性。文献中针对此任务的大多数方法都考虑了具有完全观察变量或来自平稳时间序列的数据的受限场景。在这项工作中，我们的目标是在更一般的场景中发现因果关系，即随着时间的推移具有非平稳行为的场景。出于我们的目的，我们在这里将场景视为随着时间的推移相互交互的合成对象。非平稳性被建模为以潜在变量、状态为条件的平稳性，该状态可以具有不同的维度、或多或少隐藏给定的场景观察，并且也或多或少直接依赖于这些观察。我们提出了一种称为状态相关因果推理 (SDCI) 的概率深度学习方法，用于在这种条件平稳的时间序列数据中发现因果关系。在两种不同的合成场景中的结果表明，即使在具有隐藏状态的情况下，该方法也能够以高精度恢复潜在的因果依赖关系。

「论文地址」 https://openreview.net/forum?id=q9zIvzRaU94

Thoughts

根据大佬们的投稿中总结下 GNNs + TS 的研究趋势：

• 多元时序分类丨时序预测丨异常检测：GNNs 在捕获多变量间的关系具有天然的优势，因此在这三项任务中结合是必然且容易考虑到的，主要创新在于如果如何构建多元序列间的关系图和模型的花式组合。

• 时序数据插值丨预处理：业界时序数据通常存在很多缺失和采样的问题，因此如果需要提高模型效果就必然需要考虑如何提高数据质量。至于从何种角度利用 GNNs 处理同样是一种创新。

• 时序因果推理丨因果结构学习：这个属于极其有价值但非常难的研究方向。个人觉得难点在于业界时序通常为表象而因果通常为隐变量，直接从表象直接挖掘因果往往较难。所以通过 GNNs 进行关系推理同样成为一种选择，但难以说明是 “casuality” 而非 “correlation”。

• 单变量时序：目前除了因果推理方向，单变量时序已然难以提起大佬们研究兴趣且业界方案也较为成熟。

公众号：AI蜗牛车

保持谦逊、保持自律、保持进步

个人微信

备注：昵称+学校/公司+方向
如果没有备注不拉群！
拉你进AI蜗牛车交流群