功能磁共振成像(fMRI)可用于捕捉执行任务时脑区之间复杂的动态交互。研究人员提出了确定特定任务和一般任务的大脑功能结构的方法。使用基于参考的解码器，在深度学习分类器上训练12500个静息和任务态fMRI样本来自人类连接组项目(HCP)。一般任务和特定任务的运动和语言结构与以往的研究相一致。研究人员发现，一组小连接足以描述静息态和任务态，不同于神经系统疾病的功能病理学。由于已知的一般任务脑调节变化与某些神经精神疾病有关，所以一般任务结构中的节点和连接可以作为潜在疾病的生物标记物。
大脑功能自组织在任务执行过程中的研究是认知神经科学领域的广泛研究领域。大脑在任务执行过程中有明显的功能调节。已知有两种任务诱发的变化可以塑造大脑状态：特定任务和一般任务。
严重抑郁症等多种神经系统疾病(MDD)、注意缺陷多动障碍(ADHD)、轻度认知障碍(MCI)精神分裂症以一般任务结构异常为特征。根据神经元及其在任务执行过程中的连接是激活还是抑制，一般任务诱发的变化进一步分为积极和消极。根据任务态中是否存在功能连接，研究人员将大脑功能连接的变化建模为积极任务和消极任务。
神经影像学的发展使得更容易研究不同任务状态和静态状态下体内区域关系的动态变化。在任务执行过程中，对大脑功能结构的调节作用进行了多项研究。一些研究人员发现，静态和任务网络交互虽然网络地形相似，但在频域上仍存在明显差异。Krienen、Yeo和Buckner(2014)48Cole和Bassett等人（2014）发现静态和任务态中有稳定的内部功能网络结构。这些研究表明，虽然大脑功能结构发生了小规模变化，但静态和任务态下有一个内部稳定的功能中心。
虽然最近有很多研究描述了主体特征的作用，但是Xie等人(2018)使用任务fMRI扫描和k-means为了确定是什么导致了群体功能连接的变化，聚类分离了主体水平的功能连接和任务的影响静息态大脑功能结构的研究结果表明，在研究任务性能的变化过程中，需要考虑主功能连接体的可变性。然而，早期研究只考虑群体层面的功能连接。因此，本研究通过模拟主体层面的变化来研究被试之间的变化。此前研究的另一个问题是，只捕捉静态或任务态下功能连接之间的线性关系。在最近的一项研究中，He等人(2020)使用基于静息态功能连接分析的传统机器学习算法和深度神经网络(DNNs)预测行为证明，将核回归应用于功能连接是完全可行的，但就预测个人行为而言，DNNs没有额外的价值。研究人员利用传统的监督学习模型和高度参数化DNNs对静态和任务态功能连接进行分类验证。结果发现，一般任务的结构是通过解码一个训练用于分类静态和多个任务态的二分类器来揭示的。研究人员利用这种获得的一般任务结构确认解码运动和语言任务的大脑结构。
最近，一些研究评估了神经网络模型输入特征对神经图像数据分类的重要性。Jang等人(2017)利用不同层次的前馈神经网络训练权重，将其映射到四种感觉运动任务状态。基于梯度的解码器和不同神经网络结构的研究已达到顶峰。基于梯度的解码器用于训练有素的长短记忆循环神经网络，研究识别静息和任务状态下的功能特征。研究确定了参与不同视觉处理任务的大脑区域。
最近的一些方法，比如Integrated Gradients，DeepLIFT和SHAP试着用基于梯度的方法来改善这些问题。这些方法从输出层找到每层神经元的贡献，然后将所有层的贡献反向传播到输入层。Gupta基于等人(2019)DeepLIFT解码器可以区分阿尔茨海默病和自闭症患者，以及正常的认知测试。在本文中，研究人员使用它DeepLIFT这些变化塑造了大脑中与任务相关的变化。研究人员使用来自人类连接体的高标准静态和高标准静态(HCP)七项数据集任务fMRI演示这种方法的数据。
使用大脑区域之间的功能连接作为训练DNN的输入，
①在不同休息和任务分类模型上的实验结果表明，即使使用少量的训练样本，DNNs也比SVM更简单的模型性能更好。但随着训练数据的增加，支持向量机的分类精度将会提高。
②研究人员提出了揭示一般和特定任务脑功能结构的新方法。该方法检测到的任务相关结构与以往的研究相一致。
③研究人员发现，虽然与任务相关的大脑结构存在显著差异，但通过本研究方法识别的检测特征的小子集可以提供近100%的分类精度，并区分任务态和静态。
确定功能连接和功能模块交互，以及运动和语言特定任务的大脑结构。研究人员发现，在任务执行过程中有广泛的系统重组，可以使用五层前馈DNN高精度分类。并证实了默认模式网络(DMN)与突显网络(SN)呈正相关。同样，研究人员发现，运动子系统和语言任务左外颞叶区在运动任务中起着重要作用。
设计功能网络G=(Ω，A)，其中Ω集合感兴趣的脑区或节点，A={aij}i,j∈Ω为不同感兴趣脑区之间的功能连接邻接矩阵。为每个fMRI扫描获得对称性A，前馈DNNx的输入特征是通过仅取邻接矩阵的下半部分元素获得的。研究人员使用它HCP静态和任务态数据收集在健康被试中。
对于每一次被试(x，d)，其中x=(xi)输入特性，d任务标签。DNN输出y给出了输入属于表1中列出的任务类之一的概率。考虑L层组成的一个DNN，其中包含L-整流线性单元(ReLU)层和最终柔性最大值。
设置I层的权重和偏差分别由设置I层的权重和偏差组成WI和bI给出。I?={0，L}的输出hI如下，
对于输入层I=0，h0=x，输出柔性最大值I=L，输出y由样本x属于k类的概率给出，
其中k∈{1，…，k}表示标签，输出层权值WL=[wk,L]，偏置bL=(bk,L)。
为了学习网络是为了学习网络的参数J (θ)最小化：
其中Ex对所有扫描样本x的期望，θ=
表示网络中的所有参数。采用小批量随机梯度降低固定学习率的学习方法θ进行学习。
输入特征的显著性：f是将输入x映射到输出y的神经网络函数，g是一个更简单的解释模型，是网络映射f的近似值。设置I层的神经元数为nI。使用适当的参考，对I层每个神经元I的贡献
赋给I 一层神经元k输出变化。I由于相对于参考点的输入，层第I神经元被激活Δhi,I的变化为：
当I∈{0..，L-2}，且
时，
为究人员评估了三种类型的参考，即样本平均值和样本模式，从其他样本中提取L2范数最小的样本。根据经验，均值参考x是样本中最具代表性的。给定参考输入均值x和原始输入x，可以代入
和g(x) = f(x)，模型g方程：
每层I的神经元对输出y的贡献CΔhi,IΔy，
输入层的显著得分c被评估为=(CΔhi,0Δy)，这样每个元素都给出了相应输入对输出变化的贡献。DeepLIFT方法基于参考输入输出的变化实现了特征显著性得分的计算，即使梯度为零，也允许信息在网络层中传播。计算特征重要性得分：
显著性向量c表示输入特征的显著性得分。输入特征构成邻接矩阵的下三角矩阵。将向量c映射为显著性矩阵S={sij}i,j∈Ω，其中，sij表示ROI i与j之间连接性的显著性。
DeepLIFT算法的显著性矩阵S给出了所有连接性特征的显著性，根据特征的显著性得分进行递归特征消除，建立解码特征的有效性。如果基于DeepLIFT的解码器识别的特征确实是显著的，那么最显著的特征子集也会给出较高的分类精度。通过选择显著性为|sij|<t(脑区i和j之间小于阈值t)的连接，递归删除不重要的输入特征，然后在约简特征集上对神经网络进行再训练。
解码一般任务的大脑结构：研究者将脑功能连接的解码定义为识别重要的脑功能连接特征，这些特征对区分不同的大脑状态至关重要。利用静息态数据和任务态数据的功能连接特征建立分类模型，利用DeepLIFT算法寻找连接特征的显著性。虽然任务态可以被认为是一般任务和特定任务对静息态大脑调节的合并，但一般任务调节可以由一组共同的连接特征来表示，以区分大脑在静息态和在不同的任务态下的连接特征。在本文的公式中，连接性特征是DNN分类器的输入，一般任务的结构是由将静息任务与所有任务进行分类的显著输入特征定义的。研究者假设，如果将大脑在静息态和多种不同的任务态下进行分类，那么将静息任务与所有任务区分开来的最显著的连接特征集合代表了一般任务结构的功能连接。
连接的显著性sij标志决定了脑区i和j之间是否存在功能连接，从而区分静息态和任务态。这一信息反过来又被用来推导积极和消极的一般任务结构，这样，在任务期间出现一个积极的一般任务连接是区分任务态和静息态的关键，反之亦然。研究者导出了由HCP数据中的7个任务定义的一般任务结构。
解码特定任务的大脑结构：若得到了一般任务的结构，就得到了具有显著特征的特定任务结构，这些特征来自于经过训练的DNN。假设一个特定的任务区别于其他任务的显著的连接特征代表了一般任务和特定任务的结构。因此，如果能够计算出任务的一般结构，就可以从训练出来的DNN的显著特征中得出特定任务的架构，从而对某些任务和静息态进行分类。
为了确定特定任务结构，研究者使用来自运动和语言任务的被试数据，并对休息与运动和休息与语言任务进行分类。让Srest/tasks表示一般任务结构的连接性特征的显著性。如果休息与运动和休息与语言特征的显著性分别用Srest/motor和Srest/language表示，那么运动和语言任务特定结构分别用Srest/motor-Srest/tasks和Srest/language-Srest/tasks表示。
功能模块之间的显著交互：大脑功能结构的改变通常是根据不同的大脑功能模块之间的变化来进行讨论的。大脑的这些功能模块由参与特定功能任务的大脑区域组成。研究者用模块显著图量化了不同大脑功能模块之间交互的重要性。给定功能模块a和b，它们之间交互作用ma,b的显著性为：
模块显著图{ma,b}表示大脑功能模块内部(当a=b时)和大脑功能模块之间(当a≠b时)节点连接的平均显著性。模块显著性图提供了一个强大的框架来解释和理解大脑功能的变化，即不同的功能模块之间的交互在不同的大脑状态下是如何变化的。
与任务相关的功能结构的被试间变异性：许多研究指出，在休息和任务表现期间，大脑功能结构存在显著的被试间变异。测量不同被试在特征显著性得分中的被试间变异性为：
std测量的是多个被试显著性得分的标准差。显著性得分的均值由显著性向量c给出。研究者对显著性得分的均值c和变异性v进行了回归，以理解这两组值之间的关系。
实验数据来自人类连接体项目(HCP)，包括897名健康成年人(平均年龄=28.1岁，390名女性)的fMRI数据。使用的从西门子3 T Skyra扫描仪上收集数据，TR=720ms，TE=33.1ms，偏转角度=52°，FOV=208×180mm，2mm×2mm各向同性体素和72片。研究者这一步是必要的，因为这些与任务相关的激活不恰当地扩大了任务态的功能连接，特别是fMRI数据。在计算与任务相关的时间序列间的功能相关性之前，研究者还从任务相关的时间序列中删除了休息时间段。
表1概括了每个任务和静息态的可用数据数量。fMRI扫描任务的平均时间点是277。将每次1200个时间点的fMRI静息态BOLD扫描分为4次扫描，每次扫描300个时间点。从每一个截断的BOLD时间序列中，得到了四个功能连接矩阵。，这些被试完成了所有7项任务和进行了静息态扫描。对于每个功能网络，从解剖学和功能上选择了Power等人(2011)确定的264个ROI，并计算出半径为2.5 mm的球体内所有体素的平均时间序列来表示每个ROI的激活情况。研究者
使用Power等人(2011)识别的264个ROI之间的功能连接作为输入，在任务态fMRI (tfMRI)和静息态(rfMRI)数据上训练分类器。确保被试的所有静息态和任务态扫描要么在测试中，要么在训练集中。由于9650个任务样本和8300个静息态样本存在类别不平衡，研究者还计算了平均绝对误差(MAE)。首先将数据集以4:1的比例分割成一个训练集和测试集，然后执行5倍交叉验证来选择训练集上的最佳模型参数。
所有实验中，研究者发现所有的分类器都达到了90%的分类精度(见表2)。然而，基于SVM的分类器得出了较低的精度，而基于FFN和CNN的分类器对于相同数量的参数得到了相似的精度。因此，由于所有分类器的精度都很高，研究者进行了附加实验，以确定SVM和FFN分类器的误差收敛时间以及它们在不同训练样本子集上的性能。结果发现，在所有情况下，FFN分类器的测试性能收敛速度都快于SVM分类器。
表2
对于最优FFN模型，参数如表3所示。使用训练过的分类器，通过使用DeepLIFT计算输入连接特征的显著性。显著性得分是使用训练集的样本来进行计算的。结果显示，大多数特征具有正显著性。显著性得分分布直方图和特征显著性得分矩阵Srest/tasks见图S1a，b。
表3
图S1
为了验证解码后的一般任务结构，使用训练集上的FFN中获得的显著性分数递归消除输入特征(见表4)。一般任务结构中的连接如图1所示。突出显示一般任务连接的模块化显著性映射如图2a，b所示。功能模块来源于Power等人(2011)。Srest/tasks中具有正显著性得分和负显著性得分的连接分别对应正一般任务连接和负一般任务连接。采用显著模块交互得分，计算具有统计学意义的交互p值＜.05。
表4
图1
图2
表5中报告了显著的正任务模块交互和负任务模块交互。可以看出，DMN、FP任务控制和背侧注意网络参与了正交互和负交互。
表5
在根据Buckner等人(2011)改编的运动任务中，实验任务要求被试轻敲他们的左手或右手手指，或挤压他们的左手或右手脚趾，或根据提示移动他们的舌头。表6给出了用于分类休息与运动任务的最佳FFN模型的配置。使用所有特征对休息和运动任务进行分类，平均正确率分别达到。表7中显示了使用FFN和SVM进行递归特征消除实验的结果。为了获得特定任务的结构，使用静息vs.运动任务的连接显著性分数，并减去一般任务分数。取所有种子点的Srest/motor特征显著性分数平均值，并从Srest/motor中减去Srest/task。图3显示了与运动任务相对应的前0.1%的相关特定任务特征，这些特征经多次运行后计算出的结果是一致的。
表6
表7
图3
本研究中使用的语言任务是由Binder等人(2011)提出的，实验任务是给被试呈现一个短篇故事，要求被试从关于这个故事主题的两个选项中选择一项(迫选)。这两个选项的延伸交织了故事任务的四个blocks和数学任务的四个blocks。故事模块展示的是伊索寓言中的简短句子，然后回答故事主题的双选一选择题，而数学模块则是通过听觉呈现，要求被试计算加减法问题，并通过手指敲击反馈从两个选项中选择结果。
对于静息vs.与语言任务，最佳FFN配置与静息vs.所有任务相同。对于五个种子点，使用所有特征进行语言任务分类的平均准确率为99.86%。对于所选择的SVM模型(线性核，C=1.0)，研究者发现对所有种子点的特征显著性得分Srest/language取平均值，通过Srest/language减去Srest/task得到语言任务的特征显著性得分。递归特征消除实验结果如表8所示。研究者计算了与语言任务相关的前0.1%的特定特征(如图4所示)。
表8
图4
由于语言网络在Power Atlas网络中描绘得不够清晰，因而研究者计算了不同区域之间连接的显著性，也就是将Power图谱中的区域映射到已知结构标签的Crossley图谱中的区域，使用的是欧氏距离。通过取Crossley图谱映射到同一区域的多个Power图谱区域之间的连接显著性的均值，研究者计算了不同区域功能连接之间的显著性(如图5所示)。
图5
通过显著性得分的均值c和被试间变异性v来衡量特征显著性得分中被试间的变化。归一化均值和标准差得分的散点图如图6所示。绿色标记表示所有的特征，解码后的一般任务(图6a)和特定任务结构(图6b：运动任务，图6c：语言任务)用蓝色特征表示，红色曲线表示最佳二次多项式拟合。在计算的相关性时，两者之间呈。
图6
本研究通过解码训练的DNNs用以分类静息态和认知任务态的fMRI数据来检测一般任务和特定任务的大脑结构。使用不同脑区功能连接的一个小子集作为五层前馈DNN的特征，能够可靠地从690名被试的HCP运动任务中对静息态和7个任务进行分类，分类精度几乎高达100%。通过使用基于显著性反向传播的解码器，研究者确定了在大脑中形成一般任务和特定任务的大脑结构连接，并且考察了模块交互在任务执行过程中的变化。更重要的是，本研究的方法在大脑状态分类中具有很强的可重复性，并且能够识别出健康人群和患者大脑状态之间的独特生物标记物。
原文：Decoding task specific and task general functional architectures of the brain.
DOI: 10.1002/hbm.25817