。我们使用脑电图(EEG)和功能性近红外光谱成像(fNIRS)，招募17名健康受试者参与字母n-back任务，研究使用19个EEG通道覆盖全头，19个fNIRS通道覆盖前额(WM(工作记忆)主要涉及脑区)。多模态数据block均值揭示了MWL氧合血红蛋白浓度在水平变化期间的特殊变化。使用机器学习进行检测的研究MWL水平，我们从EEG、fNIRS和EEG fNIRS在多模态信号中提取不同的特征MWL作为训练集和测试集提供的生物标记我们也在fNIRS和EEG fNIRS该系统引入了一种新的特征，并对各特征类别的分类性能进行了系统评估。我们还评估了特征数量和窗口大小对分类性能的影响。除了分类器的交叉验证性能水平外，我们还计算了其他指标（如灵敏度、特异性和预测值）来综合评估机器学习分类中三种成像技术的性能，研究结果表明，EEG fNIRS结合分类器的特点，可以有效区分不同级别MWL，在开发被动BCI还有其他用户需要监控MWL应用程序，Frontiers in Human Neuroscience杂志。
心理负荷(MWL)它会影响人机交互的性能。在日常生活中，人机交互可能有很高的认知需求，因为它需要在复杂的界面中操作，而精神负载可能会损害用户的性能，甚至损害用户的安全（因为它会导致)。因此，考虑到用户对人机界面的认知特征和局限性(BMI)改进设计非常重要，我们可以让机器与用户一起使用MWL变化进行自适应来提高操作效率。
根据多资源理论[资源分为多资源理论]，执行不同任务时，需要一组能力有限、可分配给不同任务的独立资源。当两个任务需要相同维度的资源时，两个任务会相互干扰，形成障碍，导致随后任务性能下降；当两个任务需要不同维度的资源时，这种现象不会发生。
任务属性包括任务难度、单调性和使用资源类型；环境包括不同程度的干扰和噪声；操作员的个性特征包括培训、专业知识、不断变化的疲劳、动力和警惕性。我们可以系统地调整这些变量的子集，并控制其他变量MWL。
(1)使用标准问卷NASA-TLX自我报告和主观评分；
(2)行为测量，例如主、次要任务的表现；
(3)基于用户生理的测量，包括:
自我报告和行为信息是分散和侵入性的，通常会延迟。此外，基于行为的信息可能会因为不同而被误解MWL水平可能伴随着相同的行为。随着轻量化无线技术的进步，生理测量的优势进一步扩大。
大量使用EEG开发BMI经过研究，大部分是基于脑功能的MWL脑电图用于研究 (EEG)[不尝试直接控制设备，而是根据实时用户状态调整用户界面BMI（human-machine interfaces）被称为被动BMI]。近红外光谱成像(fNIRS)在BMI应用中具有潜力，已有研究发现fNIRS可用于区分不同的运动任务或解码被试的二元决策。MWL也建立了与中枢神经系统活动的关系。最近，同时使用EEG和fNIRS多模态技术因其相对丰富的信息而广受欢迎。
同时使用EEG和fNIRS称为EEG fNIRS，单独使用的比例EEG或fNIRS更准确，是一项很有前途的技术。fNIRS可与便携性相匹配EEG相比之下，不受肌电图的影响(EMG)其信号和功能磁共振成像受眨眼伪影的影响(fMRI)血氧水平的测量依赖(BOLD)信号密切相关[BOLD信号也是测量脑血流动力学的黄金标准]。
工作记忆(WM)对复杂认知任务所需的信息进行短期保存和处理。前额叶皮层的功能神经影像学研究(PFC)确定为WM最相关的激活脑区。已研究使用EEG、fNIRS以及EEG fNIRS研究了以WM负荷为实验范式MWL检测。如上所述，NVC（）可通过相关信息EEG fNIRS最近的研究也表明EEG fNIRS应用于主动BCI潜力。在这项研究中，我们探索了这些工作EEG fNIRS应用于MWL检测效果。
常用于认知神经科学。Gevins和Smith表示，fNIRS研究发现在执行n-back任务时WM负荷会激活PFC。n-back任务涉及WM，它会随着n值的增加而变得更加困难，所以我们使用它n-back任务作为实验范式，n范围从0到3。本研究只招募没有这项任务经验的健康成人志愿者，所有其他条件保持不变，在相同的实验室条件下进行实验、实验设计和大部分WM负荷作MWL标记的BMI研究一致。
平均年龄26.2岁（标准差7.7岁的17名健康志愿者(16名男性和1名女性)均为大学生或员工，实验程序已获休斯顿大学机构审查委员会批准。执行n-back在任务期间，被试通过空格键检测目标字母。所有受试者均为右利手，并使用常用手进行实验。没有受试者参加过n-back任务相关研究没有预期的训练效果。
MWL最常见的评估WM(工作记忆)范式之一n-back任务。字母n-back在任务中，被试将观察一系列单个字母，每个字母间隔一定时间；随着n值的增加，研究通常使用0-back作为控制状态的任务。图1显示了字母n-back任务为0、1、2或3。根据n值找到目标字母并执行操作。
每个实验有40个session，以伪随机顺序呈现，每一个n-back任务(0\1\2\3-back)10个session。每个session第一个指令出现在中间block，指令显示5秒，告诉受试者将开始什么n-back任务。随后，22个随机选择的字母依次出现(任务)block），每个字母呈现500毫秒，受试者有1500毫秒的按键反应时间。每个session结束时有一个25秒的休息block，在休息期间，受试者保持放松，专注于屏幕上的交叉注视点，激活大脑回到基线状态。图2显示了一个示例session，50分钟。使用实验程序Presentation编写，
图1. n字母为0，1，2，3n-back任务示意图
图2.字母n-back每个任务实验设计session包括指令、任务和休息block
一项元分析发现字母n-back（）。我们参考此信息和以前的信息EEG19个研究结果EEG电极选择最佳位置，Fpz接地电极，Cz参考电极。使用microEEG设备采集EEG采样率250的数据Hz（图3a），128通道电极帽的电极阻抗保持在1000欧元以下（EasyCap，德国）。如图3c所示，fNIRS光极覆盖受试者额头[完全覆盖受试者额头PFC]，图3b，c），S4和D4位于前额中心，其中D4位于AFz通道10位于Fpz位置。我们在额头上使用三元组支架（triplet-holder）并固定传感器的距离。NIRScout采集fNIRS采样率8.93Hz，通常用事件触发器(common event triggers)与EEG数据同步（图3a）。NIRScout是一种双波长的连续波系统，对EEG信号进行0.5-80Hz的带通滤波以及60Hz的陷波滤波来降低工频干扰。
图3. (a)EEG+fNIRS的记录设置。被试与计算机交互，同步、记录EEG和fNIRS信号并传输到采集平台。(b)受试者的头颅视图，显示放置fNIRS光和EEG电极的近距离视图。(c)fNIRS光源（Si，黑色）和探测器（Di，红色）、EEG电极（绿色）的地形图。
我们使用空间，每个EEG信号减去了相邻电极的平均EEG值，图4显示了19个EEG通道的相邻电极配置。NIRScout设备以两种不同的波长（760和850nm）记录信号，fNIRS可能受到运动、心率和Mayer波伪迹的影响，为了最大程度保留信息量并减少伪迹的影响，我们对图5显示了其中一个受试者的一段预处理数据，
图4. EEG地形图展示了拉普拉斯空间滤波的相邻模式。
图5.一名受试者的样本预处理EEG+fNIRS数据。(a)通道17的氧合血红蛋白(红色曲线)和脱氧血红蛋白(蓝色)的浓度变化；(b)通道O2的EEG时频图。
预处理后，以评估窗口大小对分类的影响。图6显示了四种不同的窗口标记类型。大多情况下相邻标记存在重叠（标记长度的一半），这种重叠是为了捕捉每个人独特的时间响应[因为血液动力学响应达到峰值所需的时间和/或峰值数量可能存在个体差异]。此外在分类阶段，每个类中特征数量不同会使训练效果偏向于数量更多的类。当窗口大小从5秒更改至25秒时，
图6. 基于窗口长度的四种不同模式。
任务block和休息block分为(A)5、(B)10、(C)20和(D)25秒的窗口(wi)。
每个窗口提取了。使用短时傅立叶变换对数据进行时频变换，窗长为1s,步长为半个窗宽，频率分辨率为1Hz。计算8个频段的功率，每个频带的宽度为4Hz，范围为0到32Hz，使用f1到f8表示8个频段。在三种电极对[半球内、对称半球间和非对称半球间]、四个目标频带（[3-5]、[9-11]、[19-21]、[39-41] Hz）总进行计算。选择8个左右半球之间的EEG通道对计算Asym_PSD。
HbO和HbR的统计数据通常用作MWL和BMIs的fNIRS特征，研究包含的特征数据揭示了HbO和HbR的时域、区域相关性，因此
我们选择了一个可在目标时间窗口内轻松计算的值：
分类与验证使用了SVM分类和k=10的k-fold（十折）交叉验证。SVM已在医学诊断、光学字符识别、电力负荷预测等领域取得理想成果，在数据不规则的情况下具有优势。线性SVM构建了一个最优超平面，由此创建决策面，最大化属于不同类别的最近邻数据点间的分离边界。k-fold将数据随机分成k个大小大致相同的组，选择一组作为测试集，其余作为训练集。计算PCA后产生19个主成分(PC)及其相关的时间序列，用作新的特征组，类似的PCA继续应用于每个特征组，生成包含一组权重值，这可以解释为脑区激活地图。由此，我们通过PCA解释了与每个特征相关的激活分布。PCA还能生成与该特征的方差相应的特征值，这个值通常会急剧下降，前几个的总和几乎占19个PC的所有能量。然而如结果所示（表1），为了估计区分特征的能力，我们使用皮尔逊相关系数，用代表休息或任务难度级别的整数标记窗口来构建参考时序（{0（休息），1（0-back），2（1-back），3（2-back））,4(3-back)})，使用R2（时间序列和参考信号间皮尔逊相关的平方）对特征集进行排序。
本研究中有10对可能的二元分类对应五个不同类别(rest，0/1/2/3-back)，我们选择{1-back v rest}、{2-back v rest}、{3-back v rest}、{1-back v 0-back}、{2-back v 0-back}和{3-back v 0-back}来研究不同特征组区分WM（工作记忆）负荷的能力。我们还研究了多元分类区分MWL的能力，用训练数据中的类别来训练分类器，为测试数据中的新实例分配标签，最小化所有二元分类器预测的汉明损失[]。多元分类包括四组多类集：{3-back v 2-back v 1-back}、{3-back v 2-back v 1-back v 0-back}、{3- back v 2-back v 1-back v rest}和{3-back v 2-back v 1-back v 0-back v rest}，最后交叉验证重复k次，每组观察值仅用作测试数据一次，总准确率为重复验证的均值。除了整体准确率之外，
所有计算使用Matlab R2015b完成。
图7.被试在难度增加的任务条件下的行为表现:准确率（红色）与反应（黑色）。误差条表示被试间变异的标准偏差，星号表示统计显著性（*p<0.05，**p<0.001，***p<0.0001）。
首先调查受试表现与任务难度之间的关系。图7显示所有受试者的准确率和反应时，误差条显示被试间变异的标准偏差。该图显示，准确响应的比例随任务难度的增加而降低，0和1-back任务之间的准确率几乎没有下降。此外，
图8. (a)0-back, (b)1-back, (c)2-back, (d)3-back, (e)休息期间的标准化HbO（红色）和 HbR（蓝色）的总block平均值。粗曲线表示所有通道、被试的平均值，阴影区域表示被试间变异的标准偏差。
我们接下来检查心理负荷变化期间的HbO和HbR模式。图8(a-e)显示了HbO（红色）和HbR（蓝色）波幅的block平均值，总block平均表示所有通道、所有被试在同一类block的平均值。神经激活后，局部血流和血容量通常以秒为单位增加，且在任务开始时PFC的局部氧合增加产生HbO的正峰值，几秒钟后由于氧的代谢消耗，氧合血红蛋白浓度下降导致负的HbO幅值。任务期间HbO的变化幅度明显高于HbR，其正峰值从0到2-back增加，而后从2到3-back降低。HbO和HbR具有相反的变化趋势，休息状态下二者短时间负相关，在任务期间变化取决于n值。HbO变化的范围随着n的增加而增加，从2变为3时略有下降。在图8f与8g中我们展示了一个特定的fNIRS通道（通道10，位于Fpz，近前额中心），休息与所有n值任务的曲线显示在同一个图中以便于比较。我们只显示n-back任务block的前25秒（在完整的44秒中），为清楚显示信息省略了标准偏差的阴影区域。图8f显示，HbO的峰值幅度在任务表现时是正值，休息时是负值，当n>0时随着负荷的增加而减小。在休息期间为负，在所有n-back任务中为正，10秒后出现的HbR的block平均峰值（图8g）与心理负荷水平呈正相关。在0-back任务中没有观察到这些变化，因为它只与感知有关，与WM的关系较小。
图9. 5秒窗口特征标准化的总block平均值：（a）通道O2的PSD（delta、theta、alpha波段），(b)通道10的HbO/R Amp.，(c) (d)通道10的NVO与NVR（delta、theta、alpha波段），阴影区域表示被试间变异的标准偏差。
图9显示了WM（工作记忆）负荷程度变化时，图中一个session包含一个任务block和随后的休息block。对于每个认知状态(0/1/2/3-back)，每个被试都经历10个session，窗口为5秒时每个session得到21个特征值（16个来自任务block，5个来自休息block）。图9的曲线通过三角移动平均滤波器计算，每一步覆盖三个样本，然后是三次样条插值(cubic spline interpolation)。该图显示EEG的theta、alpha波段在0-back和1-back期间为正，在2-back和3-back任务中变为负值；HbO从0到2-back显示正峰值，3-back略低于2-back；多模态特征（如delta范围内的NVO）通常类似于相应的单模特征（如delta范围内的HbO和PSD）的变化，但HbO和PSD均不受NVO支配，
表1.三个具代表性的被试的休息v 3-back二元分类特征排名(通过R2排名)。
表1显示了3-back v rest分类中三名受试者排名最高的10个特征（基于R2排名），特征由缩写（）和特定频段表示[频段仅适用于脑电图和神经血管特征]。根据特征值的量级显示了特征的顺序[从能量最高的(1)到最低的(19)，因为PLV没有使用PCA，给出通道标签而非PC（主成分）顺序]。例如，被试1中排名最高的特征是能量排名第三的PC（主成分），EEG的theta波(4-8 Hz)，受试者3中排名最高的特征是能量第二高的PC，基于HbR与EEG高Beta范围（28-32Hz）的神经血管特征。
图10.使用5秒特征窗口对rest v 3-back分类时各特征类型的准确率。误差条表示受试者间变异性的标准偏差，神经血管特征联合缩写为NV，从不同系统中提取的特征：EEG（灰色条）、fNIRS（红色条）和多模态（绿色条）。
包括使用5秒窗口的3-back v rest的多模态系统。误差条代表被试间变异的标准偏差。在EEG组（灰色条）中，对于PAC和其他特征类型也是如此。EEG组中最右侧的条显示了完整EEG系统的准确性，其中包括基于EEG信号的所有特征类型。与EEG系统不同，仅基于神经血管特征的准确率由多模态组（绿色）中最左侧的条形指示，多模态组的中间条代表来自EEG和fNIRS系统的所有特征的合集，
图11. (a)准确率和(b)EEG（黑色）、fNIRS（红色）、多模态（绿色）系统的R2累积总和作为系统规模的函数。
被试的平均值和标准偏差分别由实线、阴影区域表示，分类任务为rest v 3-back，特征窗口大小为5秒。
图10比较了各成像系统的准确率，每个系统都包含属于它的全套特征，其数量有所不同，如EEG、fNIRS和多模态系统分别包含360、209和873个特征，这可能导致系统准确性受特征数量的影响，因此我们使用R2排序在不同的系统间选择相同数量的特征进行后续分析。图11b显示了随特征数量的上升时，三个系统的R2指数总和的变化，计算的是5秒窗口大小的3-back v rest，其在性质上与其他窗口大小的其他类别对的分类结果（未显示）一致，阴影区域表示被试间变异的标准偏差。
表2-3. 表2.研究中所有受试者（S1至S14）的二元分类准确率。
表3. 研究中所有受试者（S1到S14）的多类分类准确性，均用10折交叉验证。
图10仅提供了一种二元分类（3-back v rest）的结果及作被试间变异，然而检查所有被试的结果以及二元、多元分类的结果也很重要。表2、3分解了每个被试（S1、S2、...、S14）、系统类型（EEG、fNIRS、多模态）和分类(二元、多元)的准确率，所有受试的均值及最小、最大值在左侧分三列呈现。图10中EEG（灰色）、fNIRS（红色）和多模态（绿色）组中最右侧条的高度对应表2“均值”列下的准确率百分比83.5、75.3和90.1。单个受试的列中，表2显示10折交叉验证的平均准确率和标准偏差。如表2所示，基线校正后任务分类的平均准确率随n值增加而增加，0-back v n-back的分类精度比rest v n-back(n>0)略高[例如1-back v rest为87.2%，1-back v 0-back为91.4%]。表3显示了多元分类的结果,随着分类中包含更多的类，准确率略有下降。我们调查了这一优势是否具有统计学意义，使用系统（EEG、fNIRS、多模态）和被试作为两个因素，对每个分类进行双因素方差分析，
表4. 灵敏度 (Sens.)、特异性 (Spec.)、阳性预测值 (PPV) 、阴性预测值 (NPV) 以百分比 (%) 列出，适用于所有分类情况（二元和多类）与所有系统（EEG、fNIRS、多模态）。
表4列出了每个分类的并总结了EEG、fNIRS和多模态系统的所有指标，以便更容易地比较它们的分类性能。上述结果均使用5秒的窗口，其他窗口大小所观察到的结果也与其一致。我们还评估了窗口大小（5、10、20和25秒）对EEG、fNIRS、多模态系统分类精度的影响。图12显示了评估结果，从5秒增加到20秒，精度先增加，后下降。
图12.当EEG（灰色）、fNIRS（红色）和多模态（绿色）系统使用不同窗口大小时rest v 3-back分类的准确性，误差条表示被试间变异的标准偏差。
EEG和fNIRS特征合并，以及加入神经血管特征使协同作用增强而。本研究使用WM负荷（通过n-back任务）调整MWL的水平。EEG和fNIRS可以在低成本，较少干扰用户的情况下同时使用。综上，开发被动BCI和其他需要监测用户MWL的应用程序时时，EEG+fNIRS结合应优先于单独的EEG或fNIRS。