脑机接口(BCI)以神经活动为控制信号，可直接与计算机通信。这种神经信号通常从各种研究中得到充分的脑电图(EEG)选择信号。对于给定的脑接口(BCI)范式、特征提取器和分类器是根据脑电图控制信号的不同特征定制的，限制了其对特定信号的应用。并成功应用于脑电信号识别；然而，它们主要用于单个BCI例子，所以这些架构如何推广到其他例子还不清楚。在这里，我们想问的是，尽可能小的方法。在这项工作中，我们介绍了它EEGNet，基于脑电图的小卷积神经网络BCI。我们介绍了用于构建脑电图特定模型的深度卷积和可分离卷积。该模型包机接口脑电图特征提取概念。我们比较了EEGNet，包括被试内和跨被试分类，我们表明，在所有有限的训练数据可用于所有练数据时，EEGNet比参考算法更好地泛化，此外，我们还演示了三种不同的方法来可视化训练过的EEGNet支持对学习特征的解释。本文发表在Journal of Neural Engineering杂志。
脑机接口(BCI)可直接通过脑信号与机器通信。传统上，BCI用于医疗应用，如人工假肢的神经控制。然而，最近的研究是新的BCI这些BCI以脑电图为基础(EEG)提高健康用户性能的无创方法。
记录神经数据；
预处理和清理记录的数据；
从神经数据中提取有意义的信息；
根据数据解释决策；
向用户提供决策结果。虽然在BCI这些阶段在范式中基本相同，但每个范式都依赖于信号处理、特征提取和分类方法的手动规范，通常需要重要的专业知识和预期脑电图信号的预测知识。另一种可能是，由于脑电图信号预处理步骤通常是针对感兴趣的脑电图特征（例如，特定频率范围的带滤波器），其他潜在相关的脑电图特征可能被排除在分析之外（例如，带频率范围以外的特征）。随着BCI技术发展到新的应用领域，
深度学习大大降低了人工特征提取的需要，实现了计算机视觉和语音识别领域最先进的性能。具体来说，部分原因是它们在许多具有挑战性的图像分类问题上取得了成功，虽然大多数BCI该系统仍然依赖于手工制作的特点，但最近有许多研究探索了深度学习在脑电图信号中的应用。有一种基于堆叠去噪自适应编码器的心理负荷分类方法。这些研究主要集中在单个研究上BCI在任务分类中，网络架构通常采用特定于任务的知识进行设计。此外，在不同的研究中，训练这些网络的数据量差异很大，部分原因是在不同的实验设计下很难收集数据。因此，目前还不清楚如何将这些以前的深度学习方法推广到其他地方BCI不同训练数据的任务和大小。
在这份工作中，基于分类和解释eeg的BCI。我们介绍了深度卷积和可分离卷积的使用，以前用于计算机视觉，构建了一个特定的脑电图网络，包装了最佳空间滤波器和滤波器组建等几个著名的脑电图特征提取概念，与现有方法相比，减少了训练参数拟合的数量。P300视觉诱发电位(P300)与错误相关的负电位(ERN)、运动相关皮质电位(MRCP)感觉运动节奏(SMR)，基于事件的相关电位代表(P300、ERN、MRCP)分类和振荡成分(SMR)分类范式。此外，每个数据集包含不同数量的数据，允许我们探索EEGNet对不同训练数据大小的有效性。结果表明，当训练数据有限时，EEGNet与现有范式相比，几乎所有的测试范式都是未知的EEG CNN模型实现了更好的分类性能。另外，我们也证明了EEGNet所有测试示例都得到了有效的推广。我们还表示，EEGNet具有更具范式特异性的性能EEG CNN模型一样好，但需要拟合的参数少了两个数量级，表示模型参数的使用更有效。最后，这一点很重要，尽管CNN它具有很强的自动特征提取能力，但它们往往具有难以解释的特征。对于神经科学从业者，根据预期的应用程序获得正确的应用程序CNN对到衍生神经生理现象的能力可能和获得良好的分类性能一样重要。我们已经验证了我们的结构在几个充分的研究中BCI神经生理学能够在范式上解释信号。
本文其余部分结构如下。.用于验证我们的简要描述1节CNN模型的四个数据集。第2.2节描述了我们在模型比较中使用的内容EEGNet模型等BCI模型(包括CNN和非CNN模型)。第三节介绍了被试和跨被试分类性能的结果，以及我们的特征可解释性分析的结果。我们在讨论中更详细地讨论了我们的发现。
根据感兴趣的脑电特征，事件相关电位(ERP) bci旨在检测已知的、时间锁定的外部刺激的高振幅和低频率脑电图反应。它们通常在不同的被试之间都是鲁棒的，并且包含了良好的定型波形，使ERP通过机器学习可以有效地建模时间过程。ERP的bci主要依赖于外部事件或刺激ERP波形，当振荡信号被时间锁定到外部刺激时，它们可以通过事件相关谱扰动(ERSP)分析表示bci训练更难，通常是因为信噪比低(SNR)以及被试之间更大的差异。本文中使用的数据总结可在表1中找到。
本研究数据收集总结表1。
P300事件相关电位是对新视觉刺激的刻板神经反应。它通常是由视觉奇异球范式引起的，参与者以固定的呈现率看到重复的非目标视觉刺激(例如刺激hz)穿插不频繁的目标刺激。观察顶叶皮层，P刺激开始时，300波形约为300波形ms观察到的电活动正偏转较大，偏转强度与目标刺激频率成反比。P300 ERP它是脑电图观察到的最强的神经信号之一，特别是当目标不经常出现时。当图像呈现率增加到2时hz或更高时，用于大型图像数据库分类的开发bci。
这里使用的脑电图数据给出了一个简短的描述。18名参与者自愿参与RSVP BCI研究。研究人员向参与者展示了2hz自然风景图像的频率，要么有车辆或人(目标)，要么没有车辆或人(非目标)。当出现目标图像时，参与者被要求用手按下按钮。目标/非目标比例为1/4。三个参与者的数据被排除在分析之外，因为脑电图数据中有太多的伪影和噪音。进一步分析了其他15名参与者(9名男性，14名右撇子)的数据，从18岁到57岁(平均年龄39岁).5岁)。采样率512hz，64导，符合国际10-10系统，连续脑电图数据离线参考双侧乳突，使用EEGLAB的FIR滤波器数字带滤波器1-0 Hz，下采样至128 Hz。刺激发生后0-1s脑电图试次提取目标和非目标条件，并用于二分类。
与错误相关的负电位在被试环境或任务中脑电图扰动。它们可以观察到各种任务，包括时间间隔生产范式和强制选择范式。我们在这里关注的是ERN，即脑电在感知BCI错误反馈后的振幅扰动。视觉反馈后，反馈ERN特征是350左右ms负的错误重量，然后是500左右ms正错误分量(见图7)。反馈ERN检测提供了推断和实时纠正的机制BCI输出错误。这两个阶段的系统已经被证明可以改进在线应用程序P300拼写器的性能。
这里使用的脑电图数据并在Kaggle主办的BCI用于挑战。参加了26名健康参与者(16人训练，10人测试)P300拼写任务，系统使用随机闪光字母序列，按6*6格排列，以引起P300反应。挑战的目标是确定P300拼写者的反馈是正确的还是错误的。脑电数据最初是6000 Hz使用56个被动脑电传感器进行频率记录(VSM-CTF符合扩展10的兼容系统 - 20系统。在我们的分析之前，EEG数据通过带通滤波使用EEGLAB中的FIR滤波器，至1-40 Hz，下采样至128 Hz。在0-1.25s在反馈陈述中提取正确和不正确反馈的脑电图试次，并将其分为两类。
包括一些神经活动ERP成分，包括振荡成分。一个特殊的例子是与运动相关的皮层电位(MRCP)，可由手和的随意运动引起，并可以通过脑电图(EEG)沿着手或脚运动对侧的中央和中线电极观察到。MRCP可以再运动开始前看到(一个缓慢0-5hz的准备电位和在10-12hz的早期去同步)，在运动开始(一个缓慢的运动电位)，运动开始后(运动执行的大约1s的20-30 Hz的晚期同步活动)。MRCP先前已被用于为健康和肢体残疾患者开发运动控制BCIs。
这里使用的脑电图数据下面给出了一个简短的描述。在这项研究中，使用256通道的BioSemi Active II系统以1024 Hz的频率记录数据。由于数据中存在大量的信号噪声，首先使用PREP管道对脑电图数据进行处理。数据重参考到双侧乳突，使用FIR滤波器带通滤波0.1-40 Hz之间，然后向下采样到128 Hz。并降采样电极数为64导，将每只手的食指和中指块结合起来，对来自左手或右手的动作进行二分类。提取手指运动开始前后-0.5—1s左右手指运动的脑电图，并进行二分类。
基于振荡的BCI的一个常见控制信号是感觉运动节律(SMR)，SMR与MRCP中的振荡成分非常相似。尽管基于SMR的BCI可以促进微妙的内源性BCI控制，但它们往往很弱，而且在被试之间和被试内部差异很大，为了实现合理的表现，传统上要求用户训练(神经反馈)和长校准时间(20分钟)。这里使用的脑电图数据来自BCI竞赛第四组数据集2A(称为SMR数据集)。这些数据包括9名被试的左右手、脚和舌头的动作的四类想象运动。采集时22个电极，250Hz，0.5-100hz，我们降采样为128hz，数据在4-40 Hz频段使用三阶巴特沃斯滤波器进行因果滤波，以最大限度地减少分类判别中眼睛运动的影响。对于训练集和测试集，我们在线索开始后分段为0.5-2.5s。注意，我们只对测试集中的这个时间范围进行预测。之后执行四分类。
这里我们介绍EEGNet，一个压缩的CNN架构，用于基于EEG的BCI(1)可以应用于几种不同的BCI范例，(2)可以使用非常有限的数据进行训练，(3)可以产生神经生理学上可解释的特征。图1和表2分别为采集频率为128hz、有C个通道和T个时间样本的EEG试次的EEGNet模型的可视化和完整描述。我们运行500次训练迭代(epochs)并执行验证停止，以节省产生最小验证集损失的模型权重。在所有卷积层中，我们省略了偏置单元的使用。注意，虽然所有卷积都是一维的，但为了便于软件实现，我们使用了二维卷积函数。
在block 1中，我们依次执行两个卷积步骤。首先，我们拟合大小（1，64）为F1的2D卷积滤波器，滤波器长度为数据采样率（这里是128Hz）的一半，输出包含不同带通频率脑电图信号的F1特征图。将时间核的长度设置为采样率的一半，允许捕获2hz及以上的频率信息。然后我们使用大小为(C， 1)的深度卷积来学习一个空间滤波器。在计算机视觉的CNN应用中，因为这些卷积并没有完全连接到所有以前的特征映射(参见图1)。重要的是，当用于脑电图特定的应用时，该操作提供了一种直接的方法来学习每个时间滤波器的空间滤波器，从而能够有效地提取特定频率的空间滤波器(见图1的中间列)。深度参数D控制每个特征映射要学习的空间滤波器的数量(为了便于说明，图1中显示了D = 1)。这种两步卷积序列的灵感部分来自于滤波器组公共空间模式(FBCSP)算法，并且在本质上类似于另一种分解技术，双线性判别分量分析。因为我们发现在使用非线性激活时没有显着的性能提高。在应用指数线性单元(ELU)非线性之前，我们沿着特征图维度应用批量归一化。我们设置了被试内分类的dropout概率为0.5，以帮助防止在小样本中训练时过度拟合，设置跨被试分类的dropout概率为0.25，因为训练集规模大得多(参见2.3节获取详情)。我们应用一个平均大小(1，4)的池化层来将信号的采样率降低到32hz。我们还通过对权重使用最大范数约束1来正则化每个空间滤波器；
图1 EEGNet架构的整体可视化。线条表示输入和输出之间的卷积核连接性(称为特征映射)。该网络从时间卷积(第二列)开始学习然后使用深度卷积(中间列)，分别连接到每个特征图，学习频率特定的空间滤波器。可分离卷积(第四列)是一个深度卷积的组合，它分别学习每个特征映射的时间总结，关于网络架构的详细信息可以在表2中找到。
表2 EEGNet架构，其中C =通道数，T =时间点数，F1 =时间滤波器数，D =深度乘法器(空间滤波器数)，F2 =点滤波器数，N =类数。对于Dropout层，我们使用p = 0.5作为被试内分类，p = 0.25作为跨被试分类(详见2.2.1节)。
在block 2中，我们使用可分离（separable）卷积，这是一个深度卷积(在这里，大小为(1，16)，代表在32 Hz上的500ms的脑电图活动)，然后是F2(1，1)点卷积。解耦合特征映射内部和跨特征映射的关系。当用于EEG特定的应用时，该操作将学习如何及时总结单个特征映射(深度卷积)与如何最佳地组合特征映射(点卷积)分离开来。这种操作对于脑电图信号也特别有用，因为不同的特征图可能代表不同时间尺度的信息数据。在我们的例子中，我们首先学习每个特征图的500ms，然后合并输出。
在分类block中，这些特征直接传递给一个N个单元的N是数据中类的数量。在softmax分类层之前，我们省略了使用稠密层进行特征聚合，以减少模型中自由参数的数量。
我们比较了EEGNet与DeepConvNet和ShallowConvNet模型的性能。我们在Tensorflow和Keras中实现了这些模型。由于它们的架构最初是为250 Hz的EEG信号设计的(与这里使用的128 Hz信号相反)，我们将它们架构中的时间核和池化层的长度分为两个，以大致对应于我们的模型中使用的采样率。我们以训练EEGNet模型的相同方式训练这些模型（见2.2.1章节）。
其中一个softmax层用于分类(参见图1)。ShallowConvNet架构由两个卷积层(时间层和空间层)组成。我们想强调的是，；因此，它可能不能很好地工作在基于ERP的分类任务上。然而，DeepConvNet架构被设计为通用架构，不局限于特定的功能类型，因此，它可以作为EEGNet的一个更有效的比较。表3显示了所有CNN模型中每个模型可训练参数的数量。
表3 所有基于CNN的模型的每个模型和每个数据集可训练参数的数量。我们发现，在所有数据集上，EEGNet模型比DeepConvNet和ShallowConvNet都要小两个数量级。注意，我们为SMR数据集使用32个样本的时间核长度，因为数据是4hz的高通滤波数据。
我们还将EEGNet的性能与表现最好的传统方法对每个范例的性能进行了比较。对于所有基于ERP的数据分析(P300，ERN，MRCP)，传统方法是赢得Kaggle BCI竞赛的方法，使用xDAWN空间滤波，黎曼几何，选择通道子集和L1特征正则化的组合。对于基于振荡的SMR分类，传统的方法是我们自己实现one- vs -rest（OVR）滤波器组公共空间模式(FBCSP)算法。为了便于实现，而且事实上它已经在FBCSP的现有软件实现中使用。
被试内分类使用被试数据的一部分来训练专门针对该被试的模型，而跨被试分类使用来自其他被试的数据来训练被试不可知的模型。虽然在各种任务上，被试内部模型往往比跨被试模型表现得更好，但正在进行的研究调查技术可以最小化(或可能消除)训练鲁棒系统所需的被试特定的信息。
对于被试内，对于P300和MRCP中的跨被试分析，我们随机选择四个被试作为验证集，一个被试作为测试集，其余的被试作为训练集(每个数据集的被试数量见表1)。
当训练被试内和跨被试模型时，我们在数据不平衡时(每个类的试次数不均等)对损失函数应用类别权重。我们应用的类别权重是训练数据中比例的倒数。例如，在P300数据集中，非目标和目标之间的几率为5.6：1(表1)。这个过程只应用于P300和ERN数据集，因为这是唯一存在显着类别不平衡的数据集。
在过去的几年里，从深度神经网络实现特征解释的方法的发展已经成为一个活跃的研究领域，并已被提出作为一个鲁棒的模型验证程序的重要组成部分，
1.汇总隐藏单元激活的平均输出。
2.可视化卷积核权重：因为EEGNet限制了卷积层的连通性(使用深度卷积和可分离卷积)，所以可以将时间卷积解释为窄带频率滤波器，将深度卷积解释为特定频率的空间滤波器。
3.计算单试次特征对分类决策的相关性：相关性的正值表示支持结果的证据，而相关性的负值表示反对结果的证据。这种分析可以用来阐明高置信度和低置信度预测的特征相关性，并可以用来确认学习到的相关特征是可解释的，而不是噪声或伪特征。
我们比较了两种基于CNN的参考算法（DeepConvNet and ShallowConvNet）与EEGNet - 4，2和EEGNet - 8，2的性能。在P300所有算法的被试4折交叉验证结果中，MRCP和ERN数据集如图2所示。我们观察到，在所有范式中，EEGNet - 4，2和EEGNet -8，2之间没有统计学上的显着差异(p > 0.05)，这表明。对于P300数据集，所有基于CNN的模型显着优于xDAWN+RG (p < 0.05)，但它们之间的表现没有显着差异。对于ERN数据集，在所有方法中观察到的最大差异是在MRCP数据集中，两种EEGNet模型在统计上都显着优于其他所有模型(DeepConvNet、ShallowConvNet和xDAWN+RG，每一次比较p < 0.05)。
SMR数据集的4折交叉验证结果如图3所示。这里我们看到，ShallowConvNet和FBCSP的性能非常相似，重复了先前的结果，而DeepConvNet的性能明显较低。我们还看到EEGNet - 8，2的性能也类似于FBCSP。
图3每个模型的SMR数据集的4折被试内分类性能，平均所有折和所有被试。误差条表示平均值的两个标准误差。在这里，我们看到DeepConvNet统计上表现比所有其他模型更差(p < 0.05)。ShallowConvNet和EEGNet -8，2的性能与FBCSP相似。
图4对每个模型的P300、ERN和MRCP数据集进行跨被试分类，平均30折。误差条表示平均值的两个标准误差。对于P300和MRCP数据集，DeepConvNet和EEGNet模型的差异最小，两者的性能都优于ShallowConvNet。对于ERN数据集，参考算法(xDAWN + RG)显着优于所有其他模型。
P300、MRCP和ERN数据集各算法的跨被试分类结果如图4所示。与被试内部分析相似，我们在所有数据集上观察到EEGNet - 4，2和EEGNet - 8，2之间没有统计学差异(p > 0.05)。对于P300数据集，所有基于CNN的模型显着优于xDAWN + RG (p < 0.05)，但它们之间的表现没有显着差异。对于MRCP数据集，EEGNet-8、2和DeepConvNet显着优于ShallowConvNet (p < 0.05)。我们还看到，与MRCP数据集的被试内性能相比，DeepConvNet和ShallowConvNet的性能都更好。对于ERN数据集，xDAWN+RG优于所有CNN模型(p < 0.05)。SMR数据集的跨被试分类结果如图5所示，(p > 0.05)。
图5每个模型的SMR的跨被试分类性能，平均所有折和所有被试。误差条表示平均值的两个标准误差。我们看到，
我们举例说明了三种不同的方法来表征EEGNet学到的特征：(1)总结隐藏单元激活的平均输出，(2)可视化卷积核权重，以及(3)计算单试次特征在分类决策上的相关性。我们在P300数据集上说明方法1，用于跨被试训练的EEGNet - 4，1模型。我们选择分析来自P300数据集的滤波器，是因为多个神经生理事件同时发生：参与者被告知，只要目标图像出现在屏幕上，就用他们的惯用手按下按钮。正因为如此，目标试次包含了P300事件相关电位以及对侧运动皮层中由于按钮按压而产生的alpha/beta去同步化。这里，我们感兴趣的是EEGNet体系结构是否能够分离这些混淆事件。当特定的滤波器从模型中移除时，我们还对量化体系结构的分类性能感兴趣。
图6显示了四个滤波器的空间拓扑以及平均的小波时频差异，使用Morlet小波计算，计算所有目标试次和所有非目标试次。这里我们看到四个不同的滤波器出现。滤波器1的时频分析显示，图像呈现后大约500ms低频功率增加，随后alpha频率失同步。由于在P300数据集中几乎所有的被试都是右撇子，我们也看到了沿着左侧运动皮层的显着活动。滤波器2的时频分析显示出显着的theta-beta关系；虽然之前在P300文献中已经注意到theta活性的增加是对靶点的反应，但之前没有注意到theta和beta之间的关系。滤波器4的时频差异与P300相对应，图像呈现后低频功率增加约350ms。我们还进行了一项特征消融研究，在该研究中，我们对这四个滤波器的所有组合都这样做。消融研究的分类结果如表4所示。我们看到，删除任何单个滤波器对测试集性能的影响最小，在删除滤波器4时下降最大。正如预期的那样，当移除滤波器对时，性能下降更为明显，在移滤波器3和4时观察到的下降幅度最大。与完整模型相比，删除滤波器2和3实际上不会改变分类性能，这表明该任务中最重要的特征被滤波器1和滤波器4捕获。当三个滤波器被移除时，这一发现进一步加强了分类性能；与只包含滤波器2 (0.7108 AUC)或滤波器1 (0.7970 AUC)的模型相比，只包含滤波器4 (0.8637 AUC)的模型表现得相当好。
图6可视化来自EEGNet - 4，1模型配置的特性，用于P300数据集中一个特定的跨被试验证。(A)每个空间滤波器的空间拓扑图。(B)每个滤波器的目标和非目标试次的平均小波时频差异。
图7对于SMR数据集的被试3，从被试内训练的EEGNet - 8，2模型中获得特征的可视化。8列中的每一列都显示了一个0.25 s窗口的学习时间核(顶部)及其两个相关的空间滤波器(底部两个)。我们看到，虽然许多时间滤波器都隔离了慢波活动，时间滤波器3，在0.25秒的窗口中显示8个周期)。
图8 比较FBCSP在8-12 Hz滤波器组中对每个OVR类别组合学习的四个空间滤波器，（A）利用EEGNet-8，2学习的空间滤波器，（B）为SMR数据集的被试3捕捉12Hz频率活动的四个时间滤波器，我们看到，对于这个被试，类似的滤波器出现在FBCSP和EEGNet- 8，2中。
图7显示了为用于SMR数据集的被试3的被试内分类的EEGNet -8，2模型学习的滤波器。图中的每一列表示学习的时间kernel(上一行)及其两个相关的空间滤波器(下两行)。注意，我们正在学习长度为32个样本的时间滤波器，对应于0.25 s的时间；因此，我们估计每个时间滤波器的频率为观测周期数的4倍。图8比较了EEGNet -8，2学习到的8 - 12hz频段的空间滤波器与FBCSP在8 - 12hz滤波器组中学习到的四个OVR组合中的每个空间滤波器。为了便于描述，我们将使用符号X-Y来表示行-列筛选器。在这里，虽然有些强烈负相关，表明类似的滤波器达到了符号模糊性（sign ambiguity）。
表4 性能的交叉学科训练EEGNet - 4，1模型，当从模型中移除某些滤波器时，然后使用该模型预测测试集的一个随机选择的折的P300数据集。尽管下降的幅度取决于哪些滤波器被删除。
图9显示了使用DeepLIFT对MRCP数据集的一个跨被试的三个不同试次进行计算的EEGNet -8，2的单试次特征相关性。这里我们看到高置信度的预测(图9 (A)和(B)，左和右的手指运动，分别)都正确显示对侧运动皮层相关性如预期的那样，而对于一个低的预测(图9 (C))，该功能相关性更广泛分布在时间和空间上。
图10显示了使用DeepLIFT对ERN数据集的一个测试被试的跨被试训练EEGNet -4，2模型分析特征相关性的另一个示例。Margaux等人之前注意到，正确反馈试次的平均ERP具有较早的峰值电位，对应于约325 ms，而错误试次的平均峰值电位发生稍晚，约475 ms。在这里，我们可以看到错误反馈试次(图10顶部一行的垂直线)和正确反馈试次(图10底部一行的垂直线)的峰值正电位的时间上的相同差异。我们还发现，这两类的DeepLIFT特征相关性与峰值正电位的相关性非常接近，这表明该网络将峰值正电位作为ERN分类的相关特征。这一发现支持了之前报道的结果，在那里他们显示了在峰值电位的振幅和错误检测的准确性之间有很强的正相关。
图9 (上行)针对MRCP数据集的三个不同测试试次，使用DeepLIFT对跨被试训练的EEGNet -8，2模型的单试次脑电图特征相关性：
(A)高置信度，正确预测了左手手指的移动；
(B)高置信度，正确预测了右手手指的移动；(C)低置信度，错误预测了左手手指的移动。标题包括真实的类别标签和该标签的预测概率。(下一行)两个时间点的相关性空间拓扑图：大约50毫秒和按下按钮后150毫秒。正如预期的那样，高置信度试次显示，分别按下左(A)和右(B)按钮时，对侧运动皮层对应的正确相关性。对于低置信度试次，我们看到相关性更加混合和广泛分布，
图10针对ERN数据集的一个测试被试，使用DeepLIFT对跨被试训练的EEGNet -4，2模型进行单试次脑电图特征相关性研究。
(第一行)对错误反馈的三个正确预测试次的相关性，及其预测概率p(第一行)与第一行相同。即错误反馈试次(上行)和正确反馈试次(下行)。细垂直线表示ERP平均波形的正峰值。在这里，我们看到特征相关性与每个试次的平均ERP波形的正峰值强烈吻合。我们也看到正的峰值出现得稍微早一些对于正确的反馈试次。
在这项工作中，我们提出了EEGNet，一个小型的卷积神经网络，用于基于脑电图的BCI，它可以在有限的数据存在的情况下泛化不同的BCI范式，并产生可解释的特征。我们通过四个EEG数据集：P300视觉诱发电位、错误相关负波(ERN)、运动相关皮层电位(MRCP)和感觉运动节律(SMR)，对EEGNet与基于ERP和振荡的BCIs的最先进方法进行了评估。据我们所知，这是第一次验证跨多个BCI数据集使用单一网络架构的工作，每个数据集都有自己的特征和数据集大小。我们的工作介绍了使用深度和可分离卷积脑电图信号分类，并表明它们可以用来构建一个脑电图特定的模型，最后，通过使用特征可视化和消融分析，我们表明可以从EEGNet模型中提取神经生理学可解释的特征。最后这一发现尤其重要，因为它是理解CNN模型结构的有效性和鲁棒性的关键组成部分，不仅对EEG，而且对一般的CNN结构也是如此。
CNN的学习能力部分来自于它们从原始数据中自动提取复杂特征表示的能力。然而，由于这些特征不是由人类工程师手工设计的，当cnn被用于脑电图数据的分析时，这一点尤其正确，因为神经信号的特征往往是非平稳的，并被噪声伪影损坏。在本研究中，我们展示了三种不同的方法来可视化EEGNet学到的特性：
(1)分析P300数据集上的空间滤波器输出，平均试次结果;
(2)可视化SMR数据集上的卷积核权值，并将其与FBCSP学到的权值进行比较;
(3)对MRCP和SMR数据集进行单试次相关性分析。对于ERN数据集，我们比较了单试次特征相关性和平均ERP，发现相关特征与正确和错误反馈试次的正峰值一致，这在之前的文献中已经表明与分类器性能呈正相关。此外，我们进行了一项特征消融研究，以了解分类决策对P300数据集上特定特征存在与否的影响。在每一项分析中，
总体而言，DeepConvNet和EEGNet在所有跨被试分析中的分类表现相似，而DeepConvNet在几乎所有被试内分析中的分类表现较低(P300除外)。对这种差异的一种可能解释是用于训练模型的训练数据的数量;在跨被试分析中，训练集的大小大约是被试内分析的10-15倍。这表明，与EEGNet相比，DeepConvNet的数据密集型更强，考虑到DeepConvNet的模型规模比EEGNet大两个数量级，这一结果并不令人惊讶(见表3)。我们相信，这与DeepConvNet的开发人员最初报告的发现是一致的。他们指出，需要训练数据增强策略来获得对SMR数据集的良好分类性能。与他们的工作相比，
总的来说，我们发现，在被试内和跨被试分析中，ShallowConvNet倾向于在ERP BCI数据集上比在振荡BCI数据集(SMR)上表现更差，而在DeepConvNet上观察到相反的行为。我们认为这是由于ShallowConvNet架构专门设计用于提取频带特征;在主要特征是信号幅度的情况下(如许多ERP BCIs中的情况)，ShallowConvNet的性能往往会受到影响。而DeepConvNet则相反;由于其架构的设计不是为了提取频率特征，所以在频率功率为主要特征的情况下，其性能较低。相比之下，我们发现EEGNet与ShallowConvNet在鼻中隔黏膜下切除术后的分类和DeepConvNet在ERP分类一样好，这表明EEGNet足够强劲的学习各种各样的功能范围的BCI任务。
鉴于MRCP和SMR之间的神经反应相似，这种表现上的差异并不是因为使用了大量的训练数据，因为被试内MRCP分类大约有700个训练试次，平均分布在左右手指运动中，而SMR数据集只有192个训练试次，平均分布在四个类别中。此外，在其他数据集(P300和ERN)上，我们没有观察到ShallowConvNet性能的大偏差。事实上，尽管该数据集是本研究使用的所有数据集中最小的(总共只有170个训练试次)，但ShallowConvNet在被试内ERN分类方面表现得相当好。确定这一现象的潜在来源将在未来的研究中进行探索。
脑电图深度学习模型一般采用三种输入方式，取决于他们的目标应用程序:(1)脑电图信号的所有可用的通道，(2)变换后的EEG信号(通常是一个时频分解)的所有可用的通道或(3)变换后的EEG信号通道的一个子集。属于(2)的模型通常会看到数据维数显著增加，因此需要更多的数据或更多的模型正则化(或两者都需要)来学习有效的特征表示。这引入了更多必须学习的超参数，增加了由于超参数错误描述而导致的模型性能的潜在可变性。属于(3)的模型通常需要关于要选择的通道的先验知识。我们认为属于(1)的模型，例如EEGNet和其他模型，当BCI技术发展到新的应用程序空间时，这一点尤其重要，因为这些未来BCI所需的特性可能事先不知道。
总之，我们提出的EEGNet鲁棒性很好，表现很好，在多个数据集上可获得一系列可解释性特征。