脑电(EEG)信号是脑机接口(BCI)系统的关键信号载体。全脑电极排布采集的EEG数据有利于获得较高的信息表征。而个性化的电极布局,在保证EEG信号解码精度的基础上,亦能缩短BCI的校准时间,已成为一个重要的研究方向。本文梳理了近几年的EEG信号通道选择方法,对不同的通道选择方法与不同的分类算法的结合效果进行了比较分析,总结了BCI中运动想象、P300等范式中常用的通道组合,并阐述了通道选择方法在不同范式中的应用场景,以期为实现更精准和更便携的BCI系统提供较有力的支持。
引用本文: 李湘喆, 王丹, 张柏雯, 范超杰, 陈佳明, 许萌, 陈远方. 基于脑电信号的通道选择研究综述. 生物医学工程学杂志, 2024, 41(2): 398-405. doi: 10.7507/1001-5515.202308034 复制
0 引言
脑机接口(brain-computer interface,BCI)通过采集和记录脑电(electroencephalogram,EEG)信号,将其转换为可以控制外部设备的命令,可实现大脑与外部设备的直接交互[1]。EEG信号的采集是通过在头皮表面放置电极,每个电极代表一个通道,利用不同通道的电位值变化情况记录大脑不同区域的活动[2]。大脑区域主要可分为额叶、颞叶、顶叶、枕叶和中心部,10-20系统下脑区的通道分布如图1所示。其中,额叶在认知与情感调节方面起重要作用,顶叶参与感觉信息加工和逻辑推理,枕叶与视觉和语言密切相关,颞叶主要涉及情绪调节[3]。随着EEG信号采集技术的不断进步,采集设备衍生出了高电极数的配置[4]。虽然增加电极数能够提升对EEG信号的空间采集能力,但同时也会带来较高的采集成本,并影响受试者的体验。而在特定应用场景下,如对于配备人脸认证设备、脑控无人机以及大脑状态监测仪器等的便携式BCI系统来说,通道选择尤为重要[5]。此外,在EEG信号的解码流程中,噪声较多的通道会引入冗余信息,进而降低BCI的识别率[6]。因此,探索如何减少通道数,以提高BCI系统的可扩展性和提升受试者的体验感是一个重要的研究课题。
2004年Lal等[7]引入了基于递归特征消除(recursive feature elimination,RFE)和零范数优化(zero norm optimization,l0-Opt)特征选择方法,证明了采用适当的通道选择方法减少通道数量,可以提高计算效率且不会增加分类误差。近年来,相关领域的研究文献报道了很多通道选择方法。一些研究采取在特征提取前进行通道选择,其EEG信号解码流程如图2所示。具体而言,BCI系统首先对原始EEG信号进行预处理,包括去伪迹和低频噪声干扰等,以获得高信噪比的信号[8];在训练阶段,对预处理后的信号经过通道选择和特征提取,然后将其输入到训练模型进行信号分类;在测试阶段,直接对通道选择后的EEG数据进行特征提取和分类,输出最终的分类结果。例如Dhiman[9]在特征提取前计算通道信号间相关性系数,进而选择相关性强的通道。通道选择也可基于特征提取的结果,例如Jin等[10]提出的基于双光谱分析的通道选择(bispectrum based channel selection,BCS)方法,对通道提取双光谱对数震荡子(sum of logarithmic amplitudes,SLA)和一阶光谱矩(first order spectral moment,FOSM)特征,根据特征计算通道的重要性得分,进而实现通道选择。
本文综述了近年来常用的通道选择方法,总结了这些方法在EEG信号分类研究中的应用,包括所用通道的分布与数量以及在分类任务中的表现;分析了不同通道选择方法的优缺点,并总结了四种BCI范式常用的通道组合,以帮助研究者选择适用的通道组合或探索更优的通道选择方法。
1 EEG信号通道选择方法
根据对相关文献的分析,本文将常见的通道选择方法概括为以下三种:传统的通道选择方法、基于启发式算法的通道选择方法、基于深度学习的通道选择方法。传统的通道选择方法需根据特征和给定阈值对通道进行排序选择;基于启发式算法的通道选择方法通过搜索算法迭代寻找最优通道子集;基于深度学习的通道选择方法通过神经网络训练得到分类表现好的通道。常见的通道选择与分类方法如图3所示。
1.1 传统的通道选择方法
传统的通道选择方法,通常根据信号频率特性或通道信号间的相关性等因素来评估通道的重要性,从而对通道进行排序选择。其中,通道信号间的相关性用于评估通道与大脑任务活动之间的激活关系,常用的方法有:通过计算通道信号间的皮尔逊相关性系数(Pearson correlation coefficient,PCC)来衡量它们之间的相关程度等[11-12]。
PCC是一种用于衡量两个连续变量之间线性关系强度的统计指标。Jin等[13]首次提出了基于相关性的通道选择(correlation-based channel selection,CCS)方法。该方法首先计算n个通道信号间的PCC,生成一个n × n的相关矩阵;然后,从矩阵的每一行提取平均值,以确定具有最大平均相关性的通道;最终,将平均相关性最大的m个通道定义为高度相关的通道。孟明等[14]将互信息应用于通道选择中。互信息,是信息论中用于衡量两个随机变量之间相互关系的度量,其值越大,表示两个变量之间的相互依赖性越强。与CCS方法类似,该方法首先计算n个通道信号间的互信息,生成一个n × n的互信息矩阵,接着初始化一个全0的n维通道权值向量,并将互信息矩阵中最大值对应的通道向量权值加1。在遍历所有试次后,得到最终的通道权值向量,从而筛选出与任务相关性强的通道。Mahamune等[15]提出了一种基于小波系数标准差(standard deviation of wavelet coefficients,STDWC)的通道选择方法。该方法利用滤波器组对每个通道信号进行处理,获取不同尺度的小波系数,并计算它们的标准差,以评估每个通道的小波系数变化情况,变化越大,表明通道信号间相关性越强。除此以外,Mu等[16]提出了一种基于一对多共空间模式费舍尔得分(Fisher score of one versus rest-common spatial pattern,OVR-F-CSP)的通道选择方法。其中,共空间模式(common spatial pattern,CSP)是一种空域滤波特征提取算法[17]。该方法采用CSP对不同通道提取特征,最终通过筛选出费舍尔得分(Fisher score)较高的通道来完成通道选择。
1.2 基于启发式算法的通道选择方法
在基于启发式算法的通道选择中,常用0和1表示通道选择情况,每种选择被视为一个粒子。单目标启发式算法通常采用分类表现作为评价通道集优劣的唯一适应度函数;多目标启发式算法同时将分类效果和通道数量等作为目标函数,寻找多目标均衡的最优解。
1.2.1 基于单目标启发式算法的通道选择方法
Qi等[18]提出了将多级粒子群优化算法(multilevel particle swarm optimization,MLPSO)应用于EEG信号通道选择中。粒子群优化算法(particle swarm optimization,PSO)是1995年由Kennedy等 [19]提出的一种基于群体的优化算法。为了更好地平衡算法的搜索能力,MLPSO使用了线性减小的惯性重量对PSO进行改进。PSO采用如式(1)所示方式来更新粒子的位置。应用于通道选择算法的MLPSO仅允许粒子在0、1处进行位置更新,如式(2)所示:
其中,xi(t)代表第i个个体在第t次迭代的位置,vik(t + 1)、Xik(t + 1)分别代表第i个个体中第k个粒子在第t次迭代的速度与最终位置,r为0~1间的随机数,S型函数(sigmoid)用于控制速度的变化范围。
Padfield等[20]使用遗传算法进行通道选择。该算法定义染色体向量x = [x1, x2,···,xn]来表示通道选择情况,通过适应度轮盘赌的方式,选择遗传到下一代的个体,并通过交叉和变异运算生成新个体。整个过程迭代进行,直至迭代结束,找到具有最高适应度的通道组合。还有一些新型启发式算法,如引导鲸鱼算法等也被应用于通道选择中,这些新型的启发式算法通常具有更快的收敛速度[21]。例如,Sun等[22]提出了一种结合位置先验权重排列熵与二元引力搜索算法(position priori weight-permutation entropy-binary gravitational search algorithm,PPWPE-BGSA)的通道选择方法。该方法首先根据位置先验权重排列熵筛选出排名靠前的一半通道,再采用万有引力搜索算法进一步探索最优的通道组合。
1.2.2 基于多目标启发式算法的通道选择方法
应用于通道选择的多目标启发式算法的适应度函数通常如式(3)所示:
其中,x表示某种非支配通道组合,acc(x)表示分类准确率,f1(x)表示分类错误率,f2(x)表示选择的通道数。此类优化问题中可能存在多个解决方案,这多个解决方案被称为帕累托最优解。Martínez-Cagigal等[23]提出了一种名为双前遗传算法(dual-front genetic algorithm,DFGA)的多目标启发式算法,用于解决通道选择问题。与随机生成解决方案的方法不同,DFGA在每次迭代中将存储库分为两个集合:最优集、次优集。通过遗传算子迭代计算,从这两个集合中选择解决方案并合成帕累托最优解,维护当前存储库中的最佳通道。Xu等[24]采用了一种求解大规模稀疏多目标优化问题的进化算法(evolutionary algorithm for large-scale sparse multi-objective optimization,SparseEA), 该算法引入了新的二进制解码方法和遗传策略,结合结构化判决成分分析(hierarchical discriminant component analysis,HDCA)方法进行分类,以更好地适应通道选择和EEG信号分类任务。Tiwari等[25]的研究融合了搜索策略与传统特征选择技术。这种通道选择方法依据频谱熵和李雅普诺夫指数设定双目标得分函数,结合萤火虫算法进行迭代搜索。在迭代过程中,候选通道根据得分函数计算其与通道集合在下一次迭代中的相似度,进而得到每个通道的加权分数。最终,结合通道的加权分数和费舍尔信息,对通道进行有效排序。Shi等[26]提出的自适应二进制多目标和声搜索算法(adaptive binary multi-objective harmony search,ABMOHS)也被应用于通道选择中。该算法是自适应二进制和声搜索(adaptive binary harmony search,ABHS)算法的改进。ABHS算法通过持续学习和微调音调,不断更新和声记忆库以创造新的音调,进而实现最优解的搜索。ABMOHS算法将ABHS中单目标搜索转换为多目标搜索。基于ABMOHS的通道选择方法在多个BCI范式下均取得了显著的分类效果,突显了其在EEG信号处理中的潜在应用价值。
1.3 基于深度学习的通道选择方法
传统的通道选择方法需要手动提取通道特征,而深度学习能够通过多层神经网络自动学习并提取高度抽象的特征。随着深度学习技术的进步,深度学习分类方法也被应用于EEG信号解码,通过将通道选择融入到深度学习模型中,可以简化分类流程,且更有效地平衡不同受试者之间的差异。
Sun等[27]设计了通道主动推理模块(channel active reasoning module,CARM),提出了两种基于图的通道选择方法:边选择和聚合选择。CARM模块建立了动态可调邻接矩阵以表示通道间的联系,在训练过程中利用反向传播更新深度神经网络中的参数,避免了人工构建邻接矩阵。边选择,考虑了两通道节点的交互性,边的权重定义如式(4)所示:
聚合选择,则考虑节点与所有相邻节点之间的聚合关系,通道节点的权重定义如式(5)所示:
其中,表示节点i到j的邻接矩阵值,表示节点i的度,N表示通道数。在实际应用中,由于大脑在固定范式下的激活区域呈相似模式,给定相同数量的通道时,通过聚合选择实际选取的节点数通常少于给定的数值。因此,边选择被认为是一种计算量更小、更有效的选择方式。
深度学习分类方法,通常在训练过程的损失函数中添加惩罚项来平衡训练数据的拟合程度和特征复杂性。但这种方法无法给定特征数量,导致训练成本较高。为了解决特征数量问题,Strypsteen等[28]提出基于甘贝尔分布的归一化指数(Gumbel softmax)通道选择方法,在神经网络模型中引入了通道选择层。其中,通道选择层中每个神经元由学习向量参数化,通过计算所有通道的权重向量,选出分类效果较好的通道。同时,该方法使用正则化函数在所选通道概率之和超过阈值时进行惩罚,以去除被重复选择的通道。
2 基于通道选择的EEG信号分类算法
本节介绍了近年来在EEG信号分类中应用的部分通道选择方法,分析了这些方法在相同BCI范式或数据集条件下的通道数量与分类性能表现间的关系。具体而言,涵盖了包括运动想象(motor imagery,MI)范式、P300范式、快速序列呈现(rapid serial visual presentation,RSVP)范式和情感识别范式的常见公开数据集。此外,根据这些方法的通道选择结果,本文总结了在不同BCI范式下可能出现的最佳通道组合。
2.1 多类范式下的EEG信号通道选择分类算法
近年,部分通道选择方法在不同公开数据集上的分类性能如表1所示。传统的通道选择方法计算开销较小,但更易受噪声影响,拟合程度较差。如,BCS方法基于对信号频谱特征的计算,受滤波器频率范围影响较大,可能导致分类准确率较低。在相同的数据集:第四届BCI竞赛公开数据集I(BCI competition IV dataset I)和支持向量机(support vector machine,SVM)算法分类下,ABMOHS方法均衡考虑两个适应度函数的最优解,在通道数和分类准确率上都有较好的表现;PPWPE-BGSA方法由于在第一段通道选择中去除了二分之一通道,在通道数量上更有优势,但其分类性能略差于ABMOHS方法。在第三届BCI竞赛公开数据集IVa(BCI Competition III dataset IVa)和SVM算法分类下,传统的通道选择方法CCS和BCS分类表现并不十分突出,PPWPE-BGSA方法虽然达到了较高的准确率,仍使用了较多的通道进行分类。相对而言,ABMOHS方法仅采用平均17个通道就达到了89.6%的分类准确率,这表明多目标启发式算法的强搜索能力对高通道数的数据集分类更有优势。尤其是有研究显示,DFGA方法在不同范式下的测试结果展现了该方法的良好通用性[23],虽然在相同的P300范式数据集和线性判别分析(linear discriminant analysis,LDA)分类算法下,DFGA方法分类准确率略低于基于区域平滑稀疏贝叶斯学习(regional smoothing block sparse Bayesian learning,RSBSBL)的通道选择方法,但其选择的通道数仅为RSBSBL方法的一半。
除此之外,本文总结了不同通道选择方法在不同范式下的通道数选择情况。在传统的通道选择方法下,对于MI范式,根据Mu等[16]的研究结果,通常选择15~20个通道以获得最佳分类结果;对于情感识别范式,Yan等[29]研究表明,当通道数小于19时,识别准确率呈下降趋势。在基于启发式算法的通道选择方法下,对于MI范式,根据Shi等[26]的结果,通常选择10~25个通道就能够取得较为优异的分类效果。然而,当通道数小于10时,整体准确率则呈明显下降趋势;对于P300范式,平均选择10~20个通道可达到最佳分类效果。
研究表明,同一通道选择方法结合不同的分类方法也会对最终的分类效果产生影响,如ABMOHS方法分别结合SVM算法和费舍尔线性判别分析(Fisher’s linear discriminant analysis,FLDA)算法进行分类时,SVM展现了更为显著的分类效果。近年来,越来越多的深度学习方法被用于解决通道选择问题,如STDWC通道选择方法使用卷积神经网络(convolutional neural network,CNN)分类,仅用16个通道便在BCI Competition III dataset IVa上达到了81.86%的分类准确率;基于变换器结构(Transformer)分类的OVR-F-CSP方法,在第四届BCI竞赛公开数据集2a(BCI Competition IV dataset 2a)下达到了85.54%的分类准确率,相比通道选择前有所提高。这些结果表明,合适的通道选择方法与深度学习模型结合会有更优的分类表现。传统通道选择算法不依赖于分类器,可直接应用于深度学习分类,进一步提高算法的识别率。基于启发式学习的通道选择方法,在与复杂的深度学习模型结合时,通常伴随着巨大的计算时间开销。在这种情况下,将基于传统机器学习分类算法得到的通道组合引入深度学习分类模型中,或许能够为深度学习模型提供更具辨识信息的特征,从而更有效地促进以通道选择与深度学习相结合的方式来解决分类问题。
2.2 多类范式下常用的通道组合
本节对表1中列举出的通道选择方法进行统计分析,总结出四种BCI范式下被选择次数较多的10个通道,这些通道的位置分布如图4所示。从图4中可以看出,MI相关通道大部分集中在大脑中心部和感觉运动皮层的相关通道,这与大多数研究人员在MI的EEG信号分析中使用的电极位置是一致的。在P300范式下,本课题组根据对Zhao等[30]结果的综合分析表明,大脑顶叶和中心部通道信号产生的刺激最为明显。对于RSVP范式,Xu等[24]的研究指出,相关电极在顶叶和枕叶的分布较为密集,这与RSVP范式下由于眼球刺激引发的EEG信号变化相符合。对于情感识别范式,Topic等[31]在不同情感识别数据集上的通道选择结果表明,在情感变化的过程中,额叶、顶叶和颞叶区域的EEG信号更加活跃,对分类识别影响更大。这些发现有助于指导研究人员选择合适的EEG信号通道进行分类,以获得更好的分类效果,并提升受试者的体验。
3 通道选择在不同范式下的应用场景
3.1 基于MI范式的通道选择
通道选择技术在EEG信号分类领域已有许多实际应用[32]。MI是指通过想象特定动作诱发大脑活动模式的变化,以判断受试者的意图,从而实现人脑与外部设备间的通信与控制。例如,Ortiz等[33]在研究中利用外骨骼帮助高位截瘫患者提供步行辅助。在此应用场景中,由于外骨骼的重量可能增加步行负担,借助通道选择技术可有效简化模型、减轻可穿戴外骨骼的体积和重量,更便于整合到便携设备中。2022年Liu等[34]提出了一种基于MI的新型BCI范式,通过想象来控制第六手指的运动,并在EEG信号的解码过程中采用基于遗传算法的通道选择方法。经过通道选择后结果显示,最优的通道组合仅包含8个通道,且分类准确率显著优于随机选择8通道的分类准确率。
3.2 基于ERP相关范式的通道选择
事件相关电位(event related potentials,ERP)是在特定的刺激条件下记录到的EEG信号变化,用于研究大脑对特定刺激或事件的电生理反应。常用的ERP成分包括P300、N400等,这些成分反映了大脑对特定刺激的加工过程。Xu等[24]在RSVP范式中应用了通道选择技术,该范式将图片序列以固定频率快速呈现给受试者观看。由于连续、快速的视觉刺激可能引起眼动信号等伪迹,产生潜在干扰,运用通道选择技术可以减少这些干扰对分类识别的影响,从而提高ERP的信噪比。Zeng等[35]提出了一种基于人脸图像的RSVP范式用于身份认证,并采用基于遗传算法的通道选择方法。由于使用了较少的通道数,显著缩短了准备时间,提高了身份认证的实用性。此外,通道选择技术为每个用户定制特定的通道,使得系统更具特异性和健壮性。
3.3 基于SSVEP范式的通道选择
当人体受到固定频率闪烁的视觉刺激时,大脑皮层会产生一个与刺激频率有关的响应,这个响应具有与视觉刺激类似的周期性节律,即稳态视觉诱发电位(steady-state visually evoked potential,SSVEP)。SSVEP范式通过分析受试者EEG信号的谱峰频率,能够检测受试者视觉注视的刺激源,从而实现对受试者意图的识别。该范式在外部设备控制方面有一定的应用,例如控制电动轮椅、机械臂、游戏等[36]。Meng等[37]设计了四个方块在屏幕上同时闪烁,并要求受试者将注意力集中在与提示目标相对应的闪烁方块上持续4 s。为了达到最佳的SSVEP识别结果,研究者采用了三种不同的通道选择方法,包括顺序浮动前向选择算法、离散PSO算法和改进的皮氏分数算法。通过对这三种通道选择方法对比测试,研究者为每个受试者提供了个性化的通道设置,并成功减少了使用的通道数量。
3.4 基于情感识别和意识状态检测的通道选择
情感识别是指利用EEG信号来识别和推断个体情感状态的技术。在情感识别的领域,使用具有大量通道的EEG信号采集设备会增加试验流程的复杂性,在一定程度上也会影响受试者的情绪变化。Topic等[31]使用改进的救济算法(ReliefF)进行通道选择,并在经典的情感识别数据集上进行了测试。试验中,由受试者自由观看一部分视频片段,并在效价、唤醒和支配空间中评估自我情绪,与EEG信号分类的结果相比较。试验结果表明,使用少量通道可有效提高情感识别分类的准确率。除此以外,通道选择技术也被应用于许多脑部疾病的检测中,Ghembaza等[38]提出了一种基于时频扩展瑞丽熵的动态通道选择算法,选择信号复杂度高的通道作为与癫痫发作最相关的EEG信号通道。该研究在提升了检测效果的同时,大大减少了癫痫检测所需的时间[39]。
4 总结与展望
选择合适数量的通道进行EEG信号采集可以减少EEG信号分类的时间和资源成本,提高分类准确率,给受试者更好的体验。通道选择有多种衡量指标,如时间性能、通道数、分类准确率等,如何均衡实现多种指标的最优值是通道选择的主要目标。本文对近年来发表的通道选择方法进行了分析,总结了不同BCI范式下常用的通道组合与应用情况。经过研究发现,大多数通道选择方法通常在获取5~30个通道的情况下,便可以满足BCI范式基本分类任务需求。同时,近年来许多新的深度学习模型和优化算法已经问世。如何将这些算法和模型应用于通道选择,以进一步平衡计算开销与BCI系统的分类性能,成为未来研究的一个潜在方向。
重要声明
利益冲突声明:本文全体作者均声明不存在利益冲突。
作者贡献声明:陈佳明完成了相关文献搜集、分析工作,张柏雯完成了文献整理、文章图像绘制,李湘喆完成了文献综述及文章的撰写,王丹和许萌制定了文章的写作思路,陈远方完成了文章的审阅及校对,范超杰协助了稿件的修订。
0 引言
脑机接口(brain-computer interface,BCI)通过采集和记录脑电(electroencephalogram,EEG)信号,将其转换为可以控制外部设备的命令,可实现大脑与外部设备的直接交互[1]。EEG信号的采集是通过在头皮表面放置电极,每个电极代表一个通道,利用不同通道的电位值变化情况记录大脑不同区域的活动[2]。大脑区域主要可分为额叶、颞叶、顶叶、枕叶和中心部,10-20系统下脑区的通道分布如图1所示。其中,额叶在认知与情感调节方面起重要作用,顶叶参与感觉信息加工和逻辑推理,枕叶与视觉和语言密切相关,颞叶主要涉及情绪调节[3]。随着EEG信号采集技术的不断进步,采集设备衍生出了高电极数的配置[4]。虽然增加电极数能够提升对EEG信号的空间采集能力,但同时也会带来较高的采集成本,并影响受试者的体验。而在特定应用场景下,如对于配备人脸认证设备、脑控无人机以及大脑状态监测仪器等的便携式BCI系统来说,通道选择尤为重要[5]。此外,在EEG信号的解码流程中,噪声较多的通道会引入冗余信息,进而降低BCI的识别率[6]。因此,探索如何减少通道数,以提高BCI系统的可扩展性和提升受试者的体验感是一个重要的研究课题。
2004年Lal等[7]引入了基于递归特征消除(recursive feature elimination,RFE)和零范数优化(zero norm optimization,l0-Opt)特征选择方法,证明了采用适当的通道选择方法减少通道数量,可以提高计算效率且不会增加分类误差。近年来,相关领域的研究文献报道了很多通道选择方法。一些研究采取在特征提取前进行通道选择,其EEG信号解码流程如图2所示。具体而言,BCI系统首先对原始EEG信号进行预处理,包括去伪迹和低频噪声干扰等,以获得高信噪比的信号[8];在训练阶段,对预处理后的信号经过通道选择和特征提取,然后将其输入到训练模型进行信号分类;在测试阶段,直接对通道选择后的EEG数据进行特征提取和分类,输出最终的分类结果。例如Dhiman[9]在特征提取前计算通道信号间相关性系数,进而选择相关性强的通道。通道选择也可基于特征提取的结果,例如Jin等[10]提出的基于双光谱分析的通道选择(bispectrum based channel selection,BCS)方法,对通道提取双光谱对数震荡子(sum of logarithmic amplitudes,SLA)和一阶光谱矩(first order spectral moment,FOSM)特征,根据特征计算通道的重要性得分,进而实现通道选择。
本文综述了近年来常用的通道选择方法,总结了这些方法在EEG信号分类研究中的应用,包括所用通道的分布与数量以及在分类任务中的表现;分析了不同通道选择方法的优缺点,并总结了四种BCI范式常用的通道组合,以帮助研究者选择适用的通道组合或探索更优的通道选择方法。
1 EEG信号通道选择方法
根据对相关文献的分析,本文将常见的通道选择方法概括为以下三种:传统的通道选择方法、基于启发式算法的通道选择方法、基于深度学习的通道选择方法。传统的通道选择方法需根据特征和给定阈值对通道进行排序选择;基于启发式算法的通道选择方法通过搜索算法迭代寻找最优通道子集;基于深度学习的通道选择方法通过神经网络训练得到分类表现好的通道。常见的通道选择与分类方法如图3所示。
1.1 传统的通道选择方法
传统的通道选择方法,通常根据信号频率特性或通道信号间的相关性等因素来评估通道的重要性,从而对通道进行排序选择。其中,通道信号间的相关性用于评估通道与大脑任务活动之间的激活关系,常用的方法有:通过计算通道信号间的皮尔逊相关性系数(Pearson correlation coefficient,PCC)来衡量它们之间的相关程度等[11-12]。
PCC是一种用于衡量两个连续变量之间线性关系强度的统计指标。Jin等[13]首次提出了基于相关性的通道选择(correlation-based channel selection,CCS)方法。该方法首先计算n个通道信号间的PCC,生成一个n × n的相关矩阵;然后,从矩阵的每一行提取平均值,以确定具有最大平均相关性的通道;最终,将平均相关性最大的m个通道定义为高度相关的通道。孟明等[14]将互信息应用于通道选择中。互信息,是信息论中用于衡量两个随机变量之间相互关系的度量,其值越大,表示两个变量之间的相互依赖性越强。与CCS方法类似,该方法首先计算n个通道信号间的互信息,生成一个n × n的互信息矩阵,接着初始化一个全0的n维通道权值向量,并将互信息矩阵中最大值对应的通道向量权值加1。在遍历所有试次后,得到最终的通道权值向量,从而筛选出与任务相关性强的通道。Mahamune等[15]提出了一种基于小波系数标准差(standard deviation of wavelet coefficients,STDWC)的通道选择方法。该方法利用滤波器组对每个通道信号进行处理,获取不同尺度的小波系数,并计算它们的标准差,以评估每个通道的小波系数变化情况,变化越大,表明通道信号间相关性越强。除此以外,Mu等[16]提出了一种基于一对多共空间模式费舍尔得分(Fisher score of one versus rest-common spatial pattern,OVR-F-CSP)的通道选择方法。其中,共空间模式(common spatial pattern,CSP)是一种空域滤波特征提取算法[17]。该方法采用CSP对不同通道提取特征,最终通过筛选出费舍尔得分(Fisher score)较高的通道来完成通道选择。
1.2 基于启发式算法的通道选择方法
在基于启发式算法的通道选择中,常用0和1表示通道选择情况,每种选择被视为一个粒子。单目标启发式算法通常采用分类表现作为评价通道集优劣的唯一适应度函数;多目标启发式算法同时将分类效果和通道数量等作为目标函数,寻找多目标均衡的最优解。
1.2.1 基于单目标启发式算法的通道选择方法
Qi等[18]提出了将多级粒子群优化算法(multilevel particle swarm optimization,MLPSO)应用于EEG信号通道选择中。粒子群优化算法(particle swarm optimization,PSO)是1995年由Kennedy等 [19]提出的一种基于群体的优化算法。为了更好地平衡算法的搜索能力,MLPSO使用了线性减小的惯性重量对PSO进行改进。PSO采用如式(1)所示方式来更新粒子的位置。应用于通道选择算法的MLPSO仅允许粒子在0、1处进行位置更新,如式(2)所示:
其中,xi(t)代表第i个个体在第t次迭代的位置,vik(t + 1)、Xik(t + 1)分别代表第i个个体中第k个粒子在第t次迭代的速度与最终位置,r为0~1间的随机数,S型函数(sigmoid)用于控制速度的变化范围。
Padfield等[20]使用遗传算法进行通道选择。该算法定义染色体向量x = [x1, x2,···,xn]来表示通道选择情况,通过适应度轮盘赌的方式,选择遗传到下一代的个体,并通过交叉和变异运算生成新个体。整个过程迭代进行,直至迭代结束,找到具有最高适应度的通道组合。还有一些新型启发式算法,如引导鲸鱼算法等也被应用于通道选择中,这些新型的启发式算法通常具有更快的收敛速度[21]。例如,Sun等[22]提出了一种结合位置先验权重排列熵与二元引力搜索算法(position priori weight-permutation entropy-binary gravitational search algorithm,PPWPE-BGSA)的通道选择方法。该方法首先根据位置先验权重排列熵筛选出排名靠前的一半通道,再采用万有引力搜索算法进一步探索最优的通道组合。
1.2.2 基于多目标启发式算法的通道选择方法
应用于通道选择的多目标启发式算法的适应度函数通常如式(3)所示:
其中,x表示某种非支配通道组合,acc(x)表示分类准确率,f1(x)表示分类错误率,f2(x)表示选择的通道数。此类优化问题中可能存在多个解决方案,这多个解决方案被称为帕累托最优解。Martínez-Cagigal等[23]提出了一种名为双前遗传算法(dual-front genetic algorithm,DFGA)的多目标启发式算法,用于解决通道选择问题。与随机生成解决方案的方法不同,DFGA在每次迭代中将存储库分为两个集合:最优集、次优集。通过遗传算子迭代计算,从这两个集合中选择解决方案并合成帕累托最优解,维护当前存储库中的最佳通道。Xu等[24]采用了一种求解大规模稀疏多目标优化问题的进化算法(evolutionary algorithm for large-scale sparse multi-objective optimization,SparseEA), 该算法引入了新的二进制解码方法和遗传策略,结合结构化判决成分分析(hierarchical discriminant component analysis,HDCA)方法进行分类,以更好地适应通道选择和EEG信号分类任务。Tiwari等[25]的研究融合了搜索策略与传统特征选择技术。这种通道选择方法依据频谱熵和李雅普诺夫指数设定双目标得分函数,结合萤火虫算法进行迭代搜索。在迭代过程中,候选通道根据得分函数计算其与通道集合在下一次迭代中的相似度,进而得到每个通道的加权分数。最终,结合通道的加权分数和费舍尔信息,对通道进行有效排序。Shi等[26]提出的自适应二进制多目标和声搜索算法(adaptive binary multi-objective harmony search,ABMOHS)也被应用于通道选择中。该算法是自适应二进制和声搜索(adaptive binary harmony search,ABHS)算法的改进。ABHS算法通过持续学习和微调音调,不断更新和声记忆库以创造新的音调,进而实现最优解的搜索。ABMOHS算法将ABHS中单目标搜索转换为多目标搜索。基于ABMOHS的通道选择方法在多个BCI范式下均取得了显著的分类效果,突显了其在EEG信号处理中的潜在应用价值。
1.3 基于深度学习的通道选择方法
传统的通道选择方法需要手动提取通道特征,而深度学习能够通过多层神经网络自动学习并提取高度抽象的特征。随着深度学习技术的进步,深度学习分类方法也被应用于EEG信号解码,通过将通道选择融入到深度学习模型中,可以简化分类流程,且更有效地平衡不同受试者之间的差异。
Sun等[27]设计了通道主动推理模块(channel active reasoning module,CARM),提出了两种基于图的通道选择方法:边选择和聚合选择。CARM模块建立了动态可调邻接矩阵以表示通道间的联系,在训练过程中利用反向传播更新深度神经网络中的参数,避免了人工构建邻接矩阵。边选择,考虑了两通道节点的交互性,边的权重定义如式(4)所示:
聚合选择,则考虑节点与所有相邻节点之间的聚合关系,通道节点的权重定义如式(5)所示:
其中,表示节点i到j的邻接矩阵值,表示节点i的度,N表示通道数。在实际应用中,由于大脑在固定范式下的激活区域呈相似模式,给定相同数量的通道时,通过聚合选择实际选取的节点数通常少于给定的数值。因此,边选择被认为是一种计算量更小、更有效的选择方式。
深度学习分类方法,通常在训练过程的损失函数中添加惩罚项来平衡训练数据的拟合程度和特征复杂性。但这种方法无法给定特征数量,导致训练成本较高。为了解决特征数量问题,Strypsteen等[28]提出基于甘贝尔分布的归一化指数(Gumbel softmax)通道选择方法,在神经网络模型中引入了通道选择层。其中,通道选择层中每个神经元由学习向量参数化,通过计算所有通道的权重向量,选出分类效果较好的通道。同时,该方法使用正则化函数在所选通道概率之和超过阈值时进行惩罚,以去除被重复选择的通道。
2 基于通道选择的EEG信号分类算法
本节介绍了近年来在EEG信号分类中应用的部分通道选择方法,分析了这些方法在相同BCI范式或数据集条件下的通道数量与分类性能表现间的关系。具体而言,涵盖了包括运动想象(motor imagery,MI)范式、P300范式、快速序列呈现(rapid serial visual presentation,RSVP)范式和情感识别范式的常见公开数据集。此外,根据这些方法的通道选择结果,本文总结了在不同BCI范式下可能出现的最佳通道组合。
2.1 多类范式下的EEG信号通道选择分类算法
近年,部分通道选择方法在不同公开数据集上的分类性能如表1所示。传统的通道选择方法计算开销较小,但更易受噪声影响,拟合程度较差。如,BCS方法基于对信号频谱特征的计算,受滤波器频率范围影响较大,可能导致分类准确率较低。在相同的数据集:第四届BCI竞赛公开数据集I(BCI competition IV dataset I)和支持向量机(support vector machine,SVM)算法分类下,ABMOHS方法均衡考虑两个适应度函数的最优解,在通道数和分类准确率上都有较好的表现;PPWPE-BGSA方法由于在第一段通道选择中去除了二分之一通道,在通道数量上更有优势,但其分类性能略差于ABMOHS方法。在第三届BCI竞赛公开数据集IVa(BCI Competition III dataset IVa)和SVM算法分类下,传统的通道选择方法CCS和BCS分类表现并不十分突出,PPWPE-BGSA方法虽然达到了较高的准确率,仍使用了较多的通道进行分类。相对而言,ABMOHS方法仅采用平均17个通道就达到了89.6%的分类准确率,这表明多目标启发式算法的强搜索能力对高通道数的数据集分类更有优势。尤其是有研究显示,DFGA方法在不同范式下的测试结果展现了该方法的良好通用性[23],虽然在相同的P300范式数据集和线性判别分析(linear discriminant analysis,LDA)分类算法下,DFGA方法分类准确率略低于基于区域平滑稀疏贝叶斯学习(regional smoothing block sparse Bayesian learning,RSBSBL)的通道选择方法,但其选择的通道数仅为RSBSBL方法的一半。
除此之外,本文总结了不同通道选择方法在不同范式下的通道数选择情况。在传统的通道选择方法下,对于MI范式,根据Mu等[16]的研究结果,通常选择15~20个通道以获得最佳分类结果;对于情感识别范式,Yan等[29]研究表明,当通道数小于19时,识别准确率呈下降趋势。在基于启发式算法的通道选择方法下,对于MI范式,根据Shi等[26]的结果,通常选择10~25个通道就能够取得较为优异的分类效果。然而,当通道数小于10时,整体准确率则呈明显下降趋势;对于P300范式,平均选择10~20个通道可达到最佳分类效果。
研究表明,同一通道选择方法结合不同的分类方法也会对最终的分类效果产生影响,如ABMOHS方法分别结合SVM算法和费舍尔线性判别分析(Fisher’s linear discriminant analysis,FLDA)算法进行分类时,SVM展现了更为显著的分类效果。近年来,越来越多的深度学习方法被用于解决通道选择问题,如STDWC通道选择方法使用卷积神经网络(convolutional neural network,CNN)分类,仅用16个通道便在BCI Competition III dataset IVa上达到了81.86%的分类准确率;基于变换器结构(Transformer)分类的OVR-F-CSP方法,在第四届BCI竞赛公开数据集2a(BCI Competition IV dataset 2a)下达到了85.54%的分类准确率,相比通道选择前有所提高。这些结果表明,合适的通道选择方法与深度学习模型结合会有更优的分类表现。传统通道选择算法不依赖于分类器,可直接应用于深度学习分类,进一步提高算法的识别率。基于启发式学习的通道选择方法,在与复杂的深度学习模型结合时,通常伴随着巨大的计算时间开销。在这种情况下,将基于传统机器学习分类算法得到的通道组合引入深度学习分类模型中,或许能够为深度学习模型提供更具辨识信息的特征,从而更有效地促进以通道选择与深度学习相结合的方式来解决分类问题。
2.2 多类范式下常用的通道组合
本节对表1中列举出的通道选择方法进行统计分析,总结出四种BCI范式下被选择次数较多的10个通道,这些通道的位置分布如图4所示。从图4中可以看出,MI相关通道大部分集中在大脑中心部和感觉运动皮层的相关通道,这与大多数研究人员在MI的EEG信号分析中使用的电极位置是一致的。在P300范式下,本课题组根据对Zhao等[30]结果的综合分析表明,大脑顶叶和中心部通道信号产生的刺激最为明显。对于RSVP范式,Xu等[24]的研究指出,相关电极在顶叶和枕叶的分布较为密集,这与RSVP范式下由于眼球刺激引发的EEG信号变化相符合。对于情感识别范式,Topic等[31]在不同情感识别数据集上的通道选择结果表明,在情感变化的过程中,额叶、顶叶和颞叶区域的EEG信号更加活跃,对分类识别影响更大。这些发现有助于指导研究人员选择合适的EEG信号通道进行分类,以获得更好的分类效果,并提升受试者的体验。
3 通道选择在不同范式下的应用场景
3.1 基于MI范式的通道选择
通道选择技术在EEG信号分类领域已有许多实际应用[32]。MI是指通过想象特定动作诱发大脑活动模式的变化,以判断受试者的意图,从而实现人脑与外部设备间的通信与控制。例如,Ortiz等[33]在研究中利用外骨骼帮助高位截瘫患者提供步行辅助。在此应用场景中,由于外骨骼的重量可能增加步行负担,借助通道选择技术可有效简化模型、减轻可穿戴外骨骼的体积和重量,更便于整合到便携设备中。2022年Liu等[34]提出了一种基于MI的新型BCI范式,通过想象来控制第六手指的运动,并在EEG信号的解码过程中采用基于遗传算法的通道选择方法。经过通道选择后结果显示,最优的通道组合仅包含8个通道,且分类准确率显著优于随机选择8通道的分类准确率。
3.2 基于ERP相关范式的通道选择
事件相关电位(event related potentials,ERP)是在特定的刺激条件下记录到的EEG信号变化,用于研究大脑对特定刺激或事件的电生理反应。常用的ERP成分包括P300、N400等,这些成分反映了大脑对特定刺激的加工过程。Xu等[24]在RSVP范式中应用了通道选择技术,该范式将图片序列以固定频率快速呈现给受试者观看。由于连续、快速的视觉刺激可能引起眼动信号等伪迹,产生潜在干扰,运用通道选择技术可以减少这些干扰对分类识别的影响,从而提高ERP的信噪比。Zeng等[35]提出了一种基于人脸图像的RSVP范式用于身份认证,并采用基于遗传算法的通道选择方法。由于使用了较少的通道数,显著缩短了准备时间,提高了身份认证的实用性。此外,通道选择技术为每个用户定制特定的通道,使得系统更具特异性和健壮性。
3.3 基于SSVEP范式的通道选择
当人体受到固定频率闪烁的视觉刺激时,大脑皮层会产生一个与刺激频率有关的响应,这个响应具有与视觉刺激类似的周期性节律,即稳态视觉诱发电位(steady-state visually evoked potential,SSVEP)。SSVEP范式通过分析受试者EEG信号的谱峰频率,能够检测受试者视觉注视的刺激源,从而实现对受试者意图的识别。该范式在外部设备控制方面有一定的应用,例如控制电动轮椅、机械臂、游戏等[36]。Meng等[37]设计了四个方块在屏幕上同时闪烁,并要求受试者将注意力集中在与提示目标相对应的闪烁方块上持续4 s。为了达到最佳的SSVEP识别结果,研究者采用了三种不同的通道选择方法,包括顺序浮动前向选择算法、离散PSO算法和改进的皮氏分数算法。通过对这三种通道选择方法对比测试,研究者为每个受试者提供了个性化的通道设置,并成功减少了使用的通道数量。
3.4 基于情感识别和意识状态检测的通道选择
情感识别是指利用EEG信号来识别和推断个体情感状态的技术。在情感识别的领域,使用具有大量通道的EEG信号采集设备会增加试验流程的复杂性,在一定程度上也会影响受试者的情绪变化。Topic等[31]使用改进的救济算法(ReliefF)进行通道选择,并在经典的情感识别数据集上进行了测试。试验中,由受试者自由观看一部分视频片段,并在效价、唤醒和支配空间中评估自我情绪,与EEG信号分类的结果相比较。试验结果表明,使用少量通道可有效提高情感识别分类的准确率。除此以外,通道选择技术也被应用于许多脑部疾病的检测中,Ghembaza等[38]提出了一种基于时频扩展瑞丽熵的动态通道选择算法,选择信号复杂度高的通道作为与癫痫发作最相关的EEG信号通道。该研究在提升了检测效果的同时,大大减少了癫痫检测所需的时间[39]。
4 总结与展望
选择合适数量的通道进行EEG信号采集可以减少EEG信号分类的时间和资源成本,提高分类准确率,给受试者更好的体验。通道选择有多种衡量指标,如时间性能、通道数、分类准确率等,如何均衡实现多种指标的最优值是通道选择的主要目标。本文对近年来发表的通道选择方法进行了分析,总结了不同BCI范式下常用的通道组合与应用情况。经过研究发现,大多数通道选择方法通常在获取5~30个通道的情况下,便可以满足BCI范式基本分类任务需求。同时,近年来许多新的深度学习模型和优化算法已经问世。如何将这些算法和模型应用于通道选择,以进一步平衡计算开销与BCI系统的分类性能,成为未来研究的一个潜在方向。
重要声明
利益冲突声明:本文全体作者均声明不存在利益冲突。
作者贡献声明:陈佳明完成了相关文献搜集、分析工作,张柏雯完成了文献整理、文章图像绘制,李湘喆完成了文献综述及文章的撰写,王丹和许萌制定了文章的写作思路,陈远方完成了文章的审阅及校对,范超杰协助了稿件的修订。