随着脑机接口(BCI)技术近几年的快速发展,科研人员也将脑机接口(BCI)技术融入在娱乐游戏种经行深入研究,因此除临床应用外,脑机接口(BCI)技术也可以成为一种的娱乐方式。目前,大多数BCI游戏由于控制性能差或容易引起疲劳而无法广泛推广。BCI技术在游戏交互中的应用越来越流行,在过去几年已经进行了大量的研究。在先前研究中的BCI游戏中,P300电位、稳态视觉诱发电位(SSVEPs)和运动意象(MI)是使用EEG(EEG)信号的最常见游戏。因为P300的稳定性,不易引起疲劳,并且用户不需要经过特殊培训。因此微美全息(NASDAQ:WIMI)采用P300脑机接口设计游戏模型,以探索在实际环境中使用脑电图(EEG)信号进行可行且自然的游戏执行体验。
WIMI微美全息这项研究的新颖性体现在设计BCI游戏和范式,其整合了游戏规则和BCI系统的特点。此外,引入卷积神经网络(CNN)算法,在训练样本上实现高精度。这种BCI系统不仅为用户提供了一种娱乐形式,而且还为游戏提供了更多操控的可能性。
在过去的十年,深度学习在许多领域得到了快速发展,例如计算机视觉,自然语言处理和语音处理。研究人员提出了一些新颖的深度架构,它们在图像分类方面实现了高精度。近年来,卷积神经网络(CNN)已被用于P300检测,使用CNN对P300脑电信号进行识别和分类,可以得到良好的效果。为提高模型的泛化,并实现了最先进的P300信号分类和字符识别。需要CNN一个大型数据集来训练非线性数据,因此在小型数据集上会发生过拟合。但是,在实际应用中收集大量的训练数据是非常困难的。因此,我们提出了一种基于卷积神经网络(CNN)的新架构,以在小型训练数据集上实现最先进的P300信号分类和字符识别。
微美全息(NASDAQ:WIMI)设计了一个基于CNN的P300 BCI游戏模型,并提出了一种基于贝叶斯深度学习的算法,解决了在小数据集上训练时的过拟合问题。让基于P300的BCI游戏模型的成功应用,而且证明了可以应用于在线BCI系统的深度学习算法。
WIMI微美全息基于CNN BCI游戏模型系统框架包含三个子系统,即数据采集部分、数据处理部分以及视觉和游戏终端。在数据采集部分,使用电极帽和放大器记录多通道头皮脑电信号。信号经过预处理后,数据处理部分可分为离线训练和在线分类测试两步。最后,将分类结果转换为操作命令,并发送到视觉和游戏终端。视觉和游戏终端包括两个子步骤:(1)在刺激策略更新后向用户提供视觉刺激和(2)为用户提供视觉反馈(输出坐标)。
脑电数据采集和预处理
WIMI微美全息基于CNN BCI游戏模型使用32通道电容和放大器,通过非侵入性记录EEG数据,以1000 Hz数字化并使用50 Hz陷波滤波器过滤。收集所有电极数据。为了减少滤波边缘效应的影响,首先过滤记录的数据。带通滤波用于来自每个通道的EEG信号,捕获刺激后 P300 信号的必要信息。然后,对数据进行下采样。对相同字符的数据矩阵进行叠加和平均,以降低信噪比。
CNN 架构
WIMI微美全息基于CNN BCI游戏模型的BCI信号经过预处理后,数据处理部分可分为离线训练和在线分类两步。通过CNN基于贝叶斯反向传播,这是一种变分推理方法,用于学习神经网络权重的后验分布,可以从中对反向传播中的权重进行采样。例如,如果使用高斯分布来表示每个权重参数,则原始权重值可以表示为高斯分布的参数,即平均值和标准差。然后通过变分推理计算后验。
CNN的卷积层需要使用具有权重值的卷积核进行卷积运算。卷积核中的每个权重参数都以高斯分布的形式表示。为了获得一定的权重值,必须使用高斯分布进行采样。因此,在采样过程中,采用重参数化技术将采样过程放在前面,使网络的前向传播成为导数,并在反向传播过程中更新权重。从卷积核的权重分布中抽取一定的权重值,将通过这种方式得到的权重值形成卷积核,在接收场上进行卷积运算。
脑机接口(BCI)是一种非常规的通信方法,可在人与外围之间建立通信路径,最初BCI技术应用于临床领域,通过直接从大脑向计算机发送命令,帮助患者恢复与外界互动的能力。现在除临床应用外,BCI技术也已在娱乐游戏中进行了实验和应用,BCI技术通常用于为游戏提供输入,从而摆脱对中间设备(鼠标,键盘,游戏手柄和游戏控制器)的依赖。WIMI微美全息基于CNN BCI游戏模型,构成了一个可以同时满足健康用户和残疾用户兴趣的平台。对于健康的用户来说,BCI游戏神秘而有技术感,增加了游戏的魅力,非常有利于游戏的推广。对于残障用户来说,BCI游戏为他们提供了一个公平的游戏平台,不仅可以让他们以同样的方式与健康用户玩游戏,还可以作为功能性康复系统,帮助患者进行康复训练。将BCI技术应用于娱乐游戏是推动BCI技术从科研阶段推向实际应用市场阶段的重要环节。