外文原文
Control of a nursing bed based on a hybrid brain-computer interface
Nengneng Peng, Rui Zhang, Haihua Zeng, Fei Wang, Kai Li, Yuanqing Lilowast;, Xiaobin Zhuang
Abstract
In this paper, we propose an intelligent nursing bed system which is controlled by a hybrid brain-computer interface (BCI) involving steady-state visual evoked potential (SSVEP) and P300. Specifically, the hybrid BCI includes an asynchronous brain switch based on SSVEP and P300, and a P300-based BCI. The brain switch is used to turn on/off the control system of the electric nursing bed through idle/control state detection, whereas the P300-based BCI is for operating the nursing bed. At the beginning, the user may focus on one group of flashing buttons in the graphic user interface (GUI) of the brain switch, which can simultaneously evoke SSVEP and P300, to switch on the control system. Here, the combination of SSVEP and P300 is used for improving the performance of the brain switch. Next, the user can control the nursing bed using the P300-based BCI. The GUI of the P300-based BCI includes 10 flashing buttons, which correspond to 10 functional operations, namely, left-side up, left-side down, back up, back down, bedpan open, bedpan close, legs up, legs down, right- side up, and right-side down. For instance, he/she can focus on the flashing button ”back up” in the GUI of the P300-based BCI to activate the corresponding control such that the nursing bed is adjusted up. Eight healthy subjects participated in our experiment, and obtained an average accuracy of 93.75% and an average false positive rate (FPR) of 0.15 event/min. The effectiveness of our system was thus demonstrated.
1.Introduction
The control of a nursing bed plays an important role in nursing bedridden patients with severe motor disabilities, such as spinal cord injuries (SCIs) and amyotrophic lateral sclerosis (ALS). In order to facilitate patients for changing lying positions independently, ones have developed many intelligent nursing bed systems for these patients based on such as eye movement detection [1] and speech recognition [2]. Brain-computer interfaces (BCIs) provide a new technology for patients (e.g., SCIs or ALS) to control external electronic devices without the participation of peripheral nerves or muscles [3]. For instance, Shyu et al. Designed a hospital bed nursing system, which was controlled by a steady-state visual evoked potential (SSVEP)-based BCI relying on a hybrid coding approach that combined frequency and phase [4]. However, the variation of the phase difference between measured SSVEP and visual stimuli could cause deterioration in the SSVEP detection accuracy [5]. Recent works have validated that by combining multiple (two or more) EEG signals, the BCIs can yield a better performance (e.g., lower false positive rate (FPR)) compared to single- model BCIs that employ only one type of EEG signal [6], [7]. For example, a hybrid BCI that contained a motor imagery (MI)-based brain switch and a SSVEP-based BCI was used to control hand orthosis, which was effectively testified to reduce the FPR during resting periods [6]. In our previous studies, we developed a hybrid BCI incorporating P300 and MI to control a 2-D cursor movement in the vertical and horizontal directions [7]. However, to our knowledge, there has be no a hybrid BCI designed for nursing bed control.
In this study, we develop a hybrid BCI-based intelligent nursing bed system consisting of an asynchronous brain switch, a P300-based control system and an electric nursing bed. The brain switch is also a hybrid BCI combining SSVEP and P300, which has satisfactory performance in the idle/control state detection. Whereas the P300-based BCI is used to activate the operations of the nursing bed, including left-side up, left-side down, back up, back down, bedpan open, bedpan close, legs up, legs down, right-side up, and right-side down. The user can select an operation by focusing on the corresponding flashing button in the graphic user interface (GUI) of the P300-based BCI. Our experimental results involving eight healthy subjects showed the effectiveness of the proposed system.
2. METHODS
2.1. Electric Nursing Bed
The electric nursing bed system is revealed in Fig. 1. The GUI of the proposed system is displayed on a LCD display mounted in front of the userrsquo;s face by an adjustable bracket. There are five movable portions (left-side, right-side, back, legs and bedpan) for the users to adjust the attitude of the nursing bed. Here, the bedpan can be turned on or off, and the other portions can be raised or lowered.
2.2. EEG Data Collection
A NuAmps device from NeuroScan is employed to collect 12-channel (”Fz,” ”FCz,” ”Cz,” ”CPz,” ”P7,” ”P3,” ”Pz,” ”P4,” ”P8,” ”O1,” ”Oz,” and ”O2”) scalp EEG signals. The user is required to wear an EEG electrode cap (LT37) with Ag/AgCl electrodes. All electrode positions are placed in accordance with the international 10-20 system and each electrode impedance is maintained below 5 KΩ during EEG data collection. Moreover, the EEG signals are referenced to those recorded from the right mastoid. The EEG signals are firstly amplified, then sampled at 250 Hz, and finally band-pass filtered within the range of 0.1sim;20 Hz.
2.3. GUI and Control Mechanism
The GUI of the proposed system is shown in Fig. 2. Specifically, four groups of buttons in the four corners are designed for a brain switch, whereas ten function buttons corresponding to ten functional operations of the nursing bed are for a P300-based BCI. The GUI is shown on a 15.6- inch LCD monitor. In our system, the brain switch is used to activate the P300-based BCI, which is for performing operations of the nursing bed. The four button grou
剩余内容已隐藏，支付完成后下载完整资料
基于混合电脑接口控制的护理床
摘要
本文提出了一种智能护理床系统，该系统由混合脑-计算机接口（BCI）控制，涉及稳态视觉唤起电位（SSVEP）和P300。具体而言，混合BCI包括基于SSVEP和P300的异步脑开关，以及基于P300的BCI。脑开关用于通过怠速/控制状态检测打开/关闭电动护理床的控制系统，而基于P300的BCI用于操作护理床。开始时，用户可以关注大脑开关图形用户界面（GUI）中的一组闪烁按钮，该按钮可以同时引发SSVEP和P300，以打开控制系统。在这里，SSVEP和P300的组合用于提高大脑开关的性能。接下来，用户可以使用基于P300的BCI控制护理床。基于P300的BCI的GUI包括10个闪烁按钮，对应于10个功能操作，即左侧向上、左侧向下、后上、后向下、床板打开、床板关闭、腿向上、腿向下、右侧向上和右侧向下。例如，他/她可以专注于基于P300的BCI的GUI中的闪烁按钮'备份'，以激活相应的控制，以便调整护理床。8名健康受试者参加了我们的实验，平均准确率为93.75%，平均误报率（FPR）为0.15事件/分钟。因此，我们系统的有效性得到了证明。
1 简介
护理床的控制在护理患有严重运动障碍的卧床患者（如脊髓损伤（SCIs）和肌萎缩性侧索硬化症（ALS）））方面发挥着重要作用。为了方便患者独立改变躺着姿势，他们根据眼部运动检测[1]和言语识别[2]等为这些患者开发了许多智能护理床系统。脑-计算机接口（BCI）为患者（例如，SCI或ALS）提供了一种新的技术，用于控制外部电子设备，而无需外围神经或肌肉参与[3]。例如，Shyu等人设计了一个医院病床护理系统，该系统由基于稳态视觉唤起电位（SSVEP）的BCI控制，采用混合编码方法，将频率和相位[4]相结合。但是，测得的SSVEP和视觉刺激之间的相位差变化可能导致SSVEP检测精度的恶化[5]。最近的工作已经证实，与仅使用一种类型的EEG信号的单模型BCI相比，通过组合多个（两个或多个）EEG信号，BCI可以产生更好的性能（例如，较低的误报率（FPR））。]，[7]。例如，包含基于运动图像（MI）的脑部开关和基于SSVEP的BCI的混合BCI被用于控制手矫形器，这被有效地证明可以在休息期间降低FPR[6]。在我们以前的研究中，我们开发了一种结合了P300和MI的混合BCI，以控制二维光标在垂直和水平方向上的移动[7]。但是，据我们所知，还没有用于护理床控制的混合BCI。
在这项研究中，我们开发了一种基于BCI的混合型智能护理床系统，该系统由异步脑部开关，基于P300的控制系统和电动护理床组成。大脑开关也是结合了SSVEP和P300的混合BCI，在空闲/控制状态检测中具有令人满意的性能。基于P300的BCI用于激活护理床的操作，包括左侧向上，左侧向下，向上，向后向下，便盆打开，便盆关闭，双腿向上，双腿向下，右侧向上，并且正面朝下。用户可以通过专注于基于P300的BCI的图形用户界面（GUI）中的相应闪烁按钮来选择操作。我们涉及八名健康受试者的实验结果表明了该系统的有效性。
2.方法
2.1电动护理床
电动护理床系统如图1所示。所建议系统的GUI通过可调节支架显示在安装在用户面部前面的LCD显示器上。共有五个可移动部分（左侧，右侧，靠背，腿部和便盆），供用户调整护理床的姿势。在这里，便盆可以打开或关闭，其他部分可以升高或降低。
图.1.基于BCI的混合智能护理床系统，一个受试者参加了我们的在线实验
2.2脑电数据收集
NeuroScan的NuAmps设备用于收集12通道（“Fz”，“FCz”，“Cz”，“CPz”，“P7”，“P3”，“Pz”“P4”，“P8”，“O1”，“Oz”和“O2”）头皮EEG信号。要求用户佩戴带有Ag/AgCl电极的EEG电极帽（LT37）。在脑电图数据收集过程中，所有电极位置均按照国际10-20系统放置，每个电极阻抗保持在5KOmega;以下。此外，脑电图信号以从右乳突记录的为参考。脑电信号以从右乳突记录的为参考。脑电信号首先被放大，然后以250Hz采样，最后在0.1至20Hz的范围内进行带通滤波。
2.3 GUI和控制机制
所建议系统的GUI如图2所示。具体而言，四个角落的四组按钮设计用于脑部开关，而对应于护理床十次功能操作的十个功能按钮用于基于P300的BCI。GUI显示在15.6英寸的LCD监视器上。在我们的系统中，大脑开关用于激活基于P300的BCI，该BCI用于执行护理床的操作。四个按钮组分为“on/off”组（在GUI的右上角）和三个伪键组（在GUI的右下角，左下角和左上角）GUI）。这些伪密钥组用于方便的“开/关”按钮组上的P300和SSVEP检测，并且不会触发任何操作。每个按钮组包括一个大按钮，其中心半径为5.7mm，周围有八个小按钮，所有小按钮每45ordm;排列成一个圆圈。小按钮，大按钮和GUI的尺寸比例设置为0.0005：0.002：1。每个按钮组中的所有小按钮都通过固定的频率闪烁，其颜色在黑色和红色之间变化，以唤起用户的SSVEP。具体而言，右上角，右下角，左下角和左上角按钮组分别对应于7.5、6.0、8.57和6.67Hz。同时，四组的四个大按钮被随机增强为矩形和绿色，以唤起P300。每次增强保持100毫秒，两次连续增强之间的时间间隔为80毫秒。当增强“开/关”按钮组的大按钮时，大字符按钮上出现一个字符“S”，如图2所示。
此外，每个大按钮在其继续闪烁除了100ms的增强周期外，还具有固定频率。因此，当用户注意一个按钮组时，可以同时引发SSVEP和P300。在GUI的中间，显示十个功能按钮。每个功能按钮的宽度（长度）与GUI的宽度之比固定为0.1315：1（0.1156：1）。当通过脑部开关激活基于P300的控制系统时，十个功能按钮随机闪烁，颜色从黑色变为绿色。刺激间隔为80毫秒，每个功能按钮保持绿色100毫秒。
当用户想要调整护理床的姿势时，他/她应首先通过关注“开/关”按钮组来打开基于P300的BCI。一旦在“开/关”按钮组上同时检测到SSVEP和P300，基于P300的BCI就被打开，而脑部开关的四个按钮组停止闪烁。用户可以通过对功能按钮的闪烁进行计数来专注于功能按钮，以激活相应的操作（例如，备份）。具体而言，基于P300的控制系统通过稍后描述的P300检测输出结果（请参阅基于P300的BCI的算法）。检测结果将转换为对电机控制器的相应控制命令。然后，执行相应的操作/调整。最后，基于P300的BCI被关闭，而脑部开关的四个按钮组开始闪烁。
图.2.提出的基于BCI的混合护理床系统的GUI
图.3.大脑开关的数据处理流程图
2.4 数据处理
1）大脑切换的算法：我们首先描述大脑切换的数据处理过程，其流程图如图3所示。请注意，仅当基于P300的BCI处于关闭状态时，才执行大脑切换的数据处理。在我们的系统中，SSVEP和P300检测器是分开设计的。如下所述，该算法与[8]中的算法相似。
SSVEP检测。SSVEP检测以200毫秒的间隔执行。具体地，首先以315Hz对EEG信号进行带通滤波。然后，从长度为3.6s的8个通道（“P7”，“P3”，“Pz”，“P4”，“P8”，“O1”，“Oz”和“O2”）中提取脑电信号的片段在当前时间点之前。对于每个段，我们应用最小能量组合（MEC）方法[9]来提高EEG信号的信噪比（SNR）。信号向量被构造为8通道信号的加权组合。使用MEC方法，我们获得了八个特征向量，这些特征向量根据它们的能量值以升序排列。然后，选择第一个Ny（Ny8）特征向量以丢弃大约90％的有害信号能量。最后，我们根据MEC方法获得了新的Ny个信号向量。
我们使用离散傅立叶变换（DFT）方法来计算这些新信号矢量的功率密度谱。获得每个按钮组的SSVEP响应功率。然后，我们定义第i个具有固定闪烁频率fi的按钮组的窄带平均功率（fi0.5Hz）和宽带平均功率（fi2Hz）之间的功率比。最后，我们将与按钮组相对应的每个功率比标准化为[0,1]。这些归一化的比率将在后面介绍的决策步骤中使用。（请参阅[8]中的详细信息）。
P300检测。P300的检测每轮按钮闪烁一次（一轮被定义为一个完整的周期，其中所有按钮闪烁一次）。来自12个通道的EEG信号（请参阅第II.B节）在0.1至15Hz之间进行带通滤波，然后以5的速率下采样以减小P300功能尺寸。对于每个按钮闪烁，我们从每个通道中提取一段EEG数据（按钮闪烁后0-600毫秒）。然后，我们通过串联所有12个通道的片段来获得数据向量。接下来，通过平均来自所有重复的数据向量来构造与按钮相对应的特征向量。在这项研究中，以前训练有素的SVM分类器应用于这些特征向量。最后，获得对应于按钮的SVM得分，然后将其标准化为[0,1]范围。这些标准化的SVM分数将在下面描述的决策步骤中使用（请参阅[8]中的详细信息）。
做决定，如图3所示，在将EEG数据馈入SSVEP和P300检测之前，先将其复制。在SSVEP和P300检测中，我们计算归一化功率比（请参见第二章SSVEP检测）和归一化SVM的总和。每个按钮组的得分（请参阅II。P300检测一节）。在四个求和值中，我们进一步确定最大值和第二最大值。接着，获得最大和第二最大求和值之间的差（Delta;phi;）。最后，仅当∆phi;与第二个最大求和值的比值大于正阈值theta;时（根据我们的经验，本研究中的theta;=1.8），才识别“开/关”按钮组。在这种情况下，在脑部开关的“on/off”按钮组上都检测到了SSVEP和P300，从而激活了基于P300的BCI。
2）基于P300的BCI的算法：此处的P300检测与脑部开关类似。我们首先获得标准化的SVM分数（每个分数对应一个功能按钮，请参阅II。P300检测）。在两轮之后，我们计算最大和第二个最大SVM得分之间的差异（∆ϕ）。如果根据我们的经验∆ϕ高于预定义的阈值delta;（本研究中的delta;=0.2），则确定得分最高的闪烁按钮，然后将相应的控制命令发送给护理人员的电机控制器床。如果在8轮内不满足阈值条件，则将在8轮后得分最高的按钮识别为P300检测的结果。
2.5 电机控制器
一旦从基于P300的BCI接收到控制命令，就会激活电机控制器（主MicrochipSTM32F103）以驱动安装在护理床上的相关电机。然后，相应的可移动部分以低速移动以进行调节。
3.实验结果
邀请了八名健康受试者（S1，S2和S8）参加我们的在线实验。在每个受试者控制的护理床之前，收集一个数据集以训练用于P300检测的SVM分类器。具体来说，每个受试者都参加了图2中使用GUI进行的20个试验的P300培训课程（未关注四个角落的四个按钮组）。在每个路径中，所有功能按钮均以随机顺序闪烁，并且每个功能按钮均闪烁10次。同时，指示对象聚焦于给定的按钮并计数其闪烁。
3.1 护理床控制实验
如图1所示，每位受试者舒适地躺在护理床上以控制护理床，包括10项操作（左侧朝上，左侧朝下，向后，朝下，便盆打开，便盆关闭，腿向上，腿朝下，护理床的右侧朝上和右侧朝下）。在每个手术中，要求受试者依次执行以下任务。
1）使用脑部开关打开基于P300的BCI：对象专注于脑部开关的“开/关”按钮组，从而激活了基于P300的BCI。
2）“发送”控制命令：要求受试者着眼于基于P300的BCI的相应按钮，根据给定的命令序列对护理床进行操作。当基于P300的BCI发送控制命令时，相应的操作由电动机控制器执行。然后，基于P300的BCI自动关闭，并且大脑开关的四组按钮开始闪烁。
3）“保持”空闲状态（休息时间）：指示每个对象忽略大脑开关的任何闪烁按钮组，并将其注意力集中在LCD显示屏的中央，保持静止时间60s直到发出语音提示。
另外，如果识别到基于P300的BCI的意外按钮，从而导致错误操作，则要求受试者首先通过执行步骤1）
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[424248]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
