英语原文共 6 页，剩余内容已隐藏，支付完成后下载完整资料
基于LM-BP神经网络系统的电子手写识别系统的设计及实现
摘要
随着技术的发展，人机交互（HCI）系统正在我们的日常生活中扮演越来越重要的作用。HCI是一种在人和计算机之间建立连接和传输信息的方式。基于表面肌电图（SEMG）的模式识别是最重要的HCI技术之一。为了使输入电子折别更加便携，满足人们与计算机（尤其是残疾人）交互的需要，这项研究提出了一种基于LM-BP（反向传播）神经网络的肌电信号的手写识别系统。在信号预处理方面，本文尝试使用一些新特征来更好地反映信号的特点。在模式识别方面，LM-BP神经网络被应用于设计适合于基于SEMG的模型训练和识别的系统。与基于动态时间扭曲（DTW）算法的现有系统和基于隐马尔可夫模型（HMM）的系统相比，训练时间和训练时间减少了很多，这使得基于SEMG的手写识别系统更加实用。
关键词: HCl 表面肌电信号 LM-BP 手写识别
1 导论
随着技术的发展，人和计算机之间的交互变得越来越重要，例如人机界面(HCI)系统。一些HCI，如鼠标，键盘等，已经被广泛使用，带来极大的方便。如今，学者更加注意新型的HCI系统，它将人类运动转化为基于模式识别算法的控制命令，对用户更方便。表面肌电图（SEMG）是其中之一。
SEMG是反应骨骼肌活动的电信号，并且可以通过记录其特征来研究肌肉功能。SEMG由于其安全性，灵敏性和可移植性而广泛用于科学研究。但它也有几个缺点，如信号噪声较大等。
虽然SEMG存在一些缺点，但将它应用于手写识别系统时有点更为显著。 基于模式识别的手写系统是包括信号采集和处理，输出系统以及将识别结果转为命令的过程。
一些研究人员提出并改进了基于动态时间扭曲（DTW）的SEMG的手写识别系统。其平均识别率可达到90.4％。为了提高识别精度，Zhao et al。提出了基于隐马尔科夫模型的算法（HMM）。 这种算法使得平均识别率提高到91.8％。
然而，在研究了上述算法之后，我们发现当前基于SEMG的手写识别系统不能应用于实际使用，存在的一些 问题，比如识别率低，不稳定的识别结果，较长的反应时间，个体差异，训练时间长等限制了基于SEMG的手写识别的实际应用。
2信号收集与处理
2.1信号收集
通过商业系统（Biometrics，USA）收集到的SEMG信号。选择六个SEMG传感器作为六个不同的路径收集臂的SEMG信号，其被放置在前臂的屈肌腱，浅表屈肌，掌掌，伸肌桡侧肌，手指伸肌和伸肌腕，如图2所示。采样频率设置为1000Hz。在实验中，主体将主动写下从1到6的阿拉伯数字和从A到Z的23大写字母（I,U,V除外）。为了获得更好的识别结果，这个动作需要保持8秒钟在开始书写一个新的字符之前，以便于收集背景噪音。当主体在税书写字符时，每一个书写动作之间 至少需要保持1秒钟的时间间隔以便更好地分割动作。
图2 未处理SEMG信号的获取
2.2信号预处理
SEMG信号具有相对较大的噪声，包括环境噪声等其他噪声。然而，我们感兴趣的是有意义的运动区域的信号，而不是无用的噪声区域。因此，原始信号的预处理是必要的。预处理过程包括两个主要步骤，第一步是信号过滤，第二步是信号分割。在第二阶段，Li和Zhao等人提出的算法将会被使用到。对高频部分的噪声进行滤波之后，维度会被降低，信号会根据窗口进行分割，在本次研究中窗口的长度和宽度分别为32和4。
2.3特征提取
为了处理和分析数据，我们需要在预处理之后提取信号的特征。这样，我们
可以压缩信息，减少计算时间和过滤无用信息，最终达到优化识别结果的目的。最常用的特征包括时域特征，频域特征和自回归特征。
由于信号的单个特征可能导致错误的识别，因此选择良好的参数模型尤为重要，其中AR特征在应用BP神经网络的测试中具有最佳性能。AR特征源自于自回归模型，其也被称为AR模型。在AR模型中，SEMG信号被认为是线性系统的输出，该系统的激励为均值为零的白噪声。只要白噪声的功率和系统的参数是已知的，我们可以通过研究模型的性质和系统的输入输出关系来研究SEMG信号。AR模型结合SEMG信号的随机性和SEMG信号的可预测性来刺激白噪声来反应过程的随机性，这可以用于确定过程的可预测性。随机信号的AR模型可以表示如下。
在这个公式中，是模型的系数，p是模型的阶数，u(n)是白噪声。
在一阶模型中，
定义
根据矩阵的对称性，公式可以扩展到高阶AR模型，并可以得到Levinson-Durbin递归算法。
根据Levinson-Durbin递归方法，可以获得从低阶到高阶的每组参数，并且最小预期误差功率Pmin减小。当预期误差功率P达到期望值或保持恒定时，应选择此时的阶数作为正确的阶数。
因为Pgt;=0,
当 递归应该结束。
因此，p = 4是最适当的阶数，本文使用四阶系数，，和来表示AR特征。
此外，考虑到不同写入过程的信号幅度可能变化，幅度的平均值（MAV）也被选择为特征值。
短时过零率，简称为过零率，指得是根据波形穿越零电平的次数。 它用于描述波形在幅度上变化的程度，并且它反映信号的变化趋势。
综上所述，本文共选择6个特征，包括AR模型的四阶系数，MAV和ZCR。 由于收集6个信道的信号并从每个信道提取6个特征值，形成36维向量。
3 BP-LM算法
3.1 BP算法
BP网络是最流行的神经网络模型之一，它是由误差反向传播算法训练的前馈网络。 它可以学习和保存大量的输入输出结构图，而不需要表示为数学方程。 BP网络的学习规则是最速下降法，权重和阈值通过反向传播进行调整。BP网络由输入层，隐层和输出层三部分组成，如图3所示。
图3 神经网络
BP网络的基本要素是BP神经元。神经j如下所示。 神经元有3个基本功能：求和，加重和转移。， ... ... 代表神经元1,2，... i ... n与神经元j的连接强度，这意味着权重。 是阈值，f(·)是传递函数。表示具有神经j的输出。
图4 神经结构
神经j的净输入是：
在此公式中：
如果= 1， = ，则X和包括和：
净输入将用于通过传递函数计算输出。
f(·)是单调函数以及有界函数，对于信号来说，f(·)不能无限增加，并且必须有最大值。
BP算法包括误差的前向传播和反向传播。当正向传播正在进行时，工作方向是从输入层，隐层到输出层。每层神经元只影响下一层神经元。然后，如果期望输出没有出现在输出层，则错误将反向传播。通过交替这两个阶段，将在权重向量空间中执行误差函数梯度下降策略。如此运行下来，我们将会找到一组权重，这将使得误差达到最小。
以上是BP神经网络的基本原理。总体来说，BP算法的理论有很多优点，包括可靠的基础，严格的推导过程，高精度，良好的通用性等，但是标准BP算法仍然存在缺陷，包括慢的收敛速度; 容易落入局部最小值; 难以确定隐层和隐层节点的数量。因此，我们需要改进BP神经网络算法。
3.2改进的BP神经网络模型
为了提高网络收敛速度和获得更好的识别精度，我们尝试了BP的一些高级算法，如动量法，Levenberg-Marquardt（LM）学习规则等。 由于BP神经网络的梯度下降方式和目标函数往往是复杂的，不可避免地存在“Z字形现象”，这使得BP算法效率低下，与其他算法[6]相比，LM算法比其他算法快得多，并且具有更好的识别精度以及较短的训练时间，因此，选择LM算法来改进BP神经网络模型[7]。
在LM算法期间，权重调节是：
e是误差向量; J是的雅可比矩阵网络误差和重量导数; m是标量，当它足够大时，公式将被封闭到梯度下降，并且当它足够小时它将是高斯 - 牛顿算法。 在这个算法中，mu;是自适应的变量。
3.3 LM-BP神经网络模型的制定
这里采用[8]中提出的方法来制定LM-BP神经网络。
1）构建LM-BP网络
首先，建立三层的空网络，并且将SEMG信号输入到该网络。考虑到采集器具有六个通道，输入节点的数量为六。并允许训练速度，选择一个隐藏层。输出节点是29，因为需要23个字符和6个数字。
2）网络参数的确定
为了确定网络的构造，需要确定一些参数，比如网络层数目，每层的节点数目，传递函数，初始权重和学习算法。
a）隐藏层
1998年，罗伯特·赫克特·尼尔森（Robert Hecht Nielson）证实，封闭区间中的任何连续函数都可以由具有一个隐藏层的神经网络接近。因此，在本研究中选择三层网络。
b）传递函数
如图5所示，有几种传递函数。log-sigmoid传递函数的输入可以是任何值，其输出在0和1之间。tan-sigmoid传递函数的输入也可以是任何值，但是其输出为-1和1之间。Purelin 传递函数是线性的，这意味着它的输入和输出都可以是任何值，它们是成比例的。
当这些传递函数应用于BP网络时，根据其不同的特性，经常选择tansig模型作为隐层传递函数，选择purelin模型作为输出层模型。利用这两个传递函数可以使整个网络的输入是任何值。
图5三种传递函数
c）每层的节点数
由于该网络将应用于手写识别系统，且采集器收集的信号来自6个通道，输入层将被设计为包含6个节点，输出层的节点数将为29，因为在我们的写入系统中使用了23个字符和6个数字。
对于多层的前馈网络，隐层的节点数量是成功的关键。如果节点数太小，网络将获得较少的识别信息。相反，如果节点数太多，训练时间将会太长，并且过训练可能出现在训练中。
一般来说，选择合适的节点数目是很困难的。通常的规则是当输入和输出之间的关系可以正确反映时选择一个小数，因为要使网络尽可能简单。
当训练具有3层的BP网络时，将根据经验公式来选择隐层的节点：
其中n是输入节点的数量，m是输出节点的数量。 a是1到10之间的常数。
为了获得节点数目的合适值，我们从较小的节点数开始，测试学习错误，然后增加节点数目直到获得最小的误差，并且该误差的数量是 隐藏层的最佳节点数。
如表1和图6所示，训练误差隐藏层节点数目的增加而减小，但是当节点大于10时训练误差开始波动。通过比较表中的误差，10和12具有更好的效果，节点数目为12时的训练误差在多个测试中具有更好的稳定性。 所以隐层中的节点数选择12。
此外，训练误差和测试误差都比预期稍大，收敛速度较慢。为了解决这个问题，采用输出归一化处理。
表格1 隐层的节点对收敛的影响
图6当节点数变化时训练误差和测试误差的比较。
根据Sigmoid传递函数的输入和输出范围，如果输入也被归一化，只有输出信号也被归一化才能用于说明权重。
目标值的范围是：
通过该公式，可以得出目标值在0.05至0.95的范围徘徊，并且接近该区域端点的输出值将会产生一个波动的范围，且可以获得更好的性能。
用标准化样本训练网络，训练误差为9.89028times;10-5，测试误差为1.9899times;10-4，达到预期（训练过程如下图所示）。
图6：归一化训练时隐藏节点数为12的训练过程
图7:归一化训练时隐藏节点数为12的训练过程
d）误差选择
在训练网络时，选择均方差（MSE）作为BP网络的误差是合理的。
在标准BP算法中，误差定义如下：
当样本工作时，它对权重矩阵进行修改。并且当权重矩阵改变时，不考虑其他样本的输出误差的变化，因此迭代次数将增加。
具有累积的BP算法定义总体误差：
该算法用于减少总体误差而不是特定样本的误差。因此，如果可以通过某种修改来减小总体误差，那么每个特定样本的误差不一定必须同时减小。
因此，具有不同P和E的不同网络的性能，对于P和E，对于相同的网络一起增加，并且当P相同时m和E也一起增加。
均方差（MSE）定义如下：
在这个公式中输出节点的数量为m，p是训练样本的数量， 是所需的输出， 是实际输出。如公式所示，MSE克服了标准BP算法的缺点，选择MSE为误差更合理。
4讨论与总结
4.1讨论
完成基于LM-BP神经网络的手写识别系统设计之后，我们选择收集四套数据来测试离线系统。我们同样将此记过基于DTW的表面肌电信号的手写识别系统测试结果和基于HMM的表面肌电信号的测试结果ci进行比较，比较结果如下所示.
表2.DTW，HMM,LM-BP识别准确性与训练时间的比较
相比之下，我们发现LM-BP算法在训练时间上有明显的优势。但是，它的平均识别率并没有明显的优势。总的来说，这种以LM-BP为基础的基于SEMG的手写识别系统通过减少训练时间来增加该系统的使用性，但是该系统需要提高其识别率。
根据分析结果，我们可以得出一些结论，现有的新系统能够需要在一下几个方面进行改善。
(a) 系统识别率需要提高。
LM-BP算法相比于DTW和HMM算法并没有使手写识别系统有很大的改善。我们认为这可能受到神经网络构成的影响，包括隐层的数目以及每层节点的数目。我们仅仅有有限的样本数据，并且这些数据都是来自健康的人，而并非是上肢有缺陷的人。我们需要更多的数据去训练系统并找到更好的神经网络结构。
(b)信号处理过程应得到改善。
这是因为我们第一次将LM-BP算法应用到基于SEMG的手写识别系统上，为此我们参考了许多以LM-
全文共7465字，剩余内容已隐藏，支付完成后下载完整资料
资料编号：[145884]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
