Journal of King Saud University – Computer and Information Sciences 30 (2018) 198–205

Contents lists available at ScienceDirect

Journal of King Saud University – Computer and Information Sciences

journal homepage: www.sciencedirect.com

Developing and modeling of voice control system for prosthetic robot arm in medical systems

Koksal Gundogdu a, Sumeyye Bayrakdar b,uArr;, Ibrahim Yucedag b

a Electrical and Electronics Engineering, Department of Engineering Faculty, Duzce University, Duzce, Turkey

b Computer Engineering, Department of Technology Faculty, Duzce University, Duzce, Turkey

a r t i c l e i n f o

Article history:

Received 19 January 2017

Revised 3 April 2017

Accepted 19 April 2017

Available online 22 April 2017

Keywords:

Voice recognition model Voice control

Prosthetic robot arm Robotic control Forward kinematic

a b s t r a c t

In parallel with the development of technology, various control methods are also developed. Voice con- trol system is one of these control methods. In this study, an effective modelling upon mathematical models used in the literature is performed, and a voice control system is developed in order to control prosthetic robot arms. The developed control system has been applied on four-jointed RRRR robot arm. Implementation tests were performed on the designed system. As a result of the tests; it has been observed that the technique utilized in our system achieves about 11% more efficient voice recognition than currently used techniques in the literature. With the improved mathematical modelling, it has been shown that voice commands could be effectively used for controlling the prosthetic robot arm.

copy; 2017 The Authors. Production and hosting by Elsevier B.V. on behalf of King Saud University. This is an

open access article under the CC BY-NC-ND license (http://creativecommons.org/licenses/by-nc-nd/4.0/).

1. Introduction

Robotic technology and the systems that are capable of control- ling the robotic technology have been affected from the develop- ment of technology (Kubik and Sugisaka, 2001; Stanton et al., 1990; Gundogdu and Yucedag, 2013; Sabto and Mutib, 2013). Var- ious studies have been conducted in the field of robotic technology (Valente, 2016; Cambera and Feliu-Batlle, 2017; Yagimli and Varol, 2008; Gundogdu and Calhan, 2013; Rogowski, 2013; Cetinkaya, 2009). Many control systems are available such as voice control, visual inspection and control systems with brain waves (Pattnaik and Sarraf, 2016; Gundogdu and Yucedag, 2013; Jayasekara et al., 2008; Kim, 2013; Ju et al., 2007). Also, in recent years, many theo- retical and practical applications have been realized by using con- trol systems with voice (Chahuara et al., 2017; Kubik and Sugisaka,

uArr; Corresponding author at: Duuml;zce Uuml;niversitesi, Teknoloji Fakuuml;ltesi, Bilgisayar Muuml;hendislig˘i Bouml;luuml;muuml;, Duuml;zce, Turkey.

E-mail addresses: koksalgundogdu@ekargemuhendislik.com (K. Gundogdu), sumeyyebayrakdar@duzce.edu.tr (S. Bayrakdar), ibrahimyucedag@duzce.edu.tr (I. Yucedag).

Peer review under responsibility of King Saud University.

Production and hosting by Elsevier

2001; Nishimori et al., 2007; Hanser, 1988; Nolan, 1998; Reed

et al., 1994).

In the literature, many studies made with voice control system such as robot arm control, door lock control, mobile vehicle sys- tems control and control of the wheelchair are available (Ferruacute;s and Somonte, 2016; Izumi et al., 2004; Jayasekara et al., 2009; Huang and Shi, 2012; Phelps et al., 2000; Sajkowski, 2012; Kuljic et al., 2007; Gundogdu and Calhan, 2013; Wahyudi et al., 2008; Liu et al., 2005; Shim et al., 2010; Kajikawa et al., 2003; Lv et al., 2008; Zhou et al., 1994). Many methods have been developed for voice control system and these developed methods have been used by applying the many mechanism. These methods are voice pro- cessing methods such as fuzzy logic, neural networks and Markov model (Jayasekara et al., 2009; Wahyudi et al., 2008; Majdalawieh et al., 2004; Alghamdi et al., 2008; Chatterjee et al., 2005; Phoophuangpairoj, 2011). There are many ways to implement the real environment to these obtained models. One of these ways is the modeling of voice processing on the computer (Izumi et al., 2004; Zhou et al., 1994). As well as the computer, DSPs (Digital Sig- nal Processor) are also widely used in voice processing technology (

沙特国王大学学报-计算机与信息科学30（2018）198-205

医疗系统假肢机械臂语音控制系统的开发与建模

Koksal Gundododudu、Sumeyye Bayrakdar、Ibrahim Yucedag

土耳其杜茨克大学工程系电气与电子工程系

土耳其杜茨克大学技术系计算机工程

文章信息

文章历史：

收到日期：2017年1月19日

2017年4月3日修订

接受日期：2017年4月19日

2017年4月22日在线发布

关键词：

语音识别

模型语音控制

假肢机械臂

机器人控制

正向运动学

摘要

随着技术的发展，各种控制方法也得到了发展。语音控制系统是其中的一种控制方法。本研究对文献中使用的数学模型进行了有效的建模，并开发了一个语音控制系统来控制假肢机器人手臂。所开发的控制系统已应用于四关节RRRR机器人手臂。在设计的系统上进行了实现测试。测试结果表明，我们系统中使用的技术比目前文献中使用的技术提高了11%左右的语音识别效率。通过改进的数学模型，表明语音命令可以有效地用于控制假肢机器人手臂。

2017作者。由爱思唯尔有限公司代表沙特国王大学制作和主持。这是CC BY-NC-ND许可证下的开放访问文章（http://creativecommons.org/licenses/by-NC-ND/4.0/）

1.简介

机器人技术和能够控制机器人技术的系统受到技术发展的影响（Kubik和Sugisaka，2001年；Stanton等人，1990年；Gundodudu和Yucedag，2013年；Sabto和Mutib，2013年）。在机器人技术领域进行了各种研究（Valente，2016；Cambera和Feliu Batlele，2017；Yagimli和Varol，2008；Gundogdu和Calhan，2013；Rogowski，2013；Cetinkaya，2009）。许多控制系统可用，如语音控制、视觉检查和脑波控制系统（Pattnaik和Sarraf，2016年；Gundodudu和Yucedag，2013年；Jayasekara等人，2008年；Kim，2013年；Ju等人，2007年）。此外，近年来，通过使用语音控制系统，实现了许多理论和实际应用（Chahuara等人，2017；Kubik和Sugisaka，2001年；Nishimori等人，2007年；Hanser，1988年；Nolan，1998年；Reed等人，1994年）。

文献中对语音控制系统进行了许多研究，如机器人手臂控制、门锁控制、移动车辆系统控制和轮椅控制（Ferr_s和Somonte，2016；Izumi等人，2004；Jayasekara等人，2009；Huang和Shi，2012；Phelps等人，2000；Sajkowski，2012；Kuljic等人，2007；Gundogdu ANd Calhan，2013；Wahyudi等人，2008；Liu等人，2005；Shim等人，2010；Kajikawa等人，2003；Lv等人，2008；Zhou等人，1994）。语音控制系统的开发方法很多，这些开发的方法已经应用到多种机制中。这些方法是语音处理方法，如模糊逻辑、神经网络和马尔可夫模型（Jayasekara等人，2009年；Wahyudi等人，2008年；Majdalawieh等人，2004年；Alghamdi等人，2008年；Chatterjee等人，2005年；Phoophuangpairoj，2011年）。对于这些获得的模型，有许多实现真实环境的方法。其中一种方法是在计算机上模拟语音处理（Izumi等人，2004年；Zhou等人，1994年）。除了计算机之外，DSPS（数字信号处理器）也广泛应用于语音处理技术（QADI和Ahmed，2009年）。在发出命令的同时，语音处理技术中不仅使用了诸如英语之类的通用语言，还使用了许多不同的语言（奇瓦伊和夏基尔，2012年；Izumi等人，2004年）。

为了控制假肢机器人的手臂，本研究开发了一套语音识别系统。系统总体结构如图1所示。改进了奇瓦伊文献中用于语音处理的单定义语音的数学模型，并实现了该模型的物理实现。为了评价该系统的互操作性，设计了一种四关节旋转旋转机器人臂模型，并将该模型转化为物理产品。在机器人手臂和语音处理系统之间建立必要的连接后，系统将应用预先定义的语音命令。最后，观察到机器人手臂执行了多少应用语音命令。根据观测结果，由于系统的发展，语音命令的检测率进一步提高。所设计的假肢机械臂语音控制系统比文献中使用的语音识别系统更有效。系统流程图如图2所示。

图1系统总体图

开始

定义声音指令

检测用声音

否

系统中是否定义了检测到的声音

是

指定识别语音所需执行的操作

根据动作向机器臂发送指令

结束

根据接收的指令检查机器臂

图2 系统流程图

2．语音识别系统

得到了不同类型语音识别的数学模型。物理产品的形成是为了能够测试这些模型。

2.1．语音识别模型设计

在语音处理方法中，方程。（1）和（2）通过使用Qidwai使用的数学模型进行定义。首先，使用任何传感器（如麦克风）对系统进行识别。当用户说系统定义的声音时，系统会根据算法来决定适当的行为。如何获得如图3所示需要定义的语音模型。

图3语音命令的识别

上述模型的数学描述如下。

(1)

这里，显示用户在说语音命令时使用的用户频率，表示由命令字母组合在一起的自然频率。另外，表示由用户频率和基于用户定义的固有频率组成的命令频率。例如，对于“right”命令，结合由单词字母组成的自然频率和由用户表示“right”命令时组成的用户频率，出现了用户特定的“right”命令。以这种方式，根据用户定义的命令被建模，如图4所示。

图4根据用户定义的语音命令

上述模型的数学表达式如下所述。

(2)

从图4的模型中可以看出，用户，hellip;语音中定义的n个单词在式（2）中给出了。通过将声音组合在一起，可以创建用句子定义的各种命令。例如，为“左”命令定义，而为模型上的“turn”命令定义。根据模型中使用的算法，定义了命令“左转”== 5。对于该模型，从奇瓦伊方程中得到如下方程。

(3)

a b c

在式（3）中，C表示的矩阵表示“用户频率矩阵”，B表示的矩阵表示“固有频率矩阵”，A表示的矩阵表示由用户定义的命令组成的矩阵。

2.2通过开发生成的系统识别语音命令

利用从文献中得到的模型，建立了一个新的模型。虽然语音识别在第一个模型中进行了一次，但在新模型中，语音识别进行了两次。实验结果表明，我们的二次定义系统优于一次定义系统。因为，可以清楚地看到，使用我们开发的模型可以获得更高的语音检测率。获得的新模型如图5所示。

图5两次定义同一语音命令

这里，在图5中，和表示用户在说出所需的相同命令时使用的用户频率。表示命令字母组合形成的固有频率，而和表示根据用户定义的同一命令使用的命令频率，由用户频率和命令固有频率组成。

在系统中，用户频率可以是1、2、4和8。然而，当该系统应用于机器人手臂时，观察到其他语音识别率低于两个。因此，我们希望在这个系统中使用2个用户频率。例如，对“右”命令进行了两种不同的语音识别。从方程中可以看出，，为用户定义的语音被建模两次，如和所示。这样，用户定义的特定命令如图6所示。

图6 根据用户定义的两次语音命令

从图6的模型中可以看出，同一个声音的模型是和的两倍。首先，系统根据用户给传感器的命令决定给定命令是否在系统中注册，然后执行相应的命令。在定义了两次的模型语音中，由于定义了两次的单词，语音识别率进一步提高。利用等式（3）中受益于奇瓦伊的模型得出以下方程（奇瓦伊和夏基尔，2012年）

(4)

a b c

在式（4）中，“c”表示的矩阵显示“用户频率矩阵”，“b”表示的矩阵显示“固有频率矩阵”，“a”表示的矩阵显示由用户定义的命令组成的矩阵。

2.3语音识别系统的实现

在我们的工作中，首先设计了语音识别系统。然后，制作了印刷电路板，对系统进行了物理实现。图7所开发的系统由微控制器和语音检测卡组成。

首先，在语音识别单元中对传感器检测到的语音进行评估，并将处理后的信息发送给微控制器。这样，就可以根据设计的模型将信息存储在微控制器中。当系统用户提示执行命令时，用户将命令告知麦克风，系统将语音传输给微控制器。最后，微控制器根据设计的模型进行必要的比较决定是否应用命令。

3．四关节RRRR机器人臂的设计

为了对所得到的语音识别模型进行实际环境分析，设计并实现了机器人手臂模型。

3.1机器人手臂的建模

同时获得了机器人手臂的数学模型，如图所示。（8a和8b），首先，采用D-H方法进行运动学建模。随后，将正向运动学方程应用于该模型（Ozgur和Mezouar，2016；Kucuk和Bingul，2004）。最后，通过D-H法确定变量，得到表1中的结果。

如果将表1中所示的D-H参数放置在正向运动学的一般矩阵上，则得出如下所示的矩阵方程（Kucuk和Bingul，2004）。

(5)

机器人手臂的关节矩阵如式（5）所示。根据前向运动学方法，在关节矩阵上应用

操作，得到了机器人手臂的前向运动学数学模型，如下所示。

(6)

在等式（6）中，表示为， ,,

和

图7微控制器和语音检测卡

4机器人手臂的实现

图8（a）机器人手臂和关节变量默认位置

图8（b）.机器人手臂和关节变量的初始位置

表1

d-h参数的确定

轴号 D-H参数 关节变量

我	ai	ai-1	di	hi	di或hi
1	0	0	H	H1	H1
2	90	0	0	H2	H2
3	0	L1	0	H3	H3
4	0	L2	0	H4	H4
5	0	L3	0	0	0

为了在实际环境中应用所设计的机器人手臂模型，采用了6台标准的RC伺服电机、3 mm厚的铝板、3 mm厚的有机玻璃材料和各种尺寸的螺钉。树脂玻璃材料切割长度为=145mm，=170mm，宽度为24mm。机器人手臂的第三个长度是通过切割铝片形成的，铝片的长度为=50 mm。此外，作为机器人手臂的末端功能，通过切割铝板形成了机器人手臂的手指部分。通过切割直径为phi;=110mm、长度为h=7mm的零件，形成了使机器人手臂左右移动的机构。图9所示的机器人臂是通过结合根据图8（a）尺寸切割的材料制成的。

机器人手臂有一个控制卡和一个连接到控制板的系统。如图9所示的机器人手臂和语音识别系统通过串行通信路径相互传输数据。通过串

资料编号：[5216]

您可能感兴趣的文章

• 手持式频率可重构天线无线设备外文翻译资料
• 连续碳纤维预浸丝的制造和3D打印外文翻译资料
• 广义的预测控制应用于油井的智能生产外文翻译资料
• 基于STM32的三相交流电机的电参数测量系统设计外文翻译资料
• 新型家庭防火报警器的设计与实现外文翻译资料
• 用于水产养殖场水质连续监测的无线传感器网络外文翻译资料
• 用本征热电偶测量局部温度表面外文翻译资料
• 基于线性霍尔传感器的直流数字高斯计外文翻译资料
• 一种支持非特定人声识别的自动语音识别系统外文翻译资料
• 基于水库水位重量动态监测影响的大坝渗流模型外文翻译资料