英语原文共 4 页，剩余内容已隐藏，支付完成后下载完整资料
用于人机协作装配中的操作员增强现实支持系统
Sotiris Makris, Panagiotis Karagiannis, Spyridon Koukas, Aleksandros-Stereos Matthaiakis
摘要
本文介绍了增强现实（AR）工具的设计和实现，以帮助操作员处于混合的人机协作的工业环境中执行制造任务。该系统旨在提供生产过程中的相关信息，并使操作员在沉浸式的人机协作工作空间中，在所规定的安全机制中完成生产任务。本文开发的系统集成了基于服务的工作站控制器，该控制器负责根据任务执行状态协调任务的分配，以及为操作员提供相应的任务信息。该工具已应用于汽车行业的案例研究，从而增强了操作员在装配过程中的集成度。
关键字：增强现实；混合装配系统；机器人
1 介绍
在许多行业中，因为操作需要人的灵敏度，装配过程主要由人力资源来完成。根据所处理的材料各不相同（室内装饰，橡胶，纺织物等），装配过程通常表现出不可预知的情况，并且每隔一段时间就有多个操作员在进行协作或并行操作[1][2]。行业需要在精度和可重复性方面提高质量水平，以减少装配工作站的生产时间，实现所执行操作的可追溯性并减少操作人员的人体工程学压力（例如通过降低所应用的物理强度）。这可以通过向装配线引入自动化系统来完成。尽管如此，欧洲商业测试小组（EBTP）对90家欧洲公司的调查表明，机器人的接受程度很差（61％使用1-10个机器人，32％使用11-50个机器人）[3]。国际机器人联合会给出的主要原因为采用机器人新技术带来的新挑战。此外，特别是当制造过程可以部分自动化时，缺乏用于监控人机协作工作空间的高级安全系统导致了当前的人力资源分配状况。
增强现实技术（AR）作为一种交互技术，在过去的几年中越来越受到公众的关注。AR方法与混合现实（MR）的一般概念有关，混合现实（MR）将真实和数字信息以这种方式合并到用户的视图中，以便看起来像它们是唯一的环境[4] [5]。增强现实技术通过实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型，在屏幕上把虚拟世界重叠在现实世界并进行互动。随着随身电子产品CPU运算能力的提升，预期增强现实的用途将会越来越广。增强现实应用的研究侧重于移动性，无论是商用产品还是定制设计应用[6] [7] [8]。尽管AR在过去二十年取得了巨大进展[9]，但是潜在的AR制造应用仍处于探索和原型阶段。跟踪显着改进算法[10] [11]和更快的硬件响应时间[12]，可以近乎实时地有效地显示许多信息。因此，AR可以在工厂中使用和组装规划[13] [14] [15]，例如在装配指导[16] [17] [18] [19]、产品设计[17] [20]等领域。尽管如此，除了一些小型实验装置，人类的作用更加活跃之外，上述许多应用还没有到达生产现场。
本文介绍了AR系统在人机协作装配环境中对操作人员的帮助与实现。第2章提供了对所提出的方法的描述，包括AR解决方案，该解决方案通过在视场中提供沉浸式组装指令以及在需要时提供生产数据，为装配流程中的操作人员提供支持。第3章描述系统的实现，AR应用程序通过使用Unity3D实现，Unity3D通过C＃开发的脚本处理3D模型，与执行系统进行网络通信和消息交换；执行控制系统使用ROS主题和服务，以便将适当的信号发送到资源，ROS的ROS-Java实现用于发布主题并由Java EE Web应用程序注册ROS服务；操作员通过安装在智能手表上的Android应用程序向执行系统提供反馈。第4章介绍一个案例研究，人类工作者与 COMAU NJ 130高负载工业机器人通过增强现实支持系统完成汽车零部件的装配工作，保证了工作效率与安全性。最后，第5章是对本研究进行结论与对未来研究的展望。
2 方法
我们的方法包括AR解决方案，该解决方案通过在视场中提供沉浸式组装指令以及在需要时提供生产数据，为装配流程中的操作人员提供支持。此应用程序还旨在通过可视化来自机器人控制器的数据并显示视觉警报以提高他们对潜在危险情况的意识，从而提高操作员的“安全感”和接受度。涵盖上述目标的功能由中央执行控制系统进行编排，集成了增强现实应用程序，并在需要时显示适当的信息，而无需干预运营商的工作。AR解决方案提供的功能包括：装配过程信息提供，机器人工作空间和轨迹可视化，音频/视觉警报和生产数据。
制造规划包含存储在执行控制器的存储库中的所有数据，这是资源所需的。这些包括任务序列，要运行的机器人程序以及要显示的信息，例如轨迹，装配模型的3D CAD文件等。该系统还通过向机器人和AR操作员支持应用程序发送和接收适当的信号来编排执行任务。
最后，创建了Android智能手表上的应用程序，以帮助操作员在操作完成时通知制造调度程序，并在他/她的AR眼镜中激活生产数据功能。上述功能在以下小节中进行了分析。
2.1装配过程信息
这个功能的目的是通过可视化所有将要使用的零件或部件（例如螺丝，工具，胶水等）以及它们与真实物体的相应位置来协助操作人员进行装配。 例如，在图1，可以看到鼓的3D模型，四个螺栓以及它们应该放置在真实物体（轴）上的方式。
图1 叠加在真实物体上的虚拟部件
2.2 机器人运动和工作空间可视化
第二个功能旨在提高运营商对混合人机协作工业环境的接受度。这是通过可视化来自机器人控制器的信息（例如机器人的轨迹和安全区域）实现的。如图2所示，在机器人开始移动之前，红线也会显示机器人的末端执行器轨迹。在图3，有两个安全区域（红色和绿色区域）被称为干扰区域。红色区域表示机器人工作空间的一部分，旨在防止操作员进入，而绿色区域是操作员工作的一部分面积和他/她在里面工作是安全的。应该指出的是，上述功能仅供参考，并未经过安全认证。换句话说，如果操作员进入红色区域或机器人的轨迹路径，增强现实系统将不会感觉到它。
图2 机器人的末端执行器轨迹
图3 安全区（绿色立方体）和机器人的工作区域（红色立方体）
2.3视觉警报
第三个功能与前一个功能相辅相成。它指的是视觉警报，告知操作员生产车间内潜在的危险，以提高操作员的安全意识。这些警报包含源自执行控制系统的消息，并且可能涉及机器人移动，在单元中操作的设备并且可能会伤害人（例如热熔点胶设备）以及由工艺策划师指定的任何其他一般警报。 此功能的一个示例显示在中图4.
图4 警告消息
2.4 生产数据
最后一项功能旨在根据他/她的要求通知操作员有关生产车间的状态，而不会干扰他/她的工作。这些消息包含有关当前和下一个要组装的部件的信息，完成当前操作的平均剩余周期时间以及成功完成的操作与目标操作的状态（图5）。 这些消息通过执行系统自动刷新，并使用智能手表上的相应按钮显示在操作员的视野范围内。
图5 生产信息
3 实现
AR应用程序已经使用Unity3D实现，Unity3D通过C＃开发的脚本处理3D模型，与执行系统进行网络通信和消息交换。应用程序的AR功能是通过Qualcomm的Vuforia库添加的，可提供快速和多标识识别。最后，已经为执行以下任务创建了一些自定义脚本：
bull; 模型、轨迹和安全区域的正确可视化，
bull; 生产数据和警告信息的表示
bull; 与ROS进行消息交换的连接
bull; 与主存储库连接以下载必要的数据
执行控制系统被实现为java EE web应用程序（图6），它还提供用于访问数据和逐步执行制造进度的用户界面。执行控制系统使用ROS主题和服务，以便将适当的信号发送到资源。ROS的ROS-Java实现用于发布主题并由Java EE Web应用程序注册ROS服务。Rosbridge为非ROS程序提供了一个JSON API以用于ROS功能，Rosbridge服务器将该API公开给机器人控制系统和AR操作员支持系统，允许他们通过ROS和WebSocket协议直接连接到ROS主服务器。使用Rosbridge协议的一个优点是它使服务器只能打开一个单独的端口，Rosbridge服务器使用该端口来允许WebSocket连接。仅使用ROS协议进行集成将要求所有服务器机器的端口都是开放的，因此当前的配置更安全，更容易进入真实的公司环境。
图6 执行控制系统的Web界面
制造任务按照操作级别编排，这是制造进度可以包含的最小工作单元。任务可以包含一个或多个操作，并且在其所有操作都已执行完毕后，该任务被视为已完成。有三种执行任务的场景：
bull; 执行人类任务
bull; 执行机器人任务
bull; 执行人机协作式任务。
当执行控制器使AR系统注意到人工操作已准备好执行时，开始人工操作的编排。注意事项总是发送给一个固定的机器人，操作员可以开始工作。 AR系统会自动确定执行的开始时间，但操作员必须使用智能手表发出操作执行结果的信号。在执行控制器被告知操作完成之后，它将继续执行下一个操作。这个过程一直持续到所有操作完成。
当命令发送到增强现实系统以指示机器人在下一个操作中要遵循的轨迹时，机器人的操作编排开始，同时通过通知控制器指示机器人开始操作。 收到命令后，增强现实系统将轨迹可视化。在执行机器人操作期间，操作员可以看到机器人沿着可视化轨迹移动。最后，机器人忽略操作的完成，并且执行控制器注意到AR系统隐藏轨迹可视化（图7）。人机协作式操作的编排首先将机器人设置为协作模式，称为“人类指导模式”。在该模式下，机器人装载有允许操作员操作的程序。当机器人进入该模式时，AR系统会发出信号显示干扰区域并显示文本指令，以便操作员开始执行操作。完成后，机器人被指示退出人类引导模式以及干扰区域和消息从操作者的视野中隐藏（图8).
操作员通过安装在智能手表上的Android应用程序向执行系统提供反馈。这允许操作员通过按下按钮来通知中央制造系统完成任务。此应用程序还使用WebSocket协议连接到Rosbridge服务器并发送/接收ROS命令。此外，它允许操作员激活/禁用AR应用程序中生产数据信息的可视化。显示了不同系统及其连接的概述（图9）。
图7 执行机器人操作序列 图8 人机协作操作序列的执行
图9 系统框图
4 案例分析
该应用测试的案例研究来自汽车行业。 如图10所示，该应用已应用于机器人单元，该单元包含一个高负载机器人（COMAU NJ 130），用于支撑这些部件的夹具，一个车轴和一个后轴轮组。机器人将重约25公斤的轮轴装载到夹具上并装载重约11公斤的后轮组。操作员裸手调整零件的位置并执行轮组和电缆的组装操作。工作单元的安全性通过使用工业3D相机即SafetyEye来实现，并遵循在中讨论的安全原则[21]。
应用程序可以将运营商访问必要信息所需的时间缩短到几毫秒，并从工作岗位向系统发送反馈。它还增加了操作人员工作在没有安全围栏的大型工业机器人旁边的工作的接受度。除此之外，通过直接向生产线提供更好和更直观的信息，减少停机并增强培训过程，而无需纸质标志提供说明。最后，通过跟踪从系统发送给操作员和机器人的任务消息来改进生产过程的监督。
案例研究表明，可以通过使用可穿戴设备以及结合来自车间产生的数据，使人置身于增强现实沉浸式的环境中，增强了人机交互能力，提高了工作效率，同时也保证了工作的安全性。
图10 测试装配汽车零部件场景的单元
5 总结
这项工作的目的是开发一个系统，帮助人类操作员在人机协作工业环境中工作，为他们提供身临其境的装配指令以及需要时的生产数据。在靠近大型工业机器人工作时，系统应增加操作员的“安全感”。执行控制系统也作为上述应用程序的辅助工具提供。它使用ROS主题和服务与资源交换消息。使用Java实现的Web界面用于在三种不同情况下编排任务。第一个是执行人类任务和操作，第二个是执行机器人任务和操作，第三个是执行人机协作式任务和操作。最后，一个运行在智能手表上的Android应用程序也被运营商展示并用作输入设备，以向执行控制系统告知操作完成以及操作员何时想要显示/隐藏生产数据消息。
进一步的研究应该关注使用符合工业标准的更好的AR眼镜。除此之外，还应该检查无标记识别。这导致更好和更强大的识别，因为正确的可视化取决于标记的识别。最后，应该检查此应用程序向其他人机交互工业环境的扩展。
致谢
这项研究得到了欧盟委员会资助的“ROBO-PARTNER-未来装配工厂中智能、灵活和安全操作的无缝人机协作”研究项目（资助协议：608855）的支持（www.robo-partner.eu).
参考文献
[1] Chryssolouris G (2006) Manufacturing Systems: Theory and Practice, 2nd ed.Springer-Verlag,New York.
[2] Michalos G, Makris S, Papakostas N, Mourtzis D, Chryssolouris G (2010)Automotive Assembly Technologies Review: Challenges and Outlook for a Flexible and Adaptive Approach. CIRP Journal of Manufacturing Science and Technology 2(2):81–91.
[3] Eurostatrsquo;s Portal on S
全文共9149字，剩余内容已隐藏，支付完成后下载完整资料
资料编号：[14974]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
