使用增强现实技术进行智能制造的设计和交互界面外文翻译资料

 2022-08-15 02:08

英语原文共 9 页，剩余内容已隐藏，支付完成后下载完整资料

使用增强现实技术进行智能制造的设计和交互界面

摘要

在本文中，我们应用了增强现实（AR）技术来开发智能制造（Smart MFG）的设计和交互界面。缺乏适当的人机交互（HMI）工具支持Smart MFG环境中的交互和自定义功能，推动了这项工作。为了解决这个研究问题，我们假设直接与机器控制单元（MCU）通信的基于AR的设计接口将增加交互程度和在手动数据输入（MDI）系统中执行的指令的复杂性。为了检验这个假设，我们开发了一个原型系统，该系统由一个AR平板电脑设备作为输入接口，以及一个Ultimaker3打印机作为机床。首先，这个供用户在AR环境中轻松高效地设计现有对象上的形状。最后，将定制的设计转换为机器代码，该代码也将根据机床以及虚拟模型和现有对象的注册进行定制。我们将通过在AR环境中在现有形状上设计两个自定义形状并生成G代码以控制打印机将它们制造到物理对象上来测试我们的系统

关键词：计算机辅助设计；智能制造；增强现实；增材制造; 3D打印

介绍

超智能制造(Smart MFG)，也称为工业4.0, 是制造技术中自动化和数据交换的新趋势。根据美国国家标准技术研究院(NIST) 的说法，Smart MFG是“完全集成的协作制造系统，可以实时响应，以满足工厂，供应网络以及客户需求的不断变化的需求和条件。作为制造业数字化的下一个阶段，Smart MFG的基础由网络物理系统(CPS) 和物联网(IOT) 组成，其目标是跨制造过程的不同阶段无缝连接数据最新传感技术和无线连接。连同三维(3D)打印工艺的进步，可以生产一种产品，而不会增加成本和交货时间。

在分布式数控(DNC) 系统中，每台机床(例如铣床和3D打印机)都连接到机床控制单元(MCU)，例如计算机。MCU通过发送零件程序控制机床，零件程序是机床要执行的一组指令。可以使用从高度手动到高度自动化的各种方法来完成零件编程:手动零件编程，计算机辅助设计和制造(CAD / CAM) 零件编程以及手动数据输入[2]。在手动零件编程中，程序员使用低级机器语言(例如G代码)准备代码。CAM /CAN系统是可定义零件的计算机交互式图形系统生成几何图形并生成刀具路径以创建机器语言零件程序。它可以自动执行大部分程序，但是需要在设备，软件和培训方面做出重大承诺。为了使我们的工厂更智能和方法是让机器操作员在机床上执行零件编程任务，这称为手动数据输入(MDI) 。机器操作员至少需要接受零件编程方面的培训。但是，当前的发展要求操作员将零件几何数据和运动命令手动输入到MCU中， 因此NDI仅能处理简单的操作和零件。迫切需要拥有合适的人机交互工具(HMI)，以支持Smart MFG环境中的交互和自定义。研究的问题是;HMI系统的外观如何，以便个人可以在Smart MFG中访问和交互以设计和制造定制产品。

随着增强现实(AR) 技术的发展，可以使用AR设备来帮助提高生产工厂的安全性并减少对工入的身体需求(图1)。AR的吸引人之处在于它带来了物理环境的信息，以激发，情境化和指导用户的创造力。AR技术已在各种应用中得到了探索，包括虚拟内容创建[3- 7],组装指南[8 11],机器人的控制界面[12- 15]以及制造过程的仿真[16,17]。也有研究[7, 18]引入了基于AR的设计系统来围绕现有对象创建处拟设计在AR环境中，围绕给定的参考物理对象设计3D形状，可以提供现有对象的形状和尺寸，从而基于该对象设计定制产品。此外，AR所提供的即时视觉反馈还可以帮助用户更好地评估其设计并相应地对其进行修改。

图1 采用AR接口与制造系统进行交互

每个假设都认为，与AR直 接通信的基于AR的设计接口将增加交互的程度和MDI系统中执行的指令的复杂性。为了验证这一假设，我们开发了一个原型系统，该系统由一个AR平板设备和一台Ulti-maker3 3D打印机作为机床组成。基于由Google Tango AR工具箱提供支持的A sus Freefone智能手机，我们的软件系统利用了物理对象的深度图像，并允许用户与构建平台进行虚拟交互。用户可以在现有对象上绘制2D曲线，并通过简单的交互将2D曲线转换为3D形状。创建设计后，我们的软件系统会将其转换为一组指令，以控制和指导机床。指令直接通过无线网络发送到3D打印机，以便将新添加的3D形状打印到现有对象上。本文的贡献总结为:

1.提出了一种基于AR的设计和制造环境，该环境具有传感，设计和控制功能，可以通过Wi-Fi与机床进行交互和通信。

2.开发了一组基于草图的计算工具，供用户在AR环境中轻松，高效地设计现有对象上的形状。

3.定制的设计将转换为机器代码，该机器代码也将根据机器工具以及虚拟模型和现有对象的注册进行定制。除了3D打印应用程序之外，该系统还可以基于一些现有对象自定义和制造产品，而不必始终从头开始进行3D打印产品。

2.相关工作

我们将相关作品大致分为基于AR的虚拟内容创建，基于AR的组装，控制和过程仿真。

2.1.基于AR的虚拟内容创建

研究人员已经探索了使用基于AR的系统创建虚拟内容的方法。先前的工作[3]集成了用于修改虚拟模型的有形工具。Ehrenberg等。在3D AR环境中解释了2D手势注释。Corporeality [19] 从环境中提取3D边缘和平面 并利用它们来精确对齐3D对象。La等。 [5]将基准标记附加到物理基元上，并将相应的虚拟模型组装到物理基元上。GARDE [6]介绍了用于评估设计的基于手势的AR设计系统。

图2 拟议系统的工作流程：（a）将基本对象放置在Ultimaker3 3D打印机中，（b）用户可以通过Entryphone AR设备在现有对象上创建和编辑新形状。（c）经过几部创建和编辑，用户在AR环境中获得了3D设计，并且将其传递给3D打印机。（d）最终，将制定的3D形状实际添加到现有对象上。

最近的一项工作- Minicab [7] -允许用户在AR桌面环境中使用空中手势将扫描的3D对象集成在一起进行设计。窗口形状[18]提供了一个草图界面，可以直接在物理对象上设计3D形状。受Window Shaping启发，我们的工作采用了草图界面，通过将AR技术集成到MDI系统中，在现有对象上创建3D设计以进行人机交互。

2.2.基于AR的组装，控制和仿真

通过提供虚拟指导，已经广泛探索了AR以协助用户进行组装过程。虚拟指令覆盖在用户的AR耳机视图中[8]，而相应的虚拟CAD模型则显示在物理对象周围[9]。在基于AR的组装过程中采用了不同的!交互隐喻，包括虚拟交互工具[10]或用于组装指导的裸手[11]。通过将射频识别(RFID) 集成到每个构造模块中，可以对装配指导进行实时跟踪和监控[20]。但是，这些工作的重点是提供装配指导，而不是3D设计创建。

此外，AR已经被研究用于与机器人交互。Touchline[12]采用AR控制移动机器人。利用机器人的AR,研究人员已经实现了人机协作，如对象操纵[13]，对象是:取和放置[14]和家庭顺序任务指令[15]。与机器人互动的控制界面可以是AR平板电脑设备，也可以是物理目标上或附近的投影界面[21]，以简化互动。在工业应用中，AR已应用于工业机器人中，用于路径规划[22,23]，空间编程[24]和轨迹规划[25]。AR也已用于模拟制造过程。在AR环境中模拟了不同的制造过程，包括金属铸造[16]和CNC加工[17]，以验证过程计划，降低材料成本和培训新手机械师。

但是，上述所有工作都没有致力于在现有对象上设计和制造定制形状。我们旨在研究一个统一的AR框架，允许用户设计定制形状并实时制造它们。

3.总览

我们的AR环境有三个主要模块来支持定制产品的设计和制造，包括物理环境和对象的3D感应，基于Wi-Fi的通信和控制以及用于定制形状的原位设计系统。Entryphone设备上的深度相机允许获取物理环境的3D点云数据。这些点云数据提供了现有对象形状的信息，并且是我们设计系统的基础。为了制造设计的3D形状，AR设备通过Wi-Fi连接到制造系统。所有制造计划也都在AR设备上完成，零件程序直接传递到机器控制单元。跨AR设备和机器的设计和制造数据由通信模块传输。拟议的AR环境还支持针对现有对象设计定制的3D形状。利用所感测到的现有对象的3D信息，原位设计系统使用户可以在现有对象上/周围设计定制产品。AR环境还为触摸交互等设计提供了新的功能。

我们实现了一个原型系统来证明所提出的AR环境的概念。该原型系统由Entryphone AR 5.7英寸智能手机组成 手机[26]，带有Communal Snapdragon 821处理器和8GB RAN, 运行Android 7.0 Akita操作系统，以及配备了Wi-Fi通信模块的Ultimate 3熔融沉积建模(FDM) 3D打印机[27]。我们选择Ult Maker 3作为我们的机床的原因是其软件和固件是开源的。Ult Maker的制造商公开了其产品的所有源代码和技术规范，从而使开发人员可以研究其基础结构并使用该机器定制其应用程序。该软件系统是在Android Studio 2. 3.3环境中使用C 开发的，具有用于3D形状建模的Android NDK (JNI) 和用于渲染3D对象的Opening阴影语言。软件系统中使用的Tangle SDK [28]允许我们访问物理场景的3D点云。Zen phone和Ultimate 3之间的通信是在Ultimate 3开发人员API [29]的支持下建立的。

当前，大多数3D打印机从头开始创建3D对象。打印后制造的3D对象是固定的，无法修改。我们的原型系统允许用户在现有对象上设计自定义形状，然后使用3D打印机将其物理添加到现有对象上，从而实现对现有物理对象的编辑。如图2所示，拟议的原型系统的工作流程如下所示:用户将一个退出的对象放入3D打印机(图2 (a) )，在其上创建并设计定制的3D形状。使用我们基于草图的设计界面(图2 (b) )将现有对象，并将设计的3D形状发送到3D拼合器，以将它们物理添加到现有对象上(图2 (C, d) )。Ultimaker3打印机通过Wi-Fi连接与AR设备连接。为了确保将设计的3D形状正确地打印到现有对象的正确位置上，AR设备的坐标系和3D打印机的物理坐标系通过校准过程对齐。我们的软件系统自定义了G代码，因此可以将设计的形状添加到现有对象的表面上，而不是原始3D打印机的平台。

图3 Entryphone AR设备上的深度摄像头可以提供对物理环境的深度感测：Entryphone上的深度摄像头可感测现有的基本形状（a）；所获取的深度图像（b）用于拟合平面（c），以进行以下建模过程。

  1. MDI系统

我们的系统由三个模块组成: 1) 3D传感模块，2)基于Wi-Fi的通信模块以及3)原位设计模块。详细描述如下。

4.1物理环境的30传感

具有深度摄像头的Entryphone AR设备可启用对物理环境的深度感测。Entryphone AR设备上的深度摄像头可捕获周围物理环境的深度数据(5Hz) 。如图3所示，深度照相机感测现有的物理对象(图3 (a) )，并获取并存储深度数据(图3 (a) )。获得的点云提供了物理环境和环境中对象的3D几何信息。具体来说，内置的Google Tango工具包将- -组平面拟合到所获得的点云(图3 (C) )。这些平面是围绕现有对象设计3D形状的基础。我们的设计系统带有一组几何建模和交互工具，实际上是在装配平面上构建的。

4.2.设备之间基于Wi-Fi的通信

在我们的原型系统中，Entryphone AR设备通过Wi-Fi连接与Ultimaker3 3D打印机通信。Ultimaker3打印机特别适合我们的需求，因为它具有一个新的通讯模块，并允许用户通过Wi-Fi访问它。连接到实验室的Wi-Fi网络后，Ult imaker3打印机将创建一个Wi-Fi热点，并将IP地址分配给该打印机。Ultimaker3允许第三方软件使用分配的IP地址直接访问并在“开发人员模式“中预设密码。用户可以使用Automaker 3的内置API圈数来控制打印机。具体地说，在我们的原型系统中，API凶数”geode 使我们可以向Ultimaker3打印机发送自定义的G代码:有关API的详细说明，请参阅VItimake3。

图4 A sus Entryphone AR智能实际通过打印机的通讯模块创建的WIFI热点与Ultimaker3打印机进行通讯

4.3.坐标系对齐

我们的系统允许用户在AR环境中的现有物理对象上创建自定义形状。然后，这些创建的形状将被打印到现有对象上。它需要注册才能将AR环境K,的坐标系统与物理世界中的3D打印

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[424114]，资料为PDF文档或Word文档，PDF文档可免费转换为Word

原文和译文剩余内容已隐藏，您需要先支付 30元 才能查看原文和译文全部内容！立即支付

以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。

您可能感兴趣的文章