英语原文共 5 页，剩余内容已隐藏，支付完成后下载完整资料
基于云平台的智能视觉船舶感知系统
王琦，武汉理工大学交通学院；于文昭，武汉理工大学交通学院；冯辉，武汉理工大学交通学院；
郑瑞东，武汉理工大学能源与动力工程学院；王春磊，武汉理工大学航运学院
摘要：基于云平台的智能视觉船舶感知系统倾向于通过提高船舶的识别和调度能力，增强船舶航行的安全性和经济性。针对智能船舶认知不足，船舷计算能力和船到岸通信效率低下的问题，本文提出了利用云计算平台来支持系统对摄像机和AIS（自动识别系统）所捕获的视频信息进行综合处理，并能够成功实现目标船舶的选择识别、信息跟踪和匹配功能。同时，该平台为岸基的监控客户端以及船舶驾驶员提供了登陆云平台的服务器接口，有利于岸基辅助船舶导航。
关键词：智能船舶感知； 多源数据融合； 云平台； 数据可视化； 安全警告
- 引言
智能船舶是指应用大数据的先进信息技术，在自动感知信息，判断分析环境和航行决策方面实现智能化作业的船舶。在当前的智能船舶领域中，船舶智能集成平台缺乏相关技术。其中，对支持良好的辅助决策，船舶性能的改善和人为误差的减少并不完美[1]。该系统旨在改进此类技术，解决船舶客户端和岸基客户端在获取船舶周围水域信息方面准确性较低 [2]，以及航行决策时效性不足的问题。
在船舶感知方面，日本三井商船（Merchant Marine Mitsui）和劳斯莱斯公司（Rolls-Royce）联合开发了一种智能船舶感知系统，将船舶自身传感器采集的数据与现有船舶系统采集的数据集成在一起[3]，例如通过自动识别系统和雷达来增强船舶操纵对船舶周围环境的感知。中国启动了一项高科技船舶科研项目——“船舶航行态势智能感知系统的开发”。该项目解决了融合雷达，红外视觉，声音识别和三维重建数字场景不足的航行安全问题[4]。欧盟第七个科技框架计划中的合作研究项目“ MUNNIN-海军无人驾驶导航系统”旨在开发和验证无人船舶的概念，并通过雷达和红外传感器探测周围物体，以达到感知船舶周围环境的目的[5]。
基于国内外经验，针对智能船舶和船舶传感技术的快速发展，本文构建了基于云平台的智能船舶感知系统，以提高软硬件系统的效率、可靠性、安全性和智能性[ 6]，从而极大地促进了智能船舶的发展。我们要做的是：
1）获取船舶附近水域的视频信息和船舶AIS信息。
2）在云平台上进行数据融合处理，对目标船舶进行识别和标记
3）实现船舶AIS信息的跟踪和匹配。
4）建立增强现实感的视觉平台并执行预警信号。
- 系统结构
构建基于云平台的智能视觉船舶感知系统，以解决或至少部分解决现有技术无法准确感知和调度船舶实际状态的问题[7]。智能视觉船舶感知系统的架构是两个客户端和一个云端。这两个客户端分别指的是船舶客户端和岸基监控客户端。一个云端是指船舶云计算平台。船舶客户端主要负责携带摄像机获取图像和视频信息，并通过船舶的AIS系统获取船舶及其附近目标船的AIS信息完成信息集合。岸基监控客户端配备了ECDIS系统，以实现全球多船导航状态，从而提供全球路径规划和导航。船舶云计算平台的处理结果将通过AR技术在船舶客户端和岸基监控客户端实现可视化。两个客户端和一个云端主要依靠4G和5G无线通信来确保船舶导航的安全性和经济性。
船舶云计算平台分为信息采集模块，云平台数据融合处理模块和信息可视化模块。信息采集模块收集船舶客户端摄像机信息和AIS信息，并将其发送到云平台数据融合处理模块，以进行目标船舶的识别选择以及船舶AIS信息的跟踪匹配。该模块的核心是基于船舶感知数据库和船舶导航数据库构建基于OpenStack的船舶云计算平台，以满足数据处理的需求。信息可视化模块基于AR技术实现终端的多维显示图像，通过智能化的穿戴式设备如智能眼镜和移动终端等设备，由船舶云计算平台处理后，为船舶驾驶员和岸基监控客户端提供船附近的实时水域状况。同时，标记有可能与船舶发生碰撞的船舶，发出预警信号将有助于船舶及时避碰，岸基监控客户端可以指挥船舶避碰。
- 系统设计
智能视觉船舶感知系统通过自动感知获得船舶静态数据（例如，船舶名称，呼号，船舶类型，船长和船宽）、动态数据（例如经度，纬度，航向和速度）、航行要素数据（例如风，水温、气象和航标）以及目标参数（例如目标船的位置、速度和航向）。该系统通过云平台数据融合处理模块的预设算法，对船舶客户端摄像机采集的信息和船舶的AIS信息进行处理。此外，根据大数据融合处理和分析技术，它形成了诸如数据集成，相关性分析以及对船舶潜在危险情况进行预警等核心服务功能。该系统能够提供实时的智能船舶海洋感知和控制信息，提高了船舶航行的安全性、经济性和可靠性。
.
3.1信息采集模块设计
数据采集是智能船舶数据分析、评估和决策的基础和前提[8]。系统数据采集模块包括船舶视频信息采集和AIS信息采集。视频信息采集用于获取船舶附近水域的实时动态视频信息，而AIS信息采集用于获取船舶的AIS信息，包括船舶静态数据，如船舶名称、呼叫标志、船型、船长、船宽、动态数据（例如经度，纬度，航向，速度）和其他航行要素数据（例如风，水温，天气，航标等）。同时，对船舶舱室设备、导航设备和货物监控设备输出的数据进行采集，并根据数据时间和类型进行分类存储，以备后续调用。该系统采用海事卫星和无线网络作为船舶通信手段，实现对各类船舶数据的岸基远程调用。基于岸基的监控客户端可以获取平台上的航行数据、机舱数据和状态数据，了解船舶的实时运行状态。船舶终端与岸基监控客户端之间的信息交互可以增强对智能船舶的控制，及时获取船舶监控中心的调度信息，提高船舶操纵的安全性。
-
- 云平台数据融合处理模块设计
云计算平台是智能视觉船舶感知系统的基础。它可以通过各种信息技术协同网络技术实现硬件处理的虚拟化，构建虚拟资源池，提高资源分配的效率和灵活性[9]。船舶构建的云计算平台系统位于OpenStack平台, 通过API接口与OpenStack功能组件进行交互,并基于Web交互界面管理多个数据中心的硬件资源，从而为岸基监控客户端和船舶终端提供一个基于Web的界面。
在内部，可以增加OpenStack计算节点的数量，以满足多台摄像机捕获数据处理的需求[10]。 在外部，使用Web提供云计算服务可使最终用户直接在云平台上运行大量程序，而无需额外安装软件。 船舶客户端和岸基监控客户端都可以在云平台上共享数据和决策安排，提高工作效率。
云平台的数据融合处理分为两部分:基于船舶云平台的船舶目标检测和信息匹配。
- 目标检测设计
在船舶目标检测算法的选择上，通过对常用识别算法的收集和比较，选择综合识别效果最好的YOLOv3算法，并采用卷积神经网络的CNN模型实现端到端目标检测。图2为船舶识别效果对比图。YOLOv3算法主要由卷积特征提取、数据库对齐和损失函数组成[11]。利用训练后的预设的全卷积网络对船舶作业中获得的视频信息进行处理，得到船舶的特征图。然后将船舶特征图与数据库中的船舶特征进行比较，得到比较结果。计算出与比较结果相似的卷积特征作为损失函数。然后，非最大值抑制算法在特征损失函数运算后选择特征损失最小的卷积特征图。系统目标检测效果图如图3所示。
具体实施步骤如下:
- 将船舶客户端摄像头采集到的视频分成连续的图片形式，并将图片大小调整为448*448像素，传输给CNN网络。同时将采集到的图像分割成s*s网格，每个网格检测中心像素点落在单元格目标上，如图4所示。
- 每个单元负责落在网格内目标的pr指令的概率记为pr (classi|object)，并给出每个单元的预测C类的概率值。然后计算每个包围盒类别（类特定的置信度得分）：Pr(classi|object)*Pr(object)*IOUtruth pred=Pr(classi|object)* IOUtruth pred，表示每个类别在包围盒中的概率和所选检测目标的就绪情况。模型的预测值结构如图5所示。
- 对于每个预测框，以类别的置信度为标准，选择最大的类别作为其预测标签，并获得各个预测框的预测类别和对应的置信度值。设置置信度阈值以滤除置信度小于阈值的预测框，并获得置信度满足要求的预测框。采用非最大值抑制（NMS）算法对预测帧进行滤波。最后，选择具有最高置信度的预测框。
2) 信息匹配设计
在准确选择目标船的基础上，将计算出的目标船识别框的质心作为目标船的原点。获取目标地面坐标后，执行以下步骤：
a)获取目标表面坐标(x, y)；
b)将镜头投影到水面坐标(x0,y0)，计算两点之间的距离d；
c)取镜头透视图中心线上的点(x1,y1)，计算矢量(x1-x0,y1-y0)， (x-x0,y-y0)；
d)计算两个矢量的夹角alpha;。通过映射函数计算图像的横坐标 X=f1(alpha;)；
e)知道透镜相对于水面高度h,计算beta;= arctan(d/h)根据公式和计算图像纵坐标Y通过映射函数Y = f2(beta;)；
f)输出图像坐标(X,Y)。并即时计算多个目标的多个图像坐标。
根据目标原点附近的允许误差计算邻域半径，并将目标原点附近的最短欧氏距离作为一对成功匹配的目标。然后，将地面坐标的对应信息与与之匹配的目标图像进行配对。实现了目标船的信息匹配与跟踪，效果如图6所示。算法如图7所示。
-
- 信息可视化
系统在识别并选择目标船并匹配了船舶信息后，基于AR技术实现了终端的多维显示图像。 通过智能可穿戴设备，例如智能眼镜，智能手环和移动终端[12]，船舶驾驶员和岸基监控客户端可以在船舶附近获得实时水况。通过云平台数据处理视频后，虚拟场景和真实场景已经合并到视频中，最终的融合场景显示在输出设备上。AR系统的显示模式可以通过人机交互技术来完成。 信息可视化效果如图8所示。
安全预警是指在分析目标船与船舶之间有发生碰撞的可能性后，对可能发生碰撞的船舶进行标记。向船舶驾驶员和岸基监控客户端发出警告，并向目标船舶发出预警信号。
具体的实现过程如下：在船舶信息匹配的过程中，获取目标船的水面坐标，减去该船与目标船的坐标数据，得到两艘船相对地面的位置坐标。根据船舶与目标船的航行方向和速度，可以综合判断发生碰撞的可能性。在当前的航行状态下，无碰撞风险的船标记为绿色，而有碰撞危险的船标记为红色。同时，根据船舶信息计算回转半径，设置最早和最迟的转折点，并向相关方发送预警信号。基于岸基的监控客户端还可以为船舶驾驶员提供避碰路径规划等可行的解决方案供船舶驾驶员选择。
- 总结
智能船舶是船舶发展的趋势，智能船舶感知系统是智能船舶的重要组成部分。系统搭建的云计算平台一方面收集船舶客户端摄像头的视频信息和目标船舶的AIS信息，另一方面建立包含各类船舶和列车的数据库。该算法在云平台上实现了对目标船舶的精确定位，同时实现了对船舶航行数据的跟踪与匹配，并将综合处理后的结果直观地显示在船舶终端和岸基客户端。岸基能够实时有效地通过云平台获取船舶航行过程中的信息，有助于引导船舶及时避碰，并根据显示实现对船舶终端的可视化。该视频提供了对目标船附近信息的快速而全面的了解，并能够准确感知航行水域。该系统在船岸之间建立了有效的通信，并将大部分计算任务分配给云平台，减少了船载设备的计算负担，提高了船舶航行的安全性和可靠性。
致谢
作者感谢审稿人和副编辑的建设性建议。这项工作得到了国家自然科学基金资助，批准号： 51879210、51479158号，中央大学基础研究基金(WUT: 172102003、193202008)。
参考文献
[1] Xiang G , Hui A, and Wei C,et al. , “Overview of mobile augmented reality visualization,” Journal of computer aided design and graphics 201830(1):1-8.(in Chinese)
[2] 'Japan Merchant Marine Mitsui and Rolls-Royce Company cooperate to develop intelligent ship sensing system,' Military and civilian dual-use technology and products, 2108.
[3] Yan Z, Ship Situation IntelliSense System Project Launch.[Online]. Available:http://www.cinn.cn/gfjg/201902/t20190228_207703.html,2019
[4] (2014, Jul.) The autonomous navigation of the ship, International Seafarers Service Center Network. EU Research and Development of Marine Unmanned Navigation System (MUNIN) project.
[5] Tang J, Kim S. (2015
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[241481]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
