英语原文共 6 页，剩余内容已隐藏，支付完成后下载完整资料

对地下采矿中视觉定位系统的评价

Christoforos Kanellakis and George Nikolakopoulos

摘要：本文对地下采矿视觉定位系统的现有技术进行了评价。提出的研究被认为是使用无人机（UAV）实现基于视觉定位的第一步。此外，本文的目的是验证使用合适和可靠的低成本现有方法和技术的UAV本地化在恶劣和具有挑战性的环境中的可能性。更具体地说，是在欧洲最大的矿山之一，即在LKAB的位于瑞典基律纳的铁矿石进行现场试验。在该实验评价中，使用的传感器是RGB-D相机（Kinect for Windows）和网络相机（Playstation 3 Eye）这两种配置，分别作为立体声装置和单目视觉传感器。来自实验的数据的处理将提供对这些传感器工作效率的理解。此外，它将确定为了需要什么样的技术和研究，以开发能够负担得起的无人机解决方案，以改善地下采矿生产任务。

I.引言

无人机不是一个新概念，因为它已经存在了十多年。它主要包括一个不断增长和吸引许多资源的研究领域。这种巨大的兴趣导致了从实际尺寸的直升机，固定翼飞机到微型转子工艺的各种飞机类型的发展，如描述在图1中：a）[1]，b）[2]，c）[3]，d）[4]，旨在在不同的环境中操作[5]。 如今，科学界的主要努力集中在微型UAV领域。

微型UAV是敏捷的平台，能够探索各种高度（低或高）的区域，悬停在目标上并在近距离进行机动探测[6]。最近，采矿业表示有兴趣投资微型UAV领域。这些平台可以在矿山的生产线中应用，从而满足生产过程的不同需求[7]，同时提高自动化，安全性和运营效率。简而言之，飞行器可以是半自动或完全自动操作的，以在难以接近的地下区域中获取和处理3D空间数据。此外，UAV可以在使用生产机器或人工之前探索区域，并计划在该过程中的下一步。这种技术的一些可能的实时应用是对坍塌或活动区域的视觉检查，旧矿山检查，状态监测，用于救援任务的信息收集以及在工作时对其他机器的检查或监督。在这种环境中的条件是苛刻的，具有有限的光和技术基础设施，如可以在图2中描绘的，因此，MAV的采矿版本应该要考虑成本效益这些因素。

在这些操作场景中，UAV承担的主要任务之一是用于长期和大规模操作的路径规划和无碰撞导航的3D映射和定位。在这一点上应当强调的是，这是作者的原创知识，因为迄今为止关于地下定位的具体主题中并没有大量的参考文献。在[8]中，通过融合超声波和相机传感器开发了用于环境探测和绘图的UAV系统。在所提出的算法中，从超声波传感器的图像和深度测量提取的2D标记平面数据被合并并计算UAV的位置，而其他超声波传感器检测障碍物。接下来，进一步处理这些信息，以建立周围地区的地图。在所提出的评估方案中，假设四旋翼飞机能够垂直地上下移动，而不绕其轴线旋转。在[9]一个低成本的四旋翼机能够在非结构化环境中的视觉导航通过使用板上加工已经开发出来。这项工作的主要组成部分是SLAM系统，扩展卡尔曼滤波器和PID控制器。这种研究方法提出了一种新颖的封闭形式的最大似然估计，以消除测量噪声和恢复视觉地图的绝对尺度。在[10]中，开发了在杂乱环境中执行自主探测的空中平台的硬件，软件和机械部件。该平台仅配备有立体相机和惯性传感器。提出的视觉惯性导航框架融合了来自照相机和IMU的数据以实现平台的位置跟踪控制，并且其对于视觉测距失败是不可能的。在这种情况下，UAV被控制以跟随无障碍路径，而系统在隧道环境中的实际规模实验评估，模拟煤矿（进行了一些简化，如闪电条件是实验的一部分）。最后，在[11]中，提出了了解地下定位应用的第一个评估步骤，这比[10]更现实。更确切地，配备有视觉惯性传感器和激光扫描器的六角飞行器被手动地引导穿过垂直矿井轴以收集用于后处理的数据。从测量中提取的信息已经用于创建环境的3D网格并且定位车辆。

虽然，提出的技术仍处于早期阶段并且遇到严重的挑战，但已经描述了地下矿中的自主UAV领域的光明前景。本文的创新性和科学贡献分为三个部分。首先，重点是在地下环境中应用低成本的基于视觉的定位技术和视觉传感器。此外，在困难的条件下提出他们的实验评估作为未来的指南，以进一步发展环境感知和定位。本文的第二个贡献是有了这样实验结果，既在现实生活中的恶劣环境转到地下矿井，特别是在真实生产领域，从来没有研究过。此外，使用的视觉算法的实验评估以及它们的性能分析从未在科学文献中出现过。最后，本文的第三个贡献是确定改善地下采矿中视觉定位系统的性能和利用的具体研究方向和挑战。

为了实现这些贡献，在生产区域中使用3个不同的视觉传感器，RGB-D，立体相机配置和单眼相机进行实验。隧道的LKAB的铁矿山在瑞典基律纳。 在执行的实验中，单独检查每个传感器以便识别优点和缺点，并为进一步的修改和开发提供参考。 由于所有的传感器都基于RGB模块，因此在本工作中采用可视SLAM技术来完成定位和映射任务。

本文的其余部分结构如下：在第二部分描述了已经被集成和利用的SLAM方法，随后是第三部分的实验设计和第四部分的相应实验结果。在第五部分中，提出了关于该领域进一步发展的扩展讨论，第六部分得出结论。

II.方法

如第一节所述，本文的目的是评估地下采矿中视觉定位系统的性能。因此，所采用的待评估方法应当能够根据车辆动力学和大规模操作来执行。这样，在满足特定时间约束的情况下建立长期本地化可以保证空中平台的稳定性。关于相机传感器，可视SLAM [12]方法已被用于后处理从矿山实验收集的数据。相机的一端是两个折叠的，首先它们被用于传感器的自运动估计[13]，提供相对于起点的信息。其次，使用估计的信息点被按顺序缝合以便重建周围环境[14]。

通常，在这些实验中采用了两种视觉传感器：a）能够以绝对尺度计算深度：Kinect 2和立体摄像机钻机；以及b）单个摄像机传感器，包括单眼视觉系统，它能够感知从运动到规模的深度。在执行的实验中，用于深度传感器的技术是RTAB-MapSLAM [15]，一种基于外观的本地化和映射算法，可以接近实时性能。更具体地说，RTAB Map是一种由三部分组成的SLAM方法，即视觉光度仪和环闭合检测，以及图优化部分。前一部分的主要特征是恒定时间复杂性和大约20Hz的更新速率。在姿态估计期间，执行2维视觉特征提取以在周围找到区别点并导出它们的深度。之后，识别之间的对应从连续的相机帧计算特征。最后，从具有已知3D位置的相应特征，执行RANSAC [16]刚性变换估计以恢复相机的自运动。映射以较慢的速率计算，如1Hz。在当前帧与图中所有存储的帧之间的并行环闭合中被连续检查。当检测到环闭合时，向图优化中添加新的约束，使估计姿态的误差最小化。最后，图的每个节点包含场景的密集点云，其根据节点姿势与其邻居对准。上述方法实现用于特定存储器管理方案。

对于基于单目相机的本地化，已经对ORBSLAM [17]技术进行了评估。 ORB SLAM是一种基于特征的方法，它结合了ORB特性提取与PTAM [18]，从而使算法的整体性能更加健壮和简单。该系统为一系列任务（如跟踪，映射，重定位和循环闭合）提取和使用相同的特征。跟踪部分检测和保持相机姿态信息，采用局部映射部分保证相机周围环境的最佳重建，并不断寻找新的对应关系。最后，闭环用于补偿累积漂移在系统中。除此之外，灵活的平面或非平面立体声初始化和Bag of Words [19]循环检测和关闭（Essential Graph）技术使ORB SLAM成为用于单眼定位和映射的强大工具。应当强调的是，跟踪映射和循环闭包任务包括并行运行的单独线程。

关于所有执行的实验，数据收集和定位方法使用机器人操作系统（ROS）[20]框架实施。

III.设备和实验

地下定位和检查是研究的两个主要目标，特别关注成本效益和可靠的解决方案。为此，采用视觉传感器，因为它们能够提供定位，场景重建和环境检查的视觉反馈。因此，使用低成本的网络摄像机和公知的RGB-D传感器。相机既用作立体相机钻机又用作单目视觉传感器。

A.视觉传感器

PlayStation Eye是通过特定调整功能增强的网络摄像头。在图3a中，示出了具有规范配置的立体钻机，其安装在3D打印基座上，基准为11cm，其中相机模块已从其外壳拆卸。这种设置也被用作如前所述的单目传感器。在本文中，我们将左相机视为此设置的单目传感器，而使用的相机分辨率为640times;480，帧速率为30Hz。

图3b中所示的Kinect 2是包括RGB相机的RGB-D传感器，并且能够通过使用基于IR传输的飞行时间相机来直接计算场景深度。

B.实验设计

实验在一个隧道，基律纳铁矿山生产区的一部分进行。实验的概念是将传感器安装在车中，并在矿井隧道内手动导航以收集数据并验证定位性能，同时模拟高空作业平台的运动。 每个传感器在测量之间没有任何融合。 已经选择该方法以便导出每个传感系统的实际能力，因为众所周知，多个传感器的相应融合将总是提高所获得结果的准确性。在所进行的实验中，雷电源是便携式光投影仪，其已经固定在推车上。在图4中，描述了承载感觉系统的手推车。

对于执行的实验，视觉传感器已经被定位在车上的以下三种配置：1.前视配置，相机在哪里面向感觉平台运动的方向。在这种情况下，路径是前进和后退的一条线，同时覆盖距离生产区隧道内的初始起点20米的距离。2.侧视配置，其中摄像机面向隧道壁（垂直于平台的运动），并且与其相距约3米的距离。 车的翻译是类似于前面描述的。3.对于上述两种情况，测试了车上的视觉传感器的不同高度和角度，以便更好地模拟UAV的运动。

IV.实验结果

Kinect的后处理记录来自现场试验的数据，在Kinect传感器的自运动估计和环境3D映射中提供了非常精确的实质性能。视觉光度测量率约为20Hz。所计算的轨迹以及所获得的隧道壁的相应地图在以下图5a和5b中示出。

关于立体摄像机系统，定位算法提供了一些令人满意的结果，但是与Kinect相比没有那么准确。还应当注意，在一些时间之后算法漂移，主要影响相机的姿态估计，并且因此导致具有与真实值的偏差的不准确的测量。当相机以朝向墙壁的方向定位时，执行最成功的测试。在这种情况下，所获得的结果强调，环境的纹理对于算法来说足以提取用于自运动估计的特征，并且相机还能够精确地计算深度信息。用前视相机进行的测试没有由于与所识别的场景的距离或环境中的纹理的缺乏而成功地产生长期结果。在所示的情况下，视觉测距率是大约20Hz，而下面的图6a和6b给出了使用立体相机的不同实验测试的结果。

一般来说，从立体相机获得的结果指示姿态估计的质量和3D图不是完美的。此外，通过利用立体照相机描绘轨迹和所得到的地图的图6示出了在一些情况下，计算可以在姿态估计中产生不确定性。然而，非常有希望在这些挑战性条件和强烈的黑暗下，这种低成本相机配置能够接收和处理数据。还应强调的是，这种方法仅从视觉数据计算里程表。其他紧凑和优化的立体声系统以及更精细的SLAM算法可以提高视觉传感器的整体性能。

对于单眼相机的情况，ORB-SLAM方法能够在特定环境条件下提供定位测量。一些测试成功地本地化相机，但大多数失败。此外，在成功的测试试验中，摄像机面向隧道的壁，并且拖车遵循直线路径。在相机位置的初始化过程期间，算法搜索图像中的区别特征。这种方法的问题是，在大多数实验中，它不能够初始化相机的位置，而正在搜索有趣的特征，主要是由于不良的闪电条件，低纹理环境和隧道环境内的突然运动。此外，系统不能根据相机到平面场景的相对移动来初始化。对于单目相机，图7a，7b中描绘的定位实验的结果清楚地示出，当成功初始化时，所利用的算法能够提供测量。此外，应当注意，由单目定位方法创建的地图是稀疏的，并且相机路径遵循直线。在给出的结果中，图中所示的黑点是过去的地图点，而红色的点是当前地图点。

从所有获得的实验结果，应该强调的一般发现是前述视觉技术需要在图像中的大量特征和周围环境中的纹理。 最成功的实验结果是关于传感器面向隧道壁的实验结果，清楚地表明所使用的算法在良好纹理化的环境中工作。 不幸的是，不可能从该地区获取地面实况数据，因为矿井内没有室内精确定位系统。 没有一个坚实的基础，地面实况数据可以提供它是不可能提出一个详细的比较这些方法。 此外，由于位置和航向的漂移，所有所呈现的结果累积了来自实际轨迹的误差。

演示所获得的概述的视频结果可以在[21]中查找。

Ⅴ.进一步发展

从前面的分析可以看出，存在对进一步开发的特定需求，这可以在以下分析中总结。

A.飞行时间限制

微型飞行器的一个主要实际困难是其有限的电池寿命。 换句话说，它们的操作寿命受到限制，因此禁止正确完成要求长期勘探的复杂任务。因此，彻底测试电池寿命以克服其有限的时间操作和最大化它们的效率是至关重要的。从另一个角度来看，更大的电池将需要增加的有效载荷，这将导致更大和更昂贵的UAV解决方案，因此应当研究飞行时间和尺寸之间的交易

B.光源

视觉传感器在环境中需要大量的光以提供精确的结果。此后，应遵循特定的照明策略以保证适当的环境光，而不影响照相机感知环境的方式。该领域的进一步发展包括对不同光源的评估，相应的功率消耗，对有效载荷的影响以及在照明变化下对视觉算法的性能的改进的评估。

C. UAV的有效载荷

微型飞行器对其有效载荷能力有限制。因此，重要的是根据应用选择视觉传感系统并且开发适当的空中平台以将它们集成。因此,对于UAV的最佳和应用特定设计的具体研究是作为未来发展的根本。

D.有自主导航

为了解决电池寿命问题和对有效载荷的相应影响，克服有限的电池寿命的替代方法是系留UAV导航。有线导航需要开发用于电缆管理的特定控制方案，这可以增加操作时间。这样的解决方案将增加电池的寿命，然而它也将引入对飞行的限制，因此应该开发特定的控制方案以克服额外的限制。

E.磁粉尘

磁粉尘常见于铁矿山地区，

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[141033]，资料为PDF文档或Word文档，PDF文档可免费转换为Word