基于Faster R-CNN深度学习的航拍车辆船舶的识别和跟踪毕业论文

2020-02-19 07:02

摘要

本文的研究目的是使用MATLAB软件编写的算法实现了对一系列城市的航拍图片中的主干道上的某辆选定车辆进行持续性的定位与跟踪，其中主要采用的是特征匹配算法对目标车辆实现准确且持续的跟踪。

该论文主要研究的是特征匹配中的MSER算法所提取的车辆的局部特征并依靠这些提取出来的特征在同一个航拍区域的不同帧中匹配到同一辆车以实现对一系列航拍图像中车辆的跟踪。为了实现对目标的持续跟踪并且有较高的精度，我作了如下的工作。

在研究过程中，我们发现单一的使用MSER特征并不能实现高精度的跟踪，在编写过程中我们提取了MSER与SURF两种图像特征在不同帧中进行匹配，以实现高准确度的跟踪。在成功进行双特征的跟踪匹配后，我们可以得到结论：比起单一特征的匹配跟踪，双特征的匹配具有更高的跟踪精度。

关键词：MSER；特征匹配；MATLAB；目标跟踪

Abstract

This article USES the MATLAB software to write the algorithm implementation of a series of urban aerial images in the main street of the sustainability of some selected vehicles positioning and tracking, which mainly adopts the feature matching algorithm for target vehicles to realize accurate and continuous tracing the thesis mainly studies the MSER of feature matching algorithm to extract the local characteristics of the vehicle and relying on the extracted features in the same area of aerial matching to the same car in different frames in order to realize a series of images of vehicle tracking In the research process, we found that the single use of MSER features could not achieve high-precision tracking. In the compilation process, we extracted two image features of MSER and SURF to match in different frames to achieve high-accuracy tracking.After successful tracking and matching with double features, we can conclude that the matching with double features has higher tracking accuracy than the matching with single features

Key Words：MATLAB；mser；feature matching；Target tracking

第1章绪论 6

1.1 课题的意义与背景 6

1.2 利用图像特征对航拍图像进行跟踪的目的与主体思路 7

1.2.1 跟踪的目的 7

1.2.2 实现航拍车辆跟踪的主体思路 7

1.3图像跟踪技术的研究现状与趋势 8

1.4 本文的主要内容 8

第2章对系列航拍图像中进行跟踪的主体思路 9

2.1 航拍图像的特征与描述 9

图2.1 航拍图像局部 9

2.2 图像数据的预处理 10

图2.2 预处理的数据 10

2.3 目标跟踪算法的种类与比较 11

2.4 车辆特征的提取 11

2.4.1 MSER算法的相关信息 12

图2.3 灰度图[2] 12

2.4.2 SURF算法的相关信息 13

2.4.3 车辆特征的提取 14

图2.5 目标车辆图片 15

第 3 章航拍车辆跟踪系统的仿真 17

3.1 利用特征匹配算法实现跟踪的基本流程 17

1. 提取目标特征点 17

2. 特征描述 17

3. 遍历下一帧 17

4. 将特征点相匹配 17

图3.1 流程图 17

3.2 在matlab下的车辆跟踪系统的实现 17

3.2.1 素材的预处理 18

3.2.2 特征的提取 18

3.2.3 特征的匹配 19

3.3 仿真结果 19

图3.2 灰度化后图像 19

图3.3 目标车辆的特征 20

3.4 数据处理 21

1. 仅用MSER算法进行跟踪时 21

2. 仅用SURF算法进行跟踪时 21

3. 当同时参考了MSER与SURF算法进行跟踪时 21

结论与展望 22

参考文献 23

致谢 24

第1章绪论

1. 课题的意义与背景

广义上来说，图像的定义是一种对物体或者事物的类似并且信息非常丰富的的投射或者说是描述，通常来说图像是纸面，照片或者数字媒介所承载的信息。对于我们来说是日常生活，社会活动乃至科研领域都常用且有效的信息载体。我们每日所接收到的信息据调查统计，有四分之三的数据来自于视觉，可以说是我们人类最主要的信息来源。因此，对于图像所承载信息的处理与利用是有很大的价值与发展潜力^[1]。

我们的世界是三维而立体的世界，而拍摄出来的图像却是二维且平面的，将三维的时空投射到一副图像上，虽说照片是现实的完全反馈，但它所包含的信息必将有所丢失或者说是失真，而我们通过一些手段将图片进行复原，重建，对图片中所需的信息进行处理与分析，来达到对图像原本场景最真实的认识，随着计算机的出现与计算力的大大提高，能做到每秒数十万至数亿次的计算，能够对图像进行像素级别的分析计算，让我们通过工具对图像信息的分析能力有了巨大的飞跃，这便是近现代所发展出来的图像处理学科。通常来说，现在所发展的图像处理学科一般是利用计算机对数字图像进行处理，而不是模拟图像。而数字图像按特征可以分为四种基本类型，我国的物联网校企联盟早已提出本学科是其非常重要的发展工具^[14]。

人们对于图像信息的近现代利用可以追溯到非常久以前，早在19世纪20年代第一张照片拍摄出来的时候，可以说就开始萌芽并逐步发展了。但当时的照片是非常模糊且没有色彩的，且分析工具的局限性，因此很难有高效的使用。在没有信息化的时代，人们通过肉眼来提取图片中需要的信息，而在需要大量处理的图片信息时，这是非常繁琐且容易出现错误。随着时代的进步，数字化信息化的普及，通过计算机或其他方式将各种方式拍摄的数字化，信息化的图像进行高效，高精度，高准确性的识别与处理。上世纪中叶，世界上计算机的计算力等硬件实力已从问世以来已经有了非常大的进步，这让图像分析有了一个很大程度的飞跃发展，当时图像分析主要是为了让拍摄出来的图像更加清晰，稳定，使有抖动，模糊等现象的图像更接近于真实事物。

在冷战时期，美苏的太空竞赛中，图像处理这门学科在美国大放异彩，想要了解月球表面的真实情况，最好莫过于发射卫星到太空中拍摄照片传回到地面，但太空环境是非常恶劣的，并且由于机械设备运动中固然存在的抖动与相机的性能，传回来的图像总是模糊抖动，不能让准备登月的研究中心准确的判断月表的情况做好准备，这时候图像处理的作用便体现出来了，能通过一系列手段还原最真实的图像呈现给人们看。而发展到现在，图像分析已经在民生，科研，军事等领域都有了很大的发展

图像的定位与跟踪在图像处理中有着非常重要的地位，它也广泛的应用于各个领域。比如在交通领域，通过卫星或航拍无人机的广域拍摄，将一个十字路口乃至一个城区的车流汇于图中，我们要跟踪一辆车以此判断它的行驶情况，这就需要到图像跟踪的技术，在一帧的图像中对上百辆甚至更多的车辆，对一辆车进行准确的抓取并在下一帧中找到它的位置。又或者是在在生物领域，对显微镜所观察的一系列图片中观测一个或一个类型的细胞进行短/长期的跟踪，这也需要用图像跟踪里最新的卷积神经网络技术。

综上所述，图像处理与图像跟踪不可谓不重要，大到登月小到细胞，都需要这门学科发展与支持。我从车辆的航拍图像入手，对图像跟踪的算法进行课题的研究与设计。

1.2 利用图像特征对航拍图像进行跟踪的目的与主体思路

1.2.1 跟踪的目的

想要想监视一个城市的交通情况，我们需要用航拍机，卫星等拍摄手段将城市的车辆全都收纳在图像中，当我们需要特定判断城市中某辆车的行驶情况时，我们需要在车海中对其进行准确的定位，并在一帧帧图像中对其进行持续的跟踪。以此类推到每辆车，便能对每辆车的行驶情况（是否超速，是否违规等）进行即时的跟踪。

1.2.2 实现航拍车辆跟踪的主体思路

图像跟踪技术发展到现在，已经有了非常多的方式在图像中进行跟踪，其中比较传统的方法有：CamShift，卡尔曼滤波算法，粒子滤波算法，特征匹配算法。其中Camshift算法比较适用用于背景简单的，不擅长目标快速运动的跟踪，而卡尔曼滤波只适用于线性系统，粒子滤波过于复杂，时效性差。而特征匹配算法是提取目标的局部特征进行特征的匹配，车辆本身不会形变，而航拍图像的背景也稳定且短时间内无太大变化。这对于基于航拍图像的车辆有非常良好的匹配性，因此我选用特征匹配算法对航拍车辆进行跟踪。

特征匹配算法主要有MSER，KAZE，SURF等特征，这些特征算法均对目标特征有着不同的适配效果，例如SURF在背景解除后，对车辆也行进行很好的匹配，MSER所提取的特征虽然多，但其需要背景较为丰富的情况下进行匹配，不能很好的进行背景解除，在仅用单一特征匹配算法时，皆不能对目标进行精度很高的跟踪，因此我选择结合SURF与MSER算法，对车辆进行特征的提取。

利用算法对图像中的车辆进行特征提取，我选择使用MATLAB编写程序，MATLAB的库中有现成的特征匹配函数能进行利用。首先录入我所需要跟踪的一系列图像（一个每秒一帧，长度为30秒的图片流），将其处理后，对所需要跟踪的车辆在第一幅图中进行定位并利用算法对车辆的特征进行提取，并利用循环对其与之后的图像依次进行匹配，以在每帧图像中都能准确定位到我们跟踪的这辆车，并将两帧之间所匹配到的特征标注出来关联到一起，这样处理完30幅图像，我们便能成功在这系列图像中跟踪我们需要跟踪的车辆。

1.3图像跟踪技术的研究现状与趋势

特征匹配算法，卡尔曼滤波等都是已经发展了很久的算法了，比较成熟，但是随着时代的发展，在计算机的计算量愈发提高的情况下，现图像跟踪的主要研究方向已经转向了卷积神经网络，它是一种利用卷积计算并具有深度结构的前馈神经网络，是深度学习的代表之一，卷积神经网络有着学习的能力，能够按照结构对输入的信息进行平移不变分类。

最开始的研究起源于20世纪80年代，时间延迟网络LeNet-5是最早的卷积神经网络，在如今21世纪，随着深度学习理论的提出与计算机的计算量大幅度的提升，卷积神经网络有了质的飞跃，可以成功的应用在图像处理的领域，而深度学习与神经网络也将是图像跟踪的大趋势。

而本文所研究航拍图像中对车辆跟踪，交通监视方面，在很早以前便有了需求，而随着信息化时代的到来，我们的交通监视能力大大的提高了，每个街道都有无数个摄像头对交通情况，车流，每一辆车的行驶情况有了一个时效性强，稳定度高的监控，这都是由于硬件的发展，以及伴生出的跟踪技术的提升所实现的，我们现在所常用的交通监视的方式主要有两种，一种是通过摄像头，将每一辆车纳入眼底，人工进行监控，这在城市规模小，车辆不多时，是一个比较低成本又算是简单的监控方式，而随着城市化程度的加深，我们的城市比过去扩大了许多倍，而汽车的普及度也变得更好，这时，再使用人工进行监控，不仅消耗的人力多，而且精度等，也非常的堪忧，这时我们使用我们所发展出来的各种跟踪技术（例如特征匹配跟踪，深度学习-卷积神经网络等）进行数字化的对每辆车进行跟踪并监视交通情况。

1.4 本文的主要内容

本文的第一章主要介绍了图像处理的发展历史与现状，航拍车辆的跟踪的研究的目的与意义，还有如何实现对目标车辆跟踪的主要思路。

第2章对系列航拍图像中进行跟踪的主体思路

2.1 航拍图像的特征与描述

航拍是从空中俯下拍摄地面的情况，其在空中拍摄能够获得很好的视野条件来表现出地面中的情况，特别是在高楼林立，道路复杂的情况下，航拍能够获得足够的信息。因此我们要在城市中跟踪各个选定车辆的行驶情况，利用航拍图像可以很好的完成任务。在本文中，我们对车辆进行跟踪的航拍图像，是一系列以城市十字路口为焦点，与路面完全平行，范围覆盖了数百公里的图像，这副图像是无人机在城市上空不同的点拍摄了一系列不同区域的图像，最后完成拼接所形成，所以它在每张图的拼接处有一定断层现象，因此在准备素材时，这些图片通过图像处理技术，进行了拼接，修复等操作。最后我们得到的素材是一组（30张）间隔为一秒的图片流，我们需要在每幅图中定位到选中的车辆并对它进行30次成功的匹配以实现跟踪的目的，由于与路面完全平行，这样车辆在即使行驶或者转弯，它在图像的高度上也没有变化，只有水平上的移动，这就使我们在跟踪时少了一个维度的计算需要，大大减少了跟踪难度。具体如下图所示。

图2.1 航拍图像局部

2.2 图像数据的预处理

在2.1中介绍过，我们所采用的是一组以十字路口为中心的航拍图像，其以转盘为中心，四条公路分布在上下左右。大约有200余辆车在4条道路上行驶，为了能够对我们设计好的系统有一个准确的对比来确定我所制作系统的性能，我对30幅图，主干道上的每一辆车进行了标注，大致信息如下图图所示

图2.2 预处理的数据

其中ID为每一辆车的需要，我按照第一幅图中从上至下，从左至右的顺序，对这些车辆分别进行了标注。TIME为所拍摄的时间，我所选取的素材时间是从16：46：30-16：46：59。X,Y是这些车辆在某幅图中所在的坐标，OCCLUSION有none/full/partial三种，分别代表车辆没有被遮挡，被完全遮挡，半遮挡三种情况，在所选素材中，大部分遮挡基本都是被树荫所遮挡，当车辆行驶到树荫底下时，由于光影不足，基本上会出现目标丢失的情况，这无法通过特征匹配算法进行匹配，因此要进行特别的标注。CONTRAST是车辆与背景的对比度，High代表对比很明显，Low代表对比不明显，同OCCLUSION，那些与背景色类似的车辆，在一些利用色度的特征提取算法中，也很难进行很好的跟踪，需要特别标注。SHADOW指车辆与其阴影的对比，分为none/small/medium/large四种情况，阴影也可以归类到车辆的特征中，需要注意的是，车辆的阴影大小与两个因素有关，第一个是车辆本身的大小，根据统计，车道上行驶的大部分是四座小轿车，小部分是大型载货车或其他，第二个是车身与太阳的朝向有关，这个是影响阴影大小的主要因素，从图中很简单的可以看出，这个因素主要是与朝向有关，因此一辆车在一条道路上行驶时，它的影子大小不会出现变化（除非出现遮挡），而它进行转向时，它的影子会发现大小与形状上的变化。其他两个都是Moving与M（是否移动/是否手动提取），对本次课题没有影响。将这些车辆的状态统计入表格，最后与所仿真的结果进行对比，便能看出算法的精度。

2.3 目标跟踪算法的种类与比较

目前比较前沿目标跟踪算法是采用深度学习的卷积神经网络来进行目标的跟踪，在2006年深度学习算法被提出后，它也被成功的应用到目标跟踪领域，卷积神经网络便是它的发展之一。顾名思义，深度学习，学习通常是生物才拥有的行为，而卷积神经网络则是模拟了人类的学习过程，从大量数据中自我学习到相关的特征。

除此之外，还有许多传统的，发展了很久的目标跟踪算法，例如CamShift算法/卡尔曼滤波算法/粒子滤波算法/特征匹配算法等，其中Camshift的基本思想是通过目标这一帧的色彩的概率分布来判断出它在下一帧的坐标和形状大小，通过逐帧的计算来达到目标跟踪的效果，它的优点是逻辑简单，计算结构也不复杂；卡尔曼滤波是在设想跟踪目标的速度与加速度是不变的，来预测它在下一帧的位置，很显然，虽然它对会被遮挡问题的鲁棒性强，但它只能适用于近线性/线性的系统。粒子滤波是指利用随机样本来描述概率分布，通过调节随机样本的权值和位置来实现近概率分布，系统的估计值是样本的平均值，这种算法可以很好适用于非线性系统，但它的计算量非常大，因此时效性较差。而特征匹配算法（即本文采用的方法）则是通过对目标的局部特征，进行提取，然后在不同帧中对其进行匹配，以此确定它在下一帧中的位置，来实现目标跟踪。这种算法对我们选择目标的特征的尺度/旋转/光照变化具有不变性，大致有MSER，SURF，BRISK，FREAK这几种类型。

本文要进行的是实现对航拍车辆的跟踪，由于车辆的形状大小等在正常情况下都是不变的，因此我们选用特征提取算法，便能很好的完成任务。

2.4 车辆特征的提取

我主要使用特征提取算法中的MSER算法对车辆特征进行提取，辅以SURF特征。

2.4.1 MSER算法的相关信息

MSER，即Maximally Stable Extremal Regions，它引入了一组新的DR，即所谓的极值区域。极值区域具有两个理想的属性，首先在图像坐标的连续一对一变换下闭合（且因此而透视），其次，在图像强度的单调变换下闭合。

MSER在数学上的描述如下：

设一个图像为映射，极值区域在图像上的定义是：

S是全序的，例如存在满足自反性，反对称性和传递性的二元关系“小于等于”，由于我们所处理的是数字图像，因此在算法中仅考虑S={0,1,2,...,255}，但是实际上极值区域是可以被定义在S=R，即整个实值图像上的。
邻域关系的定义为,这里只用到了4邻域，例如是相邻的，那么当且仅当满足的时候它们才是邻域关系。区域Q是D的连续子集，例如，对每个这里存在一个序列，并且这个性质表示区域Q为单连通的。