基于高斯混合模型的在线背景去除毕业论文

2020-04-10 04:04

摘要

背景去除作为视频处理中一个重要的基础性研究课题，近年来受到越来越多的关注。本文提出了一种有效的在线背景去除方法，该方法可应用于具有前景和背景变化的实用视频。不同于以往常用的高斯分布或拉普拉斯分布模型，本文用高斯分布的具体混合模型(GMM)对每个帧的前景进行建模，并通过框架对其进行在线更新。特别地，GMM模型在每一帧中都是通过前几帧的前景/背景来计算得到的。这使得在线GMM模型具有很强的鲁棒性、稳定性和自适应的前景和背景变化。该模型可作为一种简洁的概率映射模型，可以很容易地用EM算法求解。然后，进一步将仿射变换算子嵌入到所建议的模型中，该模型可以自动调整以适应各种视频背景变换，使该方法对视频的处理更加稳定。利用子采样技术，可以将所提方法平均速度提高到每秒250帧以上，满足实际视频处理任务的实时背景去除要求。与先进的在线和离线背景下的减影方法相比，在合成和真实视频上的广泛实验证实了所提方法的优越性。

关键词：GMM模型；在线背景去除；混合模型；稳定性

Abstract

Background removal, as an important basic research subject in video treatment, has attracted more and more attention in recent years.This paper presents an effective online background removal method, which can be applied to video with foreground and background changes. Different commonly used gaussian distribution or Laplace distribution model, this paper used gaussian mixture model (GMM) for each frame the prospect of modeling, and through the framework to update online. In particular, the GMM model is calculated from the foreground/background of the previous frames in each frame. This makes the online GMM model have strong robustness, stability and adaptive foreground and background changes. This model can be used as a simple probabilistic mapping model and can be easily solved by EM algorithm. Then, the affine transformation operator is further embedded into the proposed model, which can be automatically adjusted to adapt to various video background transformations, making the method more stable in the treatment of video. By using subsampling technology, the average speed of the proposed method can be increased to more than 250 frames per second, meeting the real-time background removal requirements of the actual video processing task. Compared with the advanced online and offline reduction methods, extensive experiments on synthesis and real video have proved the advantages of the proposed method.

Key Words：GMM model；online background removal；mixture model；stability

第1章绪论 1

1.1 国内外研究现状 1

1.2 发展进程 2

第2章 GMM-LRMF模型原理 4

2.1 GMM模型 4

2.2 GMM-LRMF 4

2.3 在线GMM-LRMF模型 5

2.3.1 概率建模 5

2.3.2 目标函数 6

第3章在线GMM-LRMF背景去除算法设计及实现 10

3.2 基于在线GMM-LRMF背景提取算法流程 10

3.2.1 低秩矩阵分解 10

3.2.2 背景减法 10

3.2.3 在线子空间学习 11

3.2.4 鲁棒子空间对准 11

3.3 在线GMM-LRMF算法实现 12

第4章在线GMM-LRMF的算法改进 15

4.1 二次抽样 15

4.2 适应抖动视频的在线GMM-LRMF改进 15

第5章实验结果及分析 19

5.1 实验环境 19

5.5.1 开发环境 19

5.5.2 数据集 20

5.2 实验结果 20

5.2.1 有相机抖动背景去除结果 20

5.2.2 有相机抖动背景去除结果 22

第6章总结 25

参考文献 26

致谢 27

绪论

1.1 国内外研究现状

视频处理是图像处理和计算机视觉的主要分支之一，它的目标是从真实场景中提取的视频中提取知识。背景去除作为视频处理中一个重要的基础性研究课题，近年来受到越来越多的关注。背景去除的主要目的是将移动的物体前景与视频的背景分离开来，这使得后续的视频处理任务变得更加简单和高效背景去除顾名思义就是对图像或者视频进行处理，已达到去除其背景的目的，背景指的是一种场景中相对静止的景物。在视频中，背景往往有着其固定的背景值，背景去除的主要目标便是根据视频图像的像素变化，确定出每个像素点的背景值，然后达到去除背景的目的。为此，国内外的研究人员提出许多方法，例如，1.利用最近 n 帧的中值作为背景模型，但该方法的前景会污染背景，无法做到完全分离去除；2.对每个像素构建一个模型，使得能适应视频场景中的阴暗情况，但是它不能很好地处理多种背景的情况；3.直接对像素进行高斯建模；4.在此基础上用K 个高斯混合模型(Gaussian Mixture Model, GMM)对视频进行建模，解决了像素的多峰分布的问题，克服了众多环境因素造成的影响。但它仍存在如下缺点：

(1)现有的混合高斯背景建模方法固定高斯分布的个数，通常3个~ 5个。在这种思想中，它的每个高斯模型对应着视频中场景的一个状态，但是，并不是所有的视频都需要用到如此多的高斯分布，所以，容易照成系统资源的大量浪费。

(2)现有的混合高斯背景建模算法更新速度过慢，不能实时的反应实际背景的变化，例如当静止的物体缓慢运动时会不断移出背景，检测结果就会出现“鬼影”或者拖影。

5.在混合高斯模型的基础上采用分层的思想，比较输入像素与两层背景模型的分布关系来消除“鬼影”，但是该算法存在参数比较多不易控制的缺点。6.使用粒子滤波反馈的目标运动信息来指导混合高斯背景建模，但是粒子滤波算法时间复杂度比较高，所以该算法比较耗时。由此看来，如今国内外所用的背景减法算法都存在这样或者那样的问题。为此本文提出了GMM模型。

对于这些方法本文提出的方法有着如下的优势：

首先，本文提出的方法是将每个视频帧的噪声/前景作为高斯分布(GMM)的单独混合，并将其作为一个单独的混合高斯分布(GMM)，而不是使用固定的噪声分布。这样的处理可以被等价地重新定义为对之前的共轭，为当前帧的GMM噪声编码了之前得到的噪声信息。由于GMM在广泛分布上具有良好的逼近能力，即使视频噪声具有动态复杂结构，该方法也能很好地适应视频前景的变化。

其次，我们的算法中涉及了仿射变换。将每个视频帧的信息输入到所提出的模型中，该模型可以从时间上自动拟合。这种改进使我们的方法能够适应各种各样的视频背景转换，比如平移、旋转、缩放和任何组合，通过适当地调整视频背景，使它们以在线的方式在低级别的子空间中生存。与以往的方法相比，该方法可以在动态相机抖动的视频中表现出明显的鲁棒性。

第三，将子采样技术嵌入到计算中，进一步提高了模型的效率。利用该策略，可以使所提方法（在Matlab平台上)平均每秒钟执行250帧以上，同时在精度上保持良好的性能，满足实际视频处理任务的实时要求。此外，由于GMM噪声建模方法，分离的前景层总是可以被解释为具有一定的物理意义，这有助于我们在视频前景下获得更多的内在知识。

第四，我们的方法可以很容易地扩展到其他子空间对齐任务，如图像对齐和视频稳定应用。这就意味着提出的方法具有良好的普遍性。

1.2 发展进程

最初提出的背景去除的策略是通过一些简单的统计方法直接区分背景像素，比如中值(均值)模型和一些柱状图模型。之后，更详细的统计模型，如GMM^[2],[3]和GMMG^[7]模型被提出，以更好地交付位于背景中的图像像素的分布。然而，这些方法忽略了非常有用的视频结构知识，比如背景场景的时间相似性和前景对象的空间连续性，因此在复杂的场景下总是不能保证良好的性能。近几十年来，低阶子空间学习模型代表了一种新的趋势，并在前景和背景上更好地考虑了视频结构的知识优势，从而实现了这一任务的最先进的性能。特别是，这些方法假定了一个合理的视频背景的低秩结构，它会随着时间的推移，对视频背景的相似性进行编码，并且在大多数情况下都考虑到有用的前地面结构，比如稀疏性和空间连续性。

虽然在某些视频中使用固定长度的视频是有效的，但是在实际的视频处理应用程序中仍然存在着使用离线方法的缺陷。具体地说，从遍布世界各地的测量照相机，我们就可以知道现在的视频数量正急剧增加。这不仅使得计算大量视频的背景减法至关重要，而且迫切需要构建实时技术来处理不断出现的视频。在线子空间学习已经成为缓解这一效率问题的一个重要问题。随后，多种背景减法的在线方法被设计出来，通过渐进式处理，逐步更新视频背景下的低秩结构。这样的在线改进大大加快了任务的计算速度，并使其能够有效地实时处理任务。然而，这些在线背景下的减法技术在应用于真实视频时仍然存在明显的缺陷。一方面，大多数当前的方法假设一个低等级的视频背景结构，而忽略了频繁发生的相机抖动，如平移、旋转、缩放和光/阴影变化，跨越视频序列。由于摄像机状态切换或环境的变化，这些问题总是会在以后的生活中发生，并且会破坏传统的低等级的视频背景假设。实际上，由轻微的平移/旋转/缩放每一幅图像所形成的图像序列，始终没有低秩的问题。因此，在这种背景变化的情况下，这些方法的性能往往会明显退化，这对于使在线学习能够适应这种相机抖动是至关重要的。

GMM-LRMF模型原理

2.1 GMM模型

GMM全称为高斯混合模型，所谓高斯模型就是将某个事物用高斯概率密度函数（服从正态分布）去精确地量化，也可以理解为将一个事物分解为一个个基于高斯概率密度函数（服从正态分布）的小事物，这种模型就被称为高斯模型。而混合高斯模型则是通过使用N（一般为3~5）个高斯模型来表示视频中各个像素点的特征,根据视频的帧来不断更新高斯混合模型,当新一帧的图像出现后，用出现的图像中的每个像素点与混合高斯模型进行匹配,如果匹配成功则认为该点属于背景点, 如果不成功则认为其属于前景点，以此来达到背景提取的目的。高斯模型的大部分性质主要是由方差和均值两个参数决定，采取不同的计算机制对其均值和方差进行计算,将直接影响到模型的稳定性、精确性和收敛性。为提高模型的适应能力,均值和方差需要采用不同的更新方式；另外，为了进一步适应环境的变化，提高模型的检测精度,高斯模型又引入了权值均值的概念，在背景提取前，首先运用算法建立视频图像序列，然后结合权值、权值均值和背景图像对像素点进行前景和背景的分类。