英语原文共 8 页，剩余内容已隐藏，支付完成后下载完整资料

图像修复

明尼苏达大学电子和计算机工程Marcelo Bertalmio和Guillermo Sapiro

庞培法布拉大学工学院Vicent Caselles和Coloma Ballester.

摘要

图像修复，在检测不到的情况下修改图像的技术，其本身是和艺术一样古老的。修复的目标和应用有很多，修复受损的图片和对照片所选对象的删除、替换等。在本文中，我们介绍了一种对静态图像的新的数字图像修复算法，试图重复基本的方法通过专业的修复器。在用户选择的要恢复的区域之后，该算法自动用周围的信息填充这些区域。在等照度线到区域边界之间进行填充。与以前的方法相比，这里介绍的技术不需要用户指定新的图像信息。这是自动完成的（用一种快速的方式），从而允许同时填写与众多区域和周围背景完全不同的结构。而且，没有限制强加于该区域的拓扑用来填补。这种技术的应用包括恢复旧照片和损坏的电影；去除图像上文字的叠加如日期、字幕或宣传；去除噪声对整个图像的影响。

CR 类别：1.3.3 [计算机图形学]:图片/图像生成----；1.3.4 [计算机图形学]：图形工具----；1.4.4 [图像处理和计算机视觉]:恢复----；1.4.9 [图像处理和计算机视觉]：应用----；

关键词：图像修复，算法，等值线，各向异性扩散

1 引言

对未知原始图像的修改是一种艺术创作本身的实践。早在文艺复兴时期中世纪艺术品就开始恢复，其动机往往是尽可能多的把中世纪的图片“更新”以填补空白[1,2]，这种做法被称为修饰或修补。修复的目的是恢复丢失或损坏的部分的图像，以使其更清晰，更完整[2]。

图像润色的需求以一种不起眼的方式从绘画自然延伸到摄影和电影。目的都是相同的：

恢复图片的原始性（如：照片上的裂缝和电影中的划痕和灰尘点），或者添加或删除元素（如：移除加盖日期和红眼照片，令人厌恶的敌人“涂鸦”）。

从对电影试图全自动检测和去除划痕，数字技术也作为一种修复的方式也开始被普遍的执行[4,5],所有的软件工具，允许一个复杂的，但大多是手工处理的方法[6]。

本文介绍了一种新型自动数字图像修复算法，其主要原理是重复专业修复器所使用的基本技术。至此，这里介绍的算法只需要用户标记要修复的区域。虽然一些技术存在半自动检测图像的缺陷（主要是在电影），但是解决这个问题是超出了本文的范围。此外，这里提出的修复算法不仅可以用于恢复受损的照片，也还可以删除照片上不需要的物体和文字，要修复的区域也必须由用户依靠自己的主观选择进行标记。这里我们关心的是如何“填补”一个被在要修复的图像中选中的区域。被标记的区域将自动填充其周围的结构，方法在本文后面将解释。

2 相关的工作和我们的贡献

我们首先要注意，经典的图像去噪算法不适用于图像修复。在常见的图像增强的应用中，像素包含真实的数据信息和噪声（如：图像加噪声为加性噪声）。而在图像修复中，没有重要的信息在被填补区域，信息主要集中在待修复区域的周边区域，因此有必要制定具体的技术来解决这些问题。

主要的三种技术可以在数字图像修复的相关文献发现，第一种技术涉及电影的恢复；第二种与纹理合成有关；第三种，虽然是一个明显减少的关于图像修复的研究类型，但是对于这里介绍的内容很有影响力。

Kokaram et al.[5]使用动态预测和自回归模型从相邻帧插入损失的影像，其基本思想是复制间隙相邻帧的正确的像素。这种技术不能应用于图像或电影静止的地方，以及要修复的区域跨越多个帧的情况。

Hirani和Totsuka结合频率和空间域信息用一个选定的纹理来填充一个给定的区域，这是一个非常简单的技术，但是产生了令人难以置信的良好效果。另一方面,该算法主要处理纹理合成(而不是结构化的背景),并要求用户选择纹理复制到要被填补的区域。对于需要更换覆盖几个不同的结构的图像，用户需要经历的巨大的细分工作和在图片中搜索相应的替换元素。虽然这个搜索的一部分可以自动完成,但是这是非常耗时的，并且需要很多重要的参数，如[8]。其他纹理合成算法，如[8,9,10]，可用一个预先选择的纹理来重建填补要修复的（方形）区域。

在恢复算法中，一个开创性的算法是[11]。作者提出了一个用图像分割的方法去除遮挡物的技术(，其基本思想是在相同的灰度连接T形交叉弹力最小化曲线。该技术主要是开发了几个对象具有恒定的灰度级的简单的图像，并且不适用于在本文中提出的自然图像的例子。Masnou和Morel[12]最近拓展了这些想法,呈现了对图像修复的一个非常鼓舞人心的一般变分公式和一种特殊的实用算法（不完全基于PDE）以及实施这一想法的一些想法。该算法实现通过连接要修复区域的边界上测地线（相同的灰度值线）的等照度线的点。正如作者所说，待修复的区域被限制为具有简单结构的拓扑，例如，孔是不允许的(。此外，水平线到达的修复区域的边界的角度是不保存的：该算法使用直线链接相等的像素灰度值。这些缺点,本文稍后将例证,通过我们的算法来解决。另一方面，我们应该记住这是离我们最近的有作用的技术，并以此激励我们的工作。

2.1 我们的贡献

为电影图像的恢复设计的算法是不适合我们的应用的，因为它们通常工作在相对较小的区域并且依赖于许多帧信息的存在。

另一方面，基于纹理合成的算法可以填充大区域，但需要用户指定什么纹理来放置到什么位置。这些方法有一个很大的限制，可以在本文后面的例子看出，其中，要修复的数百个不同的背景所包围的区域中，其中的一些的结构和是非纹理的。

一旦要修复的区域被选定，我们提出的方法不需要任何用户操作。该算法能同时填补被不同背景的区域，无需用户指定“什么放在哪里。”而不需要假设要修复区域的拓扑结构或者是简单的图像。该算法是用来修复结构化的区域（如：穿越边界的区域），尽管它不是为复制大的纹理区域而设计的。正如我们之后将讨论的，我们所提出的方法与纹理合成技术的结合是当前研究的主题。

3.数字图像修复算法

3.1 原理

用Omega;表示要修复的区域，表示其边界（再次说明，没有关于Omega;的拓扑结构的假设）。直观地说，我们提出的技术将延长等照度线到，同时保持延长的角度。我们以这种方式从内部入手，同时将延长线弯曲，以防止它们相交。

在详细介绍这一技术之前，让我们看看专家的看法。在明尼阿波利斯艺术学院的专家对这项工作进行了讨论，并且清楚地向我们表明，修复是一个非常主观的过程，对于不同的每一个艺术作品有不同的修复方法。这里没有具体的方式来解决这个问题，但基本的方法如下：（1）全局的情况决定了如何修补缺口，修复的目的是使其保持统一；（2）区域Omega;周围的结构要延续到缺口处，等值线的绘制通过延长到达；（3）等值线定义的Omega;内不同的区域填充与相对应的颜色；（4）对于细节的着色（如：蓝色上的一个小白点），换句话说，要有质感。

有很多课程可以学习到由专业人员使用的修复图像基本规则。我们的算法同时、重复的执行了上述的步骤（2）和（3）④。我们以一种平稳的方式，通过减小延伸线到达边界的距离，逐步“收缩”缺口。

3.2 图像修复算法

我们需要把上面手动修复的概念表达为数学语言和算法语言，现在我们这样做,首先介绍基本概念，实现的细节在下一节中给出。

和是一个离散的二维灰度图像，手册描述的修复技术,迭代算法似乎是一个正常的选择，数字图像修复程序将建立一系列的图像如：和，是该算法的输出（效果图）。任何形式的一般算法都可以写成：

（1）

指数n表示修复的次数，是像素坐标，是改善率，表示更新后的图像。注意该公式只能在要修复的区域Omega;里使用。

在这个公式中，图像是的一个改进版本，随着n的增加，我们会获得更好的图像。现在我们需要想办法更新。

通过手工修复技术的建议，我们需要继续使等值线到达要修复区域Omega;的边界上（见3.1节（2））。换句话说，我们需要顺利地将信息由区域Omega;外部传入区域Omega;内部（见3.1节（2）和（3）。是我们要传入的信息，是传入的方向，这这意味着我们必须有：

（2）

图1 到区域Omega;的边界的正确传播方向 图2 错误的信息传播方向 左：原始图像的细节，要修复的区域为白色 右：恢复

表示的变化量⑤。在这个方程中，我们预测图像信息并且计算它在方向上的变化量。请注意，在稳定状态下，当算法收敛时，并且从（1）和（2）我们知道，，意思就是说，信息一直在方向上传播。

现在剩下的是要表达信息L及其传播的方向。

由于我们希望传播是顺利的，应该是图像的平滑估计。为达到这个目的，我们可以用一个简单的拉普拉斯离散算法（在这里下标表示导数）。其他平滑估计也可能被使用，虽然这种非常简单的选择已经取得了满意的结果。

然后，我们必须通过计算的变化量的值。为了这样做，我们必须首先定义二维信息的传播方向。定义的一个可能性是将其作为到区域边界的符号距离，即在区域Omega;的每个点，矢量会是的“缩小版的”区域边界，参见图1。做出这种定义是出于到边界的标准的传输会产生连续的等照度线。相反，为了符合，到达区域边界的曲线出了问题，参见图2，这当然不是我们所期待的。注意，区域边界的定位并不是几何图像的本质，因为图像修复的区域是任意的。

如果等照度线与一致，那么最好选择是与等照度线同方向。这是一个引导问题：有Omega;内部的照度线方向相当于可以修复图像本身，因为我们可以很容易地恢复灰度图像通过等照度线方向场（见讨论区和[13]）。

我们这里使用一个随时间变化的的等照度线方向场：对于任意给定的点，离散梯度向量给出了最大空间的变化方向，而它的90度旋转是最小空间的变化方向，所以给出了等照度线方向，由随时间变化的得出方向场。我们使用一个随时间变化的估计，在开始时是粗鄙的但是逐步实现了在的理想的连续，而不是一个固定的矢量这意味着需要从一开始就知道等照度线的方向。

注意方向场是不规范的，它的标准是的梯度。这个选择有助于该算法的数值稳定性，并将在下面的小节中讨论。

因为我们正在进行修复等照度线，不管是以顺时针或逆时针方向旋转获得都是是无关紧要的。在这两种情况下，沿着这些方向的变化应该是最小的。

回顾一下，在我们给出的例子中，我们用二维拉普拉斯离散估计了平滑度的变化，等照度线方向变化。这个设计用来更新被修复图像区域内的值。

为确保正确的方向场的演变，前文一个扩散的和图像修复交织在一起的过程被描述出来。即每几步（见下文），我们应用了几次迭代的图像扩散。这种扩散用于周期性的曲线，以避免它们彼此交叉，就像在3.1节中提到过的那样。为了实现这一目标而不失去清晰度的重建,我们使用了各向异性扩散[14,15]。特别地，我们采用了一个简单的离散化连续时间/连续空间各向异性扩散方程：

（3）

是以球半径的扩张，是等照度线的欧几里德曲线，是的光滑函数，使得=0在，=1在Omega;（这是对方程施加的狄里克雷边界条件（3））。

3.3 离散格式和实现细节

我们的算法的输入是要修复的图像和要修复区域的信息。作为一个预处理步，对整个原始图像进行各向异性扩散平滑。这样做的目的是为了减少噪声对等照度线到达区域边界方向的估计的影响。在这之后，图像进入只有在区域Omega;里的值被修改的修复环。这些值的变化根据我们之后描述的修补程序的离散实现。每一个迭代，应用于各向异性扩散的每一步（一个简单的、中心的差异化的实施（3）已使用；对于细节参见[ 14，15 ]），这个过程是重复的，直到达到稳定状态。

用表示在区域Omega;内在修复“时间”每一个图像像素。然后，图像修复的离散方程借用了数值分析的文献，并给出

（4）

其中

， （5）

， （6）

， （7）

， （8）

， （9）

和 （10）

我们首先在（7）计算二维平滑估计和（8）计算等照度线方向；然后在（9）计算，在矢量上的投影（标准化），即我们沿着计算；最后，在（10）我们用斜率限制器的图像梯度的范数乘以⑧。用斜率限制器的原因是因为一个中心差异的实现将使计划不稳定。分指数b和f表示向前和向后的差异,而分指数m和M表示的最大值或最小值,分别处在导数和零之间（为方便起见，我们省略了空间坐标），详情见[16]。最后，让我们注意到，一个非统一的场而不是一个标准化的版本的选择允许一个更简单，更稳定的数值方案，详情见[17,18]。

再次注意，当修复算法达到稳定状态，即时，我们已经几何上的解决了（平滑度）。，意味着“平滑度”是沿着等照度线常数⑨。

当对于在要修复区域Omega;的边界的像素的应用方程（4）-（10），使用已知像素以外的区域。从概念上说

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[152363]，资料为PDF文档或Word文档，PDF文档可免费转换为Word