Fast Haze Removal for Nighttime

abstract

在本文中，我们解决了单个夜间图像中的雾霾去除问题，即使存在杂色和非均匀照明。核心思想在于先前的新型最大反射率。我们首先介绍夜间朦胧成像模型，其中包括直接衰减项和散射项中的局部环境照明项目。然后，我们提出一个简单但有效的图像先验，最大反射先验，以估计变化的环境照明。最大反射率先验基于关键观察：对于大多数白天无雾图像块，每个颜色通道在某些像素处具有非常高的强度。对于夜间雾度图像，每个颜色通道的局部最大强度主要由环境照明贡献。因此，我们可以直接估计环境照度和透射图，从而恢复高质量的雾状图像。各种夜间图像的实验结果证明了所提出方法的有效性。特别是，我们的方法具有计算效率的优势，比现有技术方法快10-100倍。

1. Introduction

恢复模糊图像对于户外场景的许多计算机视觉应用是重要的。 由于漂浮在空气中的微小颗粒吸收并散射大气中的光，因此朦胧图像遭受显着的可见性降低，表现在两个方面：直接反射光的衰减和散射环境光的累积。 模糊图像的劣化随着场景点和相机之间的距离而增加，其中反射光的幅度减小并且环境光的幅度增加。 米德尔顿的模型[21]将朦胧成像过程描述为直接衰减项和散射项的线性组合。 基于该模型，已经提出了许多方法来从单个图像中去除雾度。 这些方法的关键思想依赖于各种图像先验，例如，颜色衰减[30]，暗通道[10]和雾度线[3]。
虽然在处理白天雾霾时已经证明了这些方法的有效性，但也有应用这些方法时，晚上的模糊图像有很大的局限性。主要原因是白天朦胧的成像模型和先验不适合大多数夜间朦胧的场景。白天模糊成像模型假设环境光照是全局一致的。因此，大多数去雾方法估计来自图像中最亮区域的白色环境光。然而，夜间场景通常具有多个彩色人造光源，例如，路灯，霓虹灯和汽车灯，导致强烈不均匀和杂色的环境照明。这不仅使环境光的估计不准确，而且使一些图像先验变得无效。例如，暗通道先验假设像素最小强度对应于场景中的黑色物体。该先前在白天非常好地工作，而它不能直接应用于夜间场景，因为最小强度可能受到杂色环境照明的影响。为了克服上述困难，一些工作采用了各种新技术，如色彩转移[23]，光照校正[29]，辉光去除[17]和图像融合[1]，以解决与单夜间雾霾去除相关的问题图像（见第2节）。
该研究的目的是估计每个像素的环境照度和大气透射率，以便恢复无雾图像。 为此，我们首先介绍[29]中提出的夜间朦胧成像模型。 该模型是直接衰减项和散射项的线性组合，两者都包括考虑杂色和非均匀环境照明的局部变量。 根据这个模型，恢复无雾图像是一个不适定的问题。
为了处理固有的模糊性，我们提出了一种用于夜间图像雾度去除的新颖先验，即最大反射率先验。 此优先级基于白天无雾图像补丁的统计数据。 我们发现，在大多数贴片中，每个颜色通道在某些像素处具有非常高的强度。 所提出的先验意味着，每个颜色通道处具有局部最大强度的像素对应于具有最大反射率的场景点。 因此，我们将提议的先验称为最大反射先验。
通过使用此先验，我们可以直接估计夜间模糊图像的高质量环境照明。 从这个环境光照估计，我们可以很容易地计算透射图，并最终获得夜间无雾图像。 该方法在物理上是有效的并且能够处理复杂的照明条件，包括杂色和非均匀光。 它可以实现高质量的去雾效果，几乎没有晕圈伪影。 由于其计算复杂度与图像中的像素数量成线性关系，因此该方法在运行时非常有效。

2. Previous work

已经提出了多种方法来解决从单个日间图像中去除雾霾的方法。 然而，由于夜间的杂色和不均匀照明，这些方法不适用于夜间模糊图像。
据我们所知，过去几十年中关于夜间雾霾去除的文献较少.Pei和Lee [23]提出了一种colortransfer技术，在白天雾霾图像的指导下，将输入的夜间雾霾图像转换成灰色图像。虽然这种方法可以提高可视性，但它也会引入一些颜色失真。 Zhang等人[29]提出了一种夜间去雾方法，包括光照补偿，色彩校正和去雾。由于该方法涉及一些额外的后处理步骤，因此倾向于引入颜色伪像。李等人。 [17]通过添加大气点扩散函数来修改标准朦胧成像模型，以模拟有源光源的发光效果。基于该模型，他们应用层分离算法来分解输入图像中的辉光[16]。然后使用空间变化的大气光图来基于暗通道先验估计透射图。他们的结果包含的光晕伪像少于[29]
最近，C。Ancuti等人通过在暗通道片上应用局部最大值来估计局部空气，然后使用多尺度融合方法来获得可见度增强图像。 虽然所提出的环境光照估计方案可能与[1]类似，但它们根本不同。 他们假设由最小运算符过滤的局部斑块的最亮像素可以捕获大气光的属性。这些像素确实对应于场景中的模糊区域。 由于朦胧像素的分布在空间上是变化的，因此在[1]中仔细选择了贴片的大小以增加捕获朦胧像素的机会。 另一方面，我们采用每个颜色通道具有最大反射率的像素来估计环境照度。 这些像素通常对应于具有灰色或多种颜色的区域和光源，这些区域在夜间场景中是常见的，如图2所示。

图片.png

3. Nighttime hazy imaging model

在这里，我们介绍了夜间朦胧成像模型，它考虑了杂色照明的影响。 我们首先介绍标准的日间雾霾模型。 对于日间阴影场景，广泛用于描述成像过程的模型如下：

图片.png
图片.png

是与全球大气光A和场景反射相关的场景辐射Ri
方程（1）右侧的第一项称为直接衰减，第二项称为空气衰减。 直接衰减表示场景辐射及其在大气中的衰减，而气流衰减则表示由大气光散射引起的。
根据等式（1），假设全局大气光Aλ是白天雾霾环境的唯一光源，并且每个通道的衰减和散射特性是相同的，即与波长无关。 然而，如第1部分所述，夜间场景通常具有多个彩色人造光源，导致强烈不均匀和杂色的环境照明。 因此，将局部环境照度添加到标准朦胧成像模型的衰减项和散射项中，以获得如下的夜间朦胧成像模型：

图片.png
后一项是环境照明，Li是环境照明的强度，η λ是环境照明的颜色
注意，该模型不同于Li等人提出的模型。[17]。 Li等人的模型在略微修改的标准雾度模型中增加了大气点扩散函数，因此可以更好地描述有源光源的发光效果。 然而，他们的模型采用与标准日间朦胧成像模型相同的场景反射项，其中假设照明是常数

4. Maximum reflectance prior

提出的先验基于白天无雾图像块的统计。 我们发现，对于大多数图像块，每个颜色通道在某些像素处具有非常高的强度。 换句话说，这些块中每个颜色通道的最大强度应该具有非常高的值。 在数学上，对于图像I，我们定义：

图片.png

其中MλΩi是颜色通道λ处的贴片Ωi中像素强度的最大值，Lj是入射光强度，Rλj是反射率。 M在本文中称为最大反射率图。
对于白天明亮和清晰的图像，入射光强度在空间上是均匀的并且可以假设固定为值1.因此，在特定颜色通道处具有局部最大强度的像素主要对应于在相应颜色通道处具有高反射率的物体或表面。
因此，Eq（3）具有以下等价形式：

图片.png
具有最大反射率的物体或表面主要包括：a）白色（灰色）或镜面反射区域，例如： 天空，路面，建筑物的窗户和水面; b）任何充满不同颜色的表面，例如 光源，鲜花，广告牌和人群。 由于这些物体和表面在场景中是常见的，对于大多数白天无雾图像块，每个颜色通道的最大强度具有值1，即MλΩi≈1。因此，我们将上述观察称为最大反射率先验。
为了验证提议的先验的有效性，我们从flickr.com收集无雾图像集。这些图像主要捕获在室外景观和城市景观场景中，通常会出现雾霾。调整它们的大小，使最大宽度和高度为500像素。图2（a）和（c）示出了几个室外图像和相应的最大反射率图（注意，输入图像在HSV颜色空间中用其V值进行归一化）。图3（a）显示了所有50,000个最大反射图贴片的强度直方图。该统计数据支持我们先前对最大反射率的假设。如图3（b）所示，存在许多导致白色MRP的候选贴片。我们提出的先验不要求每个颜色通道的最大强度由单个白色像素贡献。典型的例子如图3（c）所示。每个颜色通道中有相当多的像素具有最大反射率。这些像素通常对应于具有灰色或不同颜色的物体，例如衣服，花朵，森林和路面。
图片.png

对于夜间朦胧成像，环境照明是杂色且不均匀的。 因此，对于夜间朦胧图像块，每个颜色通道的最大强度将具有较低的值并显示各种颜色。通常，这些强度是杂色环境照明的粗略近似（见图2（b）和（d）））。 在本研究中，我们将利用此属性来估计环境照明。 请注意，具有最大反射率的场景点也包括光源。 因此，通过使用此先验，所提出的方法应能够在一定程度上处理发光效应。
所提出的先验部分地受到颜色恒定性研究中使用的众所周知的白色斑块假设的启发。 在[13]中，研究了几种颜色恒定方法中的正像素的影响。 我们概括了这个想法，并提出了一个新的夜间图像去雾先验。

5. Nighttime image dehazing

给定输入图像I，该研究的目的是估计每个像素的环境照度和大气透射率，以便恢复无雾图像。 我们首先在估计环境照明的颜色图之前使用最大反射率，并从输入图像中去除其效果。 然后，在估计变化的照明强度和大气透射率时，我们去除雾度效应并获得最终的颜色平衡和无雾度的图像。 建议的夜间除雾过程的细节将在以下部分中解释。
5.1. Estimation of ambient illumination
在夜间雾霾环境中，从许多点状人造光源辐射的光在空间中平滑地变化，除了一些遮挡导致明暗区域之间的突然变化。 这些边界在整个图像中非常稀疏。 另一方面，雾度在任意方向上散射光。 散射光的聚集导致光线平滑变化。 为此，我们假设每个局部片j∈Ωi上的环境照度Aλj是常数。 具体地，假设环境照明的强度Lj和颜色图ηλj是恒定的，并且写为LΩi和ηλΩi。 此外，还假设传输图tj如[10]中那样平滑地改变。 在[10]之后，我们还假设tj是Ωi上的常数并写为tΩi。
基于上述假设，我们在每个局部补丁Ωi上的Eq（2）的两侧应用max-operator并获得以下结果：

Q
从提出的最大反射率之前，我们有 图片.png
图片.png
因此，我们可以通过以下方式估算环境照明的颜色图：
图片.png
这里，光强度LΩi在所有颜色通道中固定于最大MλΩi。 等式（6）确实描绘了光强度归一化并且仅保持环境照明的颜色分量。
我们将最小化问题描述为图优化问题，并且消光拉普拉斯矩阵确实定义了相邻节点之间的相似性。

在获得粗糙的环境色图ηλΩi之后，我们通过最小化以下优化问题来改进它：

图片.png
这里Λ是消光拉普拉斯矩阵[15]，它定义了相邻像素之间的相似性[12]，第二项解释了平滑度惩罚。 通过使用图像引导滤波器[11]可以有效地解决（近似）优化问题
5.2. Haze removal
在获得ηλ的估计值之后，我们可以从输入图像中去除颜色效果并重新将Eq（2）写为：
图片.png
按照上述关于每个局部补丁Ωi的Lj和tj的假设，我们在Eq（8）的两侧应用max-operator，并再次替换最大反射率。类似地，我们有：
图片.png
由于上述等式适用于每个颜色通道，因此我们在每个通道中计算LΩi并选择最大值作为最终估计值 图片.png
与ηλ类似，我们通过图像引导滤波器细化LΩi以获得平滑的Li
在获得Li之后，我们可以通过在方程（8）的两侧应用最小算子并引入暗通道先验来估计传输ti。 在数学上，它可以写成：
图片.png
图片.png
代表颜色平衡的无雾图像。 获得原始估计tΩi为
图片.png

我们使用图像引导过滤器进行优化
最后，我们将无雾图像恢复为：

图片.png
5.3. A Faster Approximated Estimation Method
在这里，我们提出了一种更快的ηλi和Li估计方法，它同时具有Sec5.1和Sec5.2所示的顺序方式。 具体地，在获得最大反射率图MλΩi之后，我们使用图像引导滤波器直接对其进行细化。 然后Li和ηλi计算如下：
图片.png
ti和Jλj的估计与Sec5.2中描述的过程相同。 我们分别将这两种方法表示为MRP和MRP-Faster
6.5. Additional experimental results
如果图像中有足够的最大反射区域，则所提出的方法甚至适用于白天模糊图像。 图9显示了一些示例。 该方法更好地校正颜色失真，同时产生可比较的去雾结果。
最后，我们在图10中给出了一些失败的例子。如图10所示，在草和叶的区域中存在一些颜色失真。 主要原因是先前的最大反射率并不适合这些区域。 这将是解决这一问题的另一项未来工作

7. Discussion and conclusion

在本文中，我们提出了一种非常简单但有效的先验，称为最大反射先验，用于从夜间模糊图像中去除雾霾。 最大反射率先验基于室外日间图像的统计。 通过应用先验，我们可以容易地估计环境照明，从而以更简单和更有效的方式从夜间图像中去除雾度。
这项工作与基于统计先验的大多数方案有一些共同的局限性 - 先前可能不适用于某些特定图像。 当场景对象固有地仅具有不同的颜色时，最大反射率先前变为无效。 所提出的方案将为这些物体产生颜色失真，例如图10中的草和树叶。我们打算研究更先进的颜色恒定技术[19,22]来克服这个问题。 此外，我们将在未来的工作中使用更多指标（如FADE [5]）执行更多评估。

图片.png
图片.png