图像low level论文

C 2 MSNet: A Novel approach for

2018-12-16  本文已影响0人  风之羁绊

Abstract

由于雾度的存在而导致的图像质量下降是一种非常普遍的现象。 现有的DehazeNet [3],MSCNN [11]解决了手工制作的雾霾相关特征的缺点。 然而,这些方法在阴暗(不良照明)环境中存在颜色失真的问题。 本文提出了一种用于单图像雾霾去除的基色(红,绿,蓝)色彩融合网络。在第一阶段,网络融合了模糊图像中存在的色彩信息,并生成多通道深度图。 第二阶段使用多通道多尺度卷积神经网络(McMs-CNN)从生成的暗通道估计场景传输图以恢复原始场景。 为了训练所提出的网络,我们使用了两个标准数据集:ImageNet [5]和D-HAZY [1]。

1. Introduction

恶劣天气下的低能见度是计算机视觉中的首要问题。 人类视觉系统中物体的外观需要从物体表面到人眼的大气光的反射。 然而,传输介质中存在大气颗粒(雾度,雾等)导致图像质量的视觉劣化。 大多数计算机化系统都假设输入图像是在清澈的大气中捕获的。然而,室外图像会出现能见度下降,特别是在早晨(存在雾霾,雾等)。因此,去除大气效应计算机视觉算法相关的 室外成像应该了解室外天气效应(雾霾)。 为了实现雾度去除,迫切需要开发一种可以实时提高图像质量的算法

2. Related Work

已经提出了各种方法,例如3D几何模型[4],偏振滤波器[12,13],相同场景的多个图像的融合[9,10]等,用于单个图像雾度去除。 然而,在实时应用中,收集相同场景的多个图像并不总是可行的。 此外,通过简单且令人信服的假设,[2,6,7,8,15,16]提出了去雾模型。 Tan等人[15]假设无雾图像的对比度必须高于模糊的场景。 因此,通过上述假设,他们通过最大化模糊图像的局部对比度来消除雾度。 当模糊图像中存在深度不连续时,该方法[15]失败并创建块效应。
He等人提出了另一种有效的局部方法,暗通道先验(DChP)。[7]。 根据DChP,室外无雾彩色图像中的大多数局部图像块由至少一个颜色通道中具有非常低强度的一些像素(暗像素)组成。根据Codruta等人。 [2]雾度密度不仅可以用基数通道(RGB)预测,还可以用HSV色彩空间预测。 他们使用模糊图像与其半反图像之间的色调差异来检测雾度内容。 黄等人。 [8]提出了可见性恢复(VR)算法,以减少颜色失真并处理复杂的结构,其结合了使用DChP获得的传输图中的边缘信息。 或者,朱等人。 提出了一种颜色衰减先验(CAP)[16],它通过HSV颜色空间估计深度图。
上面讨论的方法见证了雾度含量与颜色模型及其优点的相关性。 因此,学习所有假设的组合将更准确地预测雾度密度。 因为,单一假设并不总是保证精确,这可能在极端模糊的环境和复杂的结构中失败。 因此,为了开发一个更强大的系统,[3,11]采用卷积神经网络来学习输入模糊图像和相应的传输图之间的映射。 然而,[3,11]在阴暗(不良照明)环境中引入了颜色失真。 因为,这些网络在第一卷积层本身中丢失了基本信道信息。 此外,He等人的假设[7]允许分裂主要通道并预测雾霾蔓延。
受到本文[3,7,11]的启发,我们提出了一种新的网络来整合颜色信息关于环境中的阴暗和多尺度滤波器组学习输入模糊图像和传输图之间的像素到像素的映射。 我们已经在3,50,000种不同的补丁上训练了这个网络。 此外,建议的网络在超过一千个真实和合成图像上进行测试。

3. Background

在本节中,我们强调了He等人提出的方法。[7]:
3.1. Optical Model
光学模型(OM)基于通过空气介质传输光的物理特性。 许多计算机视觉算法利用光学模型来描述图像形成。 特别是在去除雾霾时,许多研究人员使用OM来重建原始场景[7,15]。 如[7]中给出的,Eq1描述了光学模型。


图片.png

其中,I(x)是模糊图像的像素强度,R(x)是场景辐射,Tr(x)是传输介质,A是全局大气光。 下面给出使用暗信道[7]估计传输图(Tr)和全局空中(A)的过程。
3.2. Dark channel prior
虽然存在许多现有的缺点,但是He等人的假设展示了估计深度信息和雾度密度的强有力的解决方案。 保持黑暗通道作为基础可以学习强大的雾霾特征来恢复原始场景。 正如第2节所讨论的那样,He等人使用Eq2估计场景深度的关键假设,


图片.png
其中,D(x)表示暗通道,Γ(·)表示最小滤波器,P(x)属于在大小为15×15的位置x处打乱的局部贴片,c是模糊图像的颜色通道, I是带雾的图像。从Eq2可以理解,如果I是没有阴霾的图像,那么D(x)将更接近零。 基本上,暗通道掌握颜色信息并预测雾度密度。 因此,He等人的假设允许我们分割主要通道并将它们融合以预测/学习雾度扩散/密度。
3.3. Transmission map
使用Eq3估算透射图
图片.png

其中,Tr(x)是估计的透射图,η是雾度常数设置为0.95,Γ(·)表示最小滤波器,P(x)属于位置x的局部贴片,贴片尺寸取为 15×15,c是模糊图像的颜色通道,I是模糊的图像,A是估计的全球空气光。
他等人。 [7]使用暗通道预测空气。 来自暗通道的0.1%最亮像素的位置可从模糊图像访问,并且这些强度的平均值被视为全局空气光。 现在,通过使用等式(1)可以容易地恢复场景辐射(无雾图像)R(x)。

4. Proposed Method

图片.png

即使DChP预测雾度密度,它也会在密集雾度的存在下失效并引入颜色失真。 因为,单深度图无法准确估计雾霾的扩散。 光学模型表明深度/透射图的精确估计是恢复场景辐射的关键。 因此,为了恢复场景辐射,我们设计了一种新的基数颜色融合多尺度CNN。提出的网络分为两个阶段,在第一阶段,我们使用基色颜色融合CNN估计多个深度通道(MDCh),在第二阶段 阶段,多通道多尺度CNN用于学习相对于透射图的雾度密度/扩展。
4.1. Cardinal color fusion CNN
如第2部分所述,雾度与各种颜色通道中的强度变化成比例。 这一观察结果使我们融合了颜色信息并设计了一种用于估计深度图的新型网络。 提出的C2 -NN由卷积和汇集层组成。 图1(a)显示了网络架构。 建议的C2-NN分为三个子块,即:信道方式 - {卷积,连接和汇集}。
如第2部分所述,雾度与各种颜色通道中的强度变化成比例。 这一观察结果使我们融合了颜色信息并设计了一种用于估计深度图的新型网络。 提出的C 2 -NN由卷积和汇集层组成。 图1(a)显示了网络架构。 建议的C2-NN分为三个子块,即:通道 - {卷积,连接和汇集}。[2,6,7,8,15,16]的假设使我们能够通过溢出来学习雾霾传播 并在彩色通道上进行熔丝操作。 为了融合颜色信息,我们最初分裂主要信道和应用的并行卷积滤波器组的大小为3×3×1×32。此外,使用等式(4)对滤波器响应执行信道方式的相关(CwC)。


图片.png
图片.png

最后,在级联层的输出上执行通道方式最大池。 C2 -NN的输出尺寸为m×n×32。而m和n分别表示图像的高度和宽度。
4.2. Multi-channel multi-scale CNN
他等人假设15×15大小的贴片以获得暗通道。 然而,这种固定大小的贴片使得DChP尺度变化并且在深度不连续处引起光晕效应。 因此,为了使提出的网络规模不变,我们设计了多尺度滤波器组,然后是空间池和非线性激活单元来保留结构信息。 C2-NN的输出给予McMs-CNN,其由五层组成如下:{多尺度卷积→多尺度连接
→汇集→卷积→BiRelu}。
为了收集多尺度信息,我们使用了三个不同的滤波器组,每个滤波器组具有16个滤波器:3×3×16; 5×5×16和7×7×16。 多尺度卷积层细化MDCh,并且执行多尺度连接操作以结合粗糙水平的雾度特征,这导致48个特征图。 此外,空间汇集和卷积层的组合已被用于提取局部雾度相关特征。 空间最大池化在具有步幅1的7×7区域内执行。 卷积(conv3)层由48个大小为5×5的滤波器组成,得到5×5×48滤波器组。 最后,非线性激活函数(BiReLU)[3]已被用于预测传输信道。
5.2.2 Qualitative analysis
在最近的出版物中几乎所有现有方法都给出了室外模糊图像(经常使用)的可接受结果。在去除雾度和视觉质量方面难以按降序对它们进行排序。 因此,为了与现有的去雾方法进行比较,我们采用了来自OHI数据库的新的合成模糊图像集。 这些图像由恒定的主色调组成。 因此,可以容易地观察到使用现有方法的颜色失真。 图5显示了室外图像雾度去除的视觉比较。 如图5(C,c-f)所示,我们可以通过现有的最先进方法[3,11,7,17]观察到恢复场景中的颜色失真。 然而,图5(A-F,g)(提出的方法)显示了没有任何颜色失真的恢复的原始场景。
5.3.1 Qualitative analysis
在本节中,我们仅进行了定性分析。 因为,在朦胧和无雾的环境中拍摄同一场景的照片非常困难。 因此,在没有雾霾自由场景(地面实况)的情况下,我们无法进行定量分析。 对于视觉(定性)分析,我们考虑了五个经常使用的(在最近的出版物中)真正模糊的图像。 图6显示了从真实模糊图像中去除雾度的视觉比较。 从图6中可以看出,DChP和CAP比CNN方法具有更多的色彩失真。 这背后的原因可能是朦胧模型假设的失败。所提出的网络通过学习雾霾扩散克服了这个缺点。

上一篇下一篇

猜你喜欢

热点阅读