Reflection Separation Using Patc

2019-03-31  本文已影响0人  查可猜

摘要:

从一系列相关的图像中找到相同区域的patch,那么这些patch都存在一个非常低维的子空间,那么这些patch聚类后,就能得到一个低秩矩阵(low-rank matrix),这样的好处是可以使用ALM-ADM策略来解决图像还原问题

本文提出一种衡量patch与transmission layer之间相似性的matric,基于图像强度和梯度。

不需要依据梯度进行reconstruction,所以color shift问题可以被极大改善,更多的图像细节得以被保留


introduction

把reflection removal的问题看成 a sparse and low-rank matrix decomposition problem

图一

Motivation

I_k(P) = T_k(P) + R_k(P), k=1,2,...,K
这些图片中的R可能相差很大,但是T几乎是保持不变的,所以当K张图被warp到同一坐标系中时,被向量化的T层可以很自然的被建模成低秩矩阵(理想情况下是秩为一的矩阵)

- image alignment

SIFT-flow 对齐图片

- patch searching

图二

绿框表示参考图中的某一个patch,然后在其余K-1张图中搜索2(K-1)张最相似的patch,由于已经做过图像对齐,所以搜索范围可大概确定在黄色方框中,因此可以大大加速搜索过程。

以往通常现在梯度领域对图像做处理,然后在用柏松积分重建,但是会造成color shift和blur,本文在patch similarity measure使用图像梯度,效果比较好

通过光强度和梯度,我们可以定义一个用来衡量两个patch之间相似性的公式:
d(c_{ref},c_{i,k}) = w_c||c_{ref}-c_{i,k}|| + w_g||g_{ref} + g_{i,k}||
其中c_{i,k}表示第k个对齐图像中的第i个patch

- Sparse and Low-Rank Decomposition

把2(k-1)个patch连同参考图的的patch组成一个大的matrix I,然后把I分解成一个低秩的矩阵T(transmission layer)和一个稀疏矩阵R(reflection)

目标函数:min||T||_*+\lambda||R||_1

augmented Lagrange function optimization problem:


ALM
T,Y,R更新

- patch fusion

在对每个patch作处理后,会产生棋盘效应,此时选取一个滑动窗口W,以步长D进行滑动,W \gt D,利用均值来消除边界,可以从图中看到效果

图三

Experiment

图四 数据合成 图五 合成图对比效果 图六 真实图对比效果
上一篇 下一篇

猜你喜欢

热点阅读