三. 基于例子的学习
1. EBSR
论文题目:Example-Based Super-Resolution
存在的问题
当前很多的方法都需要依赖大量的额外数据来训练。一方面,需要质量很好的数据库,这个代价是很大的。另一方面,计算量也是很大的。
解决的问题
本文提出了一种方法(Example-Based Super-Resolution),不依赖于外部的数据库,仅仅用输入图片即可。
论文要点
1. 训练集生成
(1) 将高分辨率图片进行blur处理,然后用subsample的方法将他们变成低分辨率的图片。
(2) 运用插值法,比如双三次插值法,将低分辨率的图片转位高分辨率像素大小的图片。
(3) 存储原始高分辨率图片和插值后的图片的不同部分。但是这个的存储量还是太大。我们相信低分辨率的高频部分对恢复细节有帮助。所以过滤了低频的部分,因此就不要储存低频部分的不同地方。我们也相信,低分辨率图片和高分辨率的图片对比度是相互独立的,所以也不想存储对比度的信息。因此,在图像上做了对比度归一化处理。
2. 基于例子的学习算法
我们先尝试了图像预处理,然后将图像分成小块儿,最后寻找丢失的高分辨率细节。不幸的是,这个方法不好用,因为仅仅利用局部的图片块去寻找高分辨率的细节是不够的。
所以,我们利用了两种方法去利用邻域图片块之间的关系去获取细节。
(1) 马尔可夫网络(Markov network)
利用马尔科夫网络去模型化低分辨率图片块和高分辨图片块以及和高分辨率邻域图片块的关系。利用belief propagation去优化。细节见paper。
(2) 一次过算法(one-pass algorithm)
该算法只考虑了高分辨率图片块和其邻域图片块的关系。简单的说,该算法通过局部图片信息生成一系列的预测序列,该预测作为放大后图片的缺失的细节信息。我们按光栅扫描顺序将图片分别低频部分的图片块。在每一步,高频部分的图片块基于局部低频细节和之前的高频图片块,通过邻域搜索法选择。
预测部分:算法的输出是输入和高频预测的和。
2. SelfExSR
论文题目:Single Image Super-resolution from Transformed Self-Exemplars
存在的问题
对于用external database的方法,有个缺点,那就是训练图片的数量和类型要多少才能达到满意的程度是不懂的。并且,对于每一个放大参数,都需要重新训练,为每一个参数训练一个模型。
对于用internal database的方法,比起external database的方法,表明其能包含更多的相关训练patches。但是利用internal database的假设是高分辨率图片块出现在同样的位置,方向和具有相同的illumination。同时,还假设图片块是平面的。但是,现实中,并不是所有的图形都是平面的,也有非平面的。所以这个方法具有局限性。
解决的问题
本文提出了一个改进self-similarity的方法,扩大了internal patch的搜索范围。首先,利用局部平面去构造3D场景的geometry,然后利用平面参数去估计重现平面的形变。其次,我们从简单的放射变换扩展到潜在的形变,进而扩大了搜索的范围。
论文要点
1. 算法
(1) 对于LR的每个patch P,我们计算能将P扭曲的变换矩阵T以至于能最好的和source patch Q匹配(来自于输入图片的下采样)。利用patchmatch算法找邻域patch(Nearest Neighbour Field Estimation)。
(2) 从高分辨率图片中提取Q对应的patch。
(3) 我们利用T的转置去反扭曲HR patch, 获得self-exemplar Ph。
(4) 重复上面的步骤对于所有的patches。
(5) 运用迭代反向传播去确保重建的完美。
2. Nearest Neighbour Field Estimation
代价方程:
这个由三部分组成:
(1) 外观代价(Appearance cost Eapp):
(2)平面代价(Plane compatibility cost Eplane):
(3) 比例代价(Scale cost Escale):