文章学习47“Blind Predicting Similar

本文是CVPR2018年中国传媒大学发的一篇关于IQA的文章，同期CVPR北大也有发一篇“Hallucinated-IQA: No-Reference Image Quality Assessment via Adversarial Learning”，这两篇文章有很多异曲同工之处，都是借助一个网络对distorted image进行处理，生成出一个处理后的图用来辅助IQA的分数拟合。但不同于Hallucinated-IQA的是：本文生成出来的是相似图（指distorted图像同reference图像之间的由某种方法获得的相似图，这些相似图可以表示出来图像质量下降的程度），计算IQA的时候直接将这个中间相似图输入IQA的网络得到分数。

所以算法结构由两部分组成，第一个全连接的FCNN用来生成相似质量图，而后将相似质量图输入第二个DPN中用来拟合IQA的得分，整体网络结构如下图所示：红色部分为生成网络，用来生成质量图；蓝色部分为回归网络，用来拟合图像质量得分。

整个框架的目标函数就是上式，M（Id, Ir）对应着生成网络，生成相似性索引图，而P对应着DPN，回归出图像质量得分。

首先，FCNN的生成网络部分，网络结构是U-Net，4个下采样和对应的4个上采样通过skip连接起来，以便于更好的获得浅层的信息。输入图像是distorted图像中裁剪得到的image patch（不同于WaDIQAM等IQA方法，这里的patch大小设置为144*144*3，相别而言要大很多），label直接利用现有的表现良好的几个FR-IQA指标获得，这里选取的是SSIM，FSIM和MDSI，这三种方法几乎是目前除深度学习之外最好的FR-IQA方法了。用这三种方法求得相似度图作为对应label，SSIM是根据图像的亮度，对比度和结构性进行平均求得相似性，所以直接选取SSIM派生的相似度图直接用作label；FSIM通过合并权重来组合PC相位一致性和GM梯度幅度，所以分别选择PC和GM两个相似图作为label；MDSI 选择渐变和色度相似图的组合作为label。这样就会有4种label（1+2+1），分别对应着4个生成网络的model。

由上述4个model产生的预测质量图通过一定的融合输入到DPN中进行打分，融合方式有下图两种，a先对map进行concat再经过single网络预测得分称为single stream；b用不同的两支网络进行特征提取，再进行concat，称为multi stream。

而后，将map输入到回归网络DPN中预测得分，DPN的结构很简单，由5个3*3的卷积层和2个全连接组成，loss采取L2范数。在这里作者也对比了其他类型的网络结构，在后续实验部分展开。

实验：首先针对FCNN部分生成的相似图，分别采用SSIM，FSIM和MDSI作为label进行预测，结果如下图所示，（A）,(B), (C)分别是经过JPEG压缩，加入高频噪声和局部块失真的图，其中（1）--（3）为真实label的质量图，（4）--（6）为与（1-3）对应的预测质量图的结果。可以看出，单从FCNN的预测结果来看，每一个label下的预测都与真实相似图很相近，而具体哪一种label下的相似图更有利于IQA问题，就要从后续实验结果观察了。

第二个实验就是针对是否采用FCNN先预测相似图进行对比实验，作者分别采取SSIM的相似图和FSIM中梯度的相似图作为label，在FCNN上预测结果在TID2013上进行了实验，并直接将label输入DPN进行IQA预测，和直接将distorted image输入DPN进行预测作为对比，最终实验结果如下表：其中D_LB表示直接将distorted image输入DPN；S_PM是以SSIM相似图为label的预测结果；Fg_PM是以FSIM中梯度相似图作为label的预测结果；S_LB和Fg_LB是直接用SSIM和FSIM梯度的相似图输入DPN; SSIM和FSIMc就是这两种IQA方法的准确性。

从上表S_LB相比SSIM和D_LB增加幅度可以看出深度学习的有效性，以及相似图的有效性，但看NR中的两个结果就能发现FCNN网络的预测并不够好，与真实的相似图IQA指标差距明显。

第三个实验，针对不同的label进行对比测试，四种相似图label分别对应着上文提到的SSIM1+FSIM2+MSDI1，显然MSDI的相似图作为label时结果最好。

第四个实验，针对上文所提到的特征融合方法进行对比，总的来说融合没有用，single比multi好。

第五个实验，对DPN网络结构选取进行了实验，对比可知本文所提出的简单的5个卷积层的结构对于IQA足矣。

最后的实验就是针对整个算法性能的了，效果不错，但对比同期的“Hallucinated-IQA: No-Reference Image Quality Assessment via Adversarial Learning”效果还是不如。