[论文笔记]Blind Image Quality Assess

2019-09-28  本文已影响0人  浙西府临时工小唯

这篇也是关于Blind image Quality Accessment,用的同样是ranking的方法
文章地址

这篇的和上一篇的思路非常相似。先看输入结构 generate a large number of corrupted image pairs,and use a set of existing IQA models to identify which image of each pair has higher quality.同样是采用corrupted pairs+ranking标记,不过这里的ranking不是通过主观检验得到的,而是根据不同的Annotator(就是已经存在的各种iqa模型)得到的。(对于同一对pair,不同的annotator有不同的意见,给出的二进制标签不一定相同,所以是noisy lables。所以最后输出结果除了质量分数还有不确定性

ps.普通的BIQA往往是通过评估图片本身的一些统计特征,空间归一化系数或者模糊程度之类的,具有这种特征的图片不太“自然”。现在如果利用CNN方法做图片质量评估,就需要大量的训练样本来让模型收敛。现实中是没有这么多训练样本的,这里介绍了一些现有的补偿思路1.在一个训练好的物体检测CNN基础上训练,抬高起点。2.把图像切成很多小图像块training a CNN on image patches,不过怎样把局部质量转化为全局质量也是个问题。

*感知质量先验模型用的是高斯分布(感觉这里比较有特点,将图片的感知质量不是视为标量数值,而是视为mean+deviation的高斯分布,所以这个CNN的输入是corrupted pairs +ranking from different annotator,输出是perceptual quality和uncertainty,也就是图像感知质量的的一个高斯分布模型)

*对Annotator的hit rate建模。二项分布。这里model了annotator的可靠性,α和β(注意这两个是和w一样的待调整参数),分别表示【annotator判定是1的情况下真的是1的概率】【判定是0的情况下真的是0的概率】

 our goal is to optimize two differentiable functions, fw(x) and σw(x),parameterized byavector w, that estimate the perceptual quality and its uncertainty, respectively

然后下面是比较重要的一段数学推导。假设图片之间是独立的,则两个高斯分布之差仍然是高斯分布——就可以用标准分布函数表示出来x感知质量比y好的概率了。然后还定义了不同感知机的感知精度,用的是判断正确的比例来估计的。

*优化似然估计(关于损失函数和最大似然的问题)

对概率模型估计用最大似然估计。目前我们观测到的样本是“已发生的事件”,似然函数就是,某种特定情况下这件事发生的可能性。我们要找的最大似然的模型,就是在这种情况下,这件事发生的概率最大。任务就是通过调整参数令最大化似然函数。(这个最大似然函数的推导有点绕。但是其实就是二项分布和高斯分布组合起来的条件分布的关系.....不是很难。)

接下来是神经网络的搭建,涉及到了GDN(归一化方法?)后面就是实验过程,用了九种不同的IDA Model,sample 了400000对pairs,介绍了一下参数和优化方法(也是Adam),实验结果。最后问题就是在产生训练数据的时候要指定失真类型?所以对于新的类型噪声可能存在问题。

GDN层 ICLR2016论文《DENSITY MODELING OF IMAGES USING A GENERALIZED NORMALIZATION TRANSFORMATION》提出了GDN层,是一种更适合图像重建的归一化层。作者在ICLR2017论文《END-TO-END OPTIMIZED IMAGE COMPRESSION》

这两篇论文待看。

上一篇下一篇

猜你喜欢

热点阅读