brisque & NIQE
两个指标对应文章分别是 “No-Reference Image Quality Assessment in the Spatial Domain” and “Making a “Completely Blind” Image Quality Analyzer” 两篇文章均发表于2012年,分别发表于TIP和IEEE SIGNAL PROCESSING LETTERS 。
首先来介绍Brisque。
这个质量评估标准基于图像spatial domain呈现的统计规律。1994年Ruderman在“The statistics of natural images”中发现了规律“自然图像”的归一化亮度系数(MSCN)存在明显的单位标准高斯分布。如下图所示,左图为来自TID数据集的一张自然图像,右边为人造图像,下半部分即为归一化亮度系数的图示,从拟合效果来看,自然图像十分接近标准高斯分布,而人造图像就不是。
这个MSCN(归一化亮度系数)的求法在“The statistics of natural images”中也已给出:
其中I(i, j)是指(i, j)像素点的强度值,分母中的C为一很小的数,用来进行拉普赖斯平滑,均值和方差的求得为:
其中w是2D圆对称高斯加权函数,Ruderman认为自然图像的MSCN统计特征趋向于服从广义高斯密度分布,而对于引入失真的图像MSCN的统计分布就会偏离高斯,依据偏离程度即可进行失真程度度量。LIVE IQA数据集中各种失真图像的MSCN图像如下图所示,每种失真类型都会以特有的方式修改统计信息,而广义高斯分布则可以区分出这些分布:
拥有零均值的广义高斯分布密度函数如下:
其中,B和T分布如下:
因此在进行图像质量评估时,对于每个图像都进行拟合。除此之外,作者还对相邻元素间的MSCN进行建模,发现其也存在一定的统计学习规律,对自然图像的水平,垂直,主对角线和副对角线的MSCN进行一定的组合:
这些乘积在没有失真的自然图像中符合
上述统计规律可以用非对称的(AGGD)广义高斯分布来近似模拟:
而上文中的GGD和AGGD的参数都可以用基于时刻的匹配算法进行计算,所以,结合图像本身MSCN的统计规律和相邻像素间的统计规律,对于每一幅图像共提取18个特征,其中包括GGD中的均值和方差,AGGD中4个方向各自的,其中由:
而后对图像进行二倍下采样,再次得到上文的18个特征,这总共36个特征经过SVR回归训练之后得到最终的质量得分。
在LIVE数据集上的SROCC相关性指标结果如下:
SROCC指标仅次于MS-SSIM,然而SSIM为全参考的IQA,所以能做到这个程度效果是很好了,并且计算复杂度相比于之前其他BIQA也减少很多:
NIQE就是ECCV 2018年PIRM比赛时的评价指标,其原理同brusque几乎一模一样,因为一作是同一个人。前面36个特征提取方法几乎一模一样,只是NIQE在提取图像统计特征时先对图像提取了感兴趣区域,这一点源自于人眼更倾向于以图像中更清晰的部分来判断图像质量。所以作者通过计算图像中不同patch的方差场来判别清晰度,选择大于一定阈值的清晰度为自然图像的patch,而失真图像采用全局计算NSS。
另外在利用采集到的36个特征进行图像质量评价时,利用MVG(多元高斯模型)进行拟合:
其中x1到xk为采集到的36个特征,为MVG的均值和协方差矩阵,可由最大似然估计得到。而NIQE的值通过计算自然图像和失真图像MVG参数之间的距离得到:
但是NIQE在SROCC上的表现逊于brisque:
这两种方法其实同出一辙,毕竟同一个作者,只是某些方面有些改变,PIRM比赛中用到的指标也是NIQE同其他指标结合得到的结果,相比来说NIQE在最终得到的结果不需要训练,只需要拟合出MVG的均值和方差即可。