超像素、亚像素、白化、差值、分辨率学习笔记

http://blog.sina.com.cn/s/blog_14d68bd870102wz65.html

白平衡：描述红绿蓝三基色混合生成白色精确度的一项指标。
问题：在日光灯拍摄的影像发绿。在室内钨丝灯光拍下来的景物偏黄，在日光阴影处拍摄的照片莫名其妙偏蓝。
超像素：
就是把一幅原本是像素级的图，划分成区域级的图，算是一种对基本信息进行的抽象。把图像分割成很多小块儿，每个小块儿内部之间具有某个特征很强的一致性，然后把一整块儿当成一个像素来处理，每一个小块儿就是超像素，本质上仍是图像分割。超像素分割属于图像分割，在细化应该属于过分割。对一幅图像进行超像素分割，可以得到大小不一的区域，可以从这些区域中提取有效的信息，如颜色直方图、纹理信息等。

亚像素：

将一个像素再分为更小的单位。

白化：
对向量b进行白化的过程即为白化（即使得向量b的元素之间不相关，且数据的均值和方差均为1）。白化是一种重要的预处理过程，其目的就是降低输入数据的冗余性，本质就是去相关加缩放。假设训练数据是图像，由于图像中相邻像素之间具有很强的相关性，所以用于训练的数据是冗余的，白化的目的就是降低输入数据的冗余性，希望通过白化过程使得学习算法的输入具有特征之间的不相关性，所有特征具有相同的方差。

PCA与白化，就是对输入数据进行预处理，前者对数据进行降维，后者对数据进行方差处理。PCA思想：通过抛弃携带信息量较少的维度对数据进行降维处理，从而提高后续处理的速度。其实白化只需要在PCA处理之后将各个维度的方差归一化即可（使各个维度的方差相同），因PCA处理之后，留下的维度之间已经没有相关性了。PCA可以视为是将数据旋转了一下，假设原始的数据在某组坐标基下表示，则求数据的协方差矩阵，然后找其若干个主要的特征向量的方向，以这些方向作为新的坐标基，将原来的数据在新基上进行表示即可。

插值：

插值本质上就是利用已知的值对未知位置处的值进行估计。差值可以用于图像的放大、缩小等，如用最近邻差值（虽然效果不是很好）、双线性差值、双三线性差值等进行图像的放大、缩小。此外，差值还可以由低分辨率、质量不好的图像复原得到高分辨率、质量好的清晰的图像。

单线性差值，本质上就是利用 k 相等，即δy/δx=δy’/δx’，同时这本质上又是函数 y=f（x）对x的导数，即在x处和在 x’处函数f对其导数相等，因此在已知点（x1，y1）和点（x2，y2）进行差值以可以求得任意x处的函数值f时，可以设待求的点为（x，y），由此有（y-x1）/（x-x1）=（y2-y1）/（x2-x1），推导出y的一般表示即可（因在求解函数值y的时候，x值是已知的）；双线性差值，核心思想或者本质上就是在两个方向上分别进行单线性差值，其原理本质上与单线性差值是一样的，只不过需要在两个方向上分别进行。因单线性差值是求函数对于变量的导数，那么显然，双线性差值对应的变量是二元的，因此需要利用偏导来进行，（图见：参考blog）根据偏导相等，分别在x方向上，即求解函数f（x，y）对x的偏导来根据已知点（x1，y1）和（x2，y1）以及其函数值f（Q11），f（Q21）求得函数f在R1时的表达式（假设变量x已知）；同理，可以求得函数在R2状态下的表达式，由此，即实现了在x方向上的差值；接下来只需要在此基础上，假设已知点（x，y2）、（x，y1）和相应函数值f（R1）、f（R2）进行y方向的差值（利用函数在y方向上的偏导相等）求解目标点（x，y）处的函数值表达式即可。显然，根据分析，本质上与单线性差值是相同的，都是利用函数在变量处的导数的相等关系进行的，只不过是由一元变量状态下的导数变成了二元变量下的偏导（这显然是很合理的形式变化），同时因为多元性，是在多元方向上分别进行的（这也很合理，很容易理解）。双线性差值的结果与差值的顺序无关，先x后y与先y后x结果是一样的。双三线性差值，很显然，类推即可，是一个关于三元变量的函数，所以需要在x，y，z三个方向上分别进行差值即可，一共需要进行三次差值。

分辨率：

图像的分辨率可分为空间分辨率和强度分辨率。空间分辨率可以指单位长度上的像素点的数目，强度分辨率则与灰度值的范围有关，当灰度值的范围是2^k时，如[ 0 , 255 ] 范围是2^8=256，则每个像素的灰度值需要用k bit去存储，则认为其强度分辨率就是k，即像素值的灰度范围需要用多少bit 来表示，需要的 bit 数即为强度分辨率。

动态范围，

色彩还原，

分辨解析力

噪点和炫光控制

iPhone 7 Plus相同的双摄方案：一个广角，一个长焦。广角镜头光圈f/1.7，搭配1600万像素的Sony IMX 398传感器，支持DCAF双核对焦，像素尺寸1.12 μm；长焦镜头光圈f/2.6，搭配2000万像素的Sony IMX 350传感器，像素尺寸1.0 μm。

一加5在拍摄室外场景时，曝光和白平衡处理优秀，并且细节能够得到出色的保留，同时在明暗差距极大的场景下仍能保留较为丰富的暗部细节；室内场景色彩鲜艳丰富，静物拍摄能够拥有相当不错的虚化效果；人像模式下能够较为突出的显示人物主体。不过双摄在模拟大光圈时遇到复杂场景会偶现抠图不准确的情况，还需要一加进一步优化。在这里，笔者给一加5的实际拍照分数为4分。