简单的图像算法
Gamma对图像预处理
我们若定义黑是0，白是1，那么在0-1区间，我们是可以用一个幂函数来描述客观自然数值和主观心理感知的对应关系的（等比数列通项公式就是幂函数）：
描述的也是物理刺激强度与感受强度的关系，而其形式是一个幂函数，这个描述方法经常被认为取代了韦伯-费希纳定律，因为它描述了更广泛的感觉。
广义Gamma实际上描述的就是自然现实的物理量和主观视觉灰阶的映射关系。这个关系是非线性映射。灰阶有限的前提下，因为人眼对自然的非线性感知特性，我们才需要Gamma校正。
1：人眼对暗部细节比较敏感。2：图片文件的色阶很有限。图像的来龙去脉：自然界捕获的图像->图像存储和处理->显示器输出，两头的颜色数量都是非常丰富的，但是中间的存储和处理出于存储容量和渲染时带宽的限制，24位色图片每个通道只有28个色阶，总共只能显示224种颜色。基于以上两点，我们需要在整个图像来龙去脉中尽可能保留暗部细节，亮部细节丢掉一些也无所谓。因此有了pow(color, 1/2.2)这个gamma encoding操作，使暗部细节也分到更多色阶。得到一张比较“亮”的图片存储起来。这张图片虽然暗部细节都保留下来了，但是不能直接看这张“亮”的图片，那只是一个中间产物而已。我们需要显示器做一个pow(color, 2.2)的gamma decoding操作把它压暗，因为显示器(特别是高端显示器)的颜色数是远大于2^24的，这个操作并不会在压暗的过程中丢失暗部细节。总结一下，gamma校正存在的本质原因是：是受限于有限存储空间及渲染带宽，需要在整个图像的流转各级转换中尽可能保留暗部细节，以满足人眼对暗部敏感的需求。
作者：渣渣
链接：https://www.zhihu.com/question/27467127/answer/111973548
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
Canny算子
最近有用到Canny算子做边缘检测。回顾一下Canny算子的基本原理：总的来说，图像的边缘检测必须满足两个步骤
（1）有效的抑制噪声，使用高斯算子对图像进行平滑；
（2）尽量精确的确定边缘的位置；
Canny算子的边缘检测可以分为三个步骤：
Step 1: 高斯平滑函数。目的是为了平滑以消除噪声；
**
具体每一步的详细过程如下：
（1）标准化gamma空间和颜色空间
为了减少光照因素的影响，首先需要将整个图像进行规范化（归一化）。在图像的纹理强度中，局部的表层曝光贡献的比重较大，所以，这种压缩处理能够有效地降低图像局部的阴影和光照变化。因为颜色信息作用不大，通常先转化为灰度图；
Gamma压缩公式：
比如可以取Gamma=1/2；
（2）计算图像梯度
计算图像横坐标和纵坐标方向的梯度，并据此计算每个像素位置的梯度方向值；求导操作不仅能够捕获轮廓，人影和一些纹理信息，还能进一步弱化光照的影响。
图像中像素点(x,y)的梯度为：
最常用的方法是：首先用[-1,0,1]梯度算子对原图像做卷积运算，得到x方向（水平方向，以向右为正方向）的梯度分量gradscalx，然后用[1,0,-1]T
梯度算子对原图像做卷积运算，得到y方向（竖直方向，以向上为正方向）的梯度分量gradscaly。然后再用以上公式计算该像素点的梯度大小和方向。
（3）为每个细胞单元构建梯度方向直方图
第三步的目的是为局部图像区域提供一个编码，同时能够保持对图像中人体对象的姿势和外观的弱敏感性。
我们将图像分成若干个“单元格cell”，例如每个cell为66个像素。假设我们采用9个bin的直方图来统计这66个像素的梯度信息。也就是将cell的梯度方向360度分成9个方向块，如图所示：例如：如果这个像素的梯度方向是20-40度，直方图第2个bin的计数就加一，这样，对cell内每个像素用梯度方向在直方图中进行加权投影（映射到固定的角度范围），就可以得到这个cell的梯度方向直方图了，就是该cell对应的9维特征向量（因为有9个bin）。
像素梯度方向用到了，那么梯度大小呢？梯度大小就是作为投影的权值的。例如说：这个像素的梯度方向是20-40度，然后它的梯度大小是2（假设啊），那么直方图第2个bin的计数就不是加一了，而是加二（假设啊）。
细胞单元可以是矩形的（rectangular），也可以是星形的（radial）。
（4）把细胞单元组合成大的块（block），块内归一化梯度直方图******
由于局部光照的变化以及前景-背景对比度的变化，使得梯度强度的变化范围非常大。这就需要对梯度强度做归一化。归一化能够进一步地对光照、阴影和边缘进行压缩。
作者采取的办法是：把各个细胞单元组合成大的、空间上连通的区间（blocks）。这样，一个block内所有cell的特征向量串联起来便得到该block的HOG特征。这些区间是互有重叠的，这就意味着：每一个单元格的特征会以不同的结果多次出现在最后的特征向量中。我们将归一化之后的块描述符（向量）就称之为HOG描述符。
区间有两个主要的几何形状——矩形区间（R-HOG）和环形区间（C-HOG）。R-HOG区间大体上是一些方形的格子，它可以有三个参数来表征：每个区间中细胞单元的数目、每个细胞单元中像素点的数目、每个细胞的直方图通道数目。
例如：行人检测的最佳参数设置是：3×3细胞/区间、6×6像素/细胞、9个直方图通道。则一块的特征数为：339；
（5）收集HOG特征
最后一步就是将检测窗口中所有重叠的块进行HOG特征的收集，并将它们结合成最终的特征向量供分类使用。
（6）那么一个图像的HOG特征维数是多少呢？
顺便做个总结：Dalal提出的Hog特征提取的过程：把样本图像分割为若干个像素的单元（cell），把梯度方向平均划分为9个区间（bin），在每个单元里面对所有像素的梯度方向在各个方向区间进行直方图统计，得到一个9维的特征向量，每相邻的4个单元构成一个块（block），把一个块内的特征向量联起来得到36维的特征向量，用块对样本图像进行扫描，扫描步长为一个单元。最后将所有块的特征串联起来，就得到了人体的特征。例如，对于64128的图像而言，每88的像素组成一个cell，每22个cell组成一个块，因为每个cell有9个特征，所以每个块内有49=36个特征，以8个像素为步长，那么，水平方向将有7个扫描窗口，垂直方向将有15个扫描窗口。也就是说，64128的图片，总共有367*15=3780个特征。
HOG维数，16×16像素组成的block，8x8像素的cell
神经网络中的激活函数
作者：知乎用户链接：https://www.zhihu.com/question/29021768/answer/43488153来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
第一个问题：为什么引入非线性激励函数？如果不用激励函数（其实相当于激励函数是f(x) = x），在这种情况下你每一层输出都是上层输入的线性函数，很容易验证，无论你神经网络有多少层，输出都是输入的线性组合，与没有隐藏层效果相当，这种情况就是最原始的感知机（Perceptron）了。正因为上面的原因，我们决定引入非线性函数作为激励函数，这样深层神经网络就有意义了（不再是输入的线性组合，可以逼近任意函数）。最早的想法是sigmoid函数或者tanh函数，输出有界，很容易充当下一层输入（以及一些人的生物解释balabala）。
第二个问题：为什么引入Relu呢？第一，采用sigmoid等函数，算激活函数时（指数运算），计算量大，反向传播求误差梯度时，求导涉及除法，计算量相对大，而采用Relu激活函数，整个过程的计算量节省很多。第二，对于深层网络，sigmoid函数反向传播时，很容易就会出现梯度消失的情况（在sigmoid接近饱和区时，变换太缓慢，导数趋于0，这种情况会造成*信息丢失，参见 @Haofeng Li
答案的第三点*），从而无法完成深层网络的训练。第三，Relu会使一部分神经元的输出为0，这样就造成了网络的稀疏性，并且减少了参数的相互依存关系，缓解了过拟合问题的发生（以及一些人的生物解释balabala）
Fisher线性函数
其实fisher和PCA差不多，熟悉PCA的人都知道，PCA其实就是在寻找一个子空间。这个空间怎么来的呢，先求协方差矩阵，然后求这个协方差矩阵的特征空间（特征向量对应的空间），选取最大的特征值对应的特征向量组成特征子空间（比如说k个，相当于这个子空间有k维，每一维代表一个特征，这k个特征基本上可以涵盖90%以上的信息）。那么我们把样本投影在这个子空间，原来那么多维的信息就可以用这k维的信息代替了，也就是说降维了。至于PCA为啥要用求协方差矩阵然后求特征子空间的方法，这个数学上有证明，记得在某篇文章上看过，有兴趣的可以找找，看看证明。
那么fisher空间又是怎么一回事呢，其实fisher判别和PCA是在做类似的一件事，都是在找子空间。不同的是,PCA是找一个低维的子空间，样本投影在这个空间基本不丢失信息。而fisher是寻找这样的一个空间，样本投影在这个空间上，类内距离最小，类间距离最大。那么怎么求这个空间呢，类似于PCA，求最大特征值对应的特征向量组成的空间。 当我们取最大几个特征值对应的特征向量组成特征空间时（这里指出，最佳投影轴的个数d<=c-1，这里c是类别数），最佳投影矩阵如下：
