PIL验证码图片预处理
PIL验证码图片预处理
概论
在用tesseract进行验证码识别之前，我们首先需要对验证码图片进行预处理，尽量去除噪声，而只保留有验证码信息的像素。本文主要介绍一些基本的验证码预处理方法。
通常验证码图像预处理可见下图（第二步骤）:
图像预处理流程
验证码噪声分析
通常验证码噪声主要有以下:
-
变色：
对验证码字符像素进行变色，但一般而言为了可以辨认都是和图像底色有一定差别的。这就可以通过二值图像，把验证码字符和底色进行鲜明的区分。比如以下两种验证码，字体像素和背景差别很明显，通过PIL库二值化基本就能分理出字符像素:
处理后:
- 干扰点
干扰点基本上可以算是椒盐噪声，即离散的单独存在的噪点。这种噪声，一般噪点像素和周围像素差别较大，可以简单地用中值滤波处理（如果遇到高斯噪声的可以用高斯滤波）。
另外也可以遍历像素，计算一个像素4领域或者8领域的像素是否跟图像底色近似（用一个阈值做判断），如果超过一定数量则判断该像素为噪声，将此像素设为背景色。
- 干扰线：
干扰线依赖于绘制方式，分曲线和直线。但不管如何，其主要特点是像素是线性连接的，这就可以通过Flood Fill进行着色，并统计着色面积（一般都是验证码像素的着色面积最大），最后把那些着色面积小的噪声像素删除。
- 文字倾斜：
再去除噪声之后，可以把倾斜的文字像素通过仿射变换变成正体字。或者干脆直接用斜体的字建立训练模型（如果验证的字体倾斜方向比较单一的话还是可行的）。
去噪实例
验证码获取&噪声分析
验证码地址:
http://scm.sf-express.com/isc-vmi/loginmgmt/imgcode?a=0.18090831750297091
该验证码主要是增加了不同颜色的干扰线，并且干扰线比较细短。因此考虑先用PIL库将其转换成二值图，之后通过遍历每个像素点，判断邻域像素来删除多余噪声。
PIL二值图处理
灰度图转换:
img = Image.open(loadpath+file).convert("L")
PIL二值图算法:
手动遍历像素，以一定阈值为界限，把图片变成二值图像。
def binarizing(img,threshold): #input: gray image
pixdata = img.load()
w, h = img.size
for y in range(h):
for x in range(w):
if pixdata[x, y] < threshold:
pixdata[x, y] = 0
else:
pixdata[x, y] = 255
return img
结果:
可见二值化的图像并不能去除干扰线，这样的图像直接用tesseract做识别成功机会不会超过5%。因此需要把这些干扰线去除，这就需要用一定的算法来处理像素。
干扰线去噪算法
如图，对于以上直线行干扰线而言，从左到右的像素遍历会把干扰线的起点像素识别为噪声（3邻域像素都是背景色），然后继续遍历下去干扰线就清除了。当然对于较粗的2像素、3像素噪声，也是同样道理。
4邻域像素算法:
对于像素值>245的邻域像素，判别为属于背景色，如果一个像素上下左右4各像素值有超过2个像素属于背景色，那么该像素就是噪声。
def depoint(img): #input: gray image
pixdata = img.load()
w,h = img.size
for y in range(1,h-1):
for x in range(1,w-1):
count = 0
if pixdata[x,y-1] > 245:
count = count + 1
if pixdata[x,y+1] > 245:
count = count + 1
if pixdata[x-1,y] > 245:
count = count + 1
if pixdata[x+1,y] > 245:
count = count + 1
if count > 2:
pixdata[x,y] = 255
return img
处理结果:
可见第二幅图像有一处黑线噪声未去除，这是因为我采用了由左向右，由上向下遍历像素法，而仔细观察该验证码像素还是有黑色边框的，因此通过去除边框或者改变遍历方向就能去除该噪声。
tesseract测试
用默认的tesseract进行20个样本的测试（没有自己训练数据）,限定参数 -psm 7表示识别单行字符，并限定字符集为数字和大写字母。
结果其中有15个样本识别正确，成功率大概75%
主要问题集中在tesseract默认识别容易把G识别成6，把Y识别成V，因此为了提高识别率自己训练数据还是必要的。
