Python 进行人脸校正
问题描述
在做人脸识别的时候，前期的数据处理过程中可能会遇到一个问题，即将人脸从不同尺寸的图像中截取出来，再进行“对齐”操作。这样可以使每一个截取的人脸中的眼睛等位置处于同一位置，会对后面的识别算法起到一定的优化作用。
比如，下面 3 张图片所示，人脸的位置，图像的大小各不一样。我们所需要做的就是，将人脸从各个图片中截取出来，再旋转进行校正，使得眼睛在同一位置上，最后将图片的大小也统一调整为 224 x 224。
校正的效果如下图所示：
实现步骤
前提：已经提取出每张图片里眼睛的坐标，只需要读取数据就行
整个过程遵循以下几个步骤：
- 找两眼间的直线距离并计算该直线与水平线之间的夹角，即倾斜角度
- 根据找到的倾斜角度旋转图片
- 在旋转后的图片中找到眼睛的位置
- 根据眼睛坐标找到包含面部的框的宽度和高度
- 调整图片的尺寸
1. 计算直线距离及倾斜角度
计算两眼之间的距离很简单，只要找出两个向量的坐标就可以计算出来。计算两眼之间的距离直线的倾斜角度，就是将两个向量相减，得到一组横纵坐标，然后利用 arctan 的公式求解角度，公式如下所示：
大多数 sin / cos 等函数要求角度为弧度，可以使用这个转换公式：angle = angle * 180 / π。
"""
1.找到眼睛倾斜的角度和两眼距离
"""
p1 = np.array(eye[0])[::-1] # 左眼坐标
p2 = np.array(eye[1])[::-1] # 右眼坐标
dist = np.sqrt(np.sum(p1-p2)**2) # 两只眼睛之间的距离
dp = p1 - p2
angle = np.arctan(dp[0] / dp[1])
2. 根据找到的角度旋转图片
上一步骤中，求出了眼睛的倾斜角度，这一步就可以使用该角度来旋转图片了。这里方便地调用 scipy.ndimage.rotate 来旋转图片。之后再计算出旋转后图片的中点。
"""
2. 旋转图片
"""
from scipy import ndimage
# 旋转图片
rot_img = ndimage.rotate(face, angle=+angle*180/np.pi)
# 旋转后图像的中点
rot_image_center = np.array((np.array(rot_img.shape[:2]) - 1) / 2,
dtype=np.int)
3. 寻找旋转后眼睛的位置
寻找旋转后眼睛的位置，就是寻找旋转后两个点的坐标。旋转的时候，我们是以图片中点为原点来旋转的，因而需要先求解出原图片的原点，也就是图片的中心点。下面是以原点 (x0, y0) 为中心旋转后，求坐标的公式：
"""
3. 在旋转后的图片中找到眼睛的坐标
"""
# 原两眼距离的中点
org_eye_center = np.array((p1 + p2) / 2, dtype=np.int)
# 原图像的中点
org_image_center = np.array((np.array(face.shape[:2]) - 1) / 2, dtype=np.int)
# 以图片中心进行旋转，在旋转后的图片中找到眼睛的中点
R = np.array([[np.cos(angle), np.sin(angle)], [-np.sin(angle), np.cos(angle)]])
rot_eye_center = np.dot(R, org_eye_center[::-1]
-org_image_center[::-1])[::-1] + rot_image_center
rot_eye_center = np.array(rot_eye_center, dtype=int)
4. 根据眼睛坐标找到包含面部的框的宽度和高度
找到旋转后眼睛的坐标，可以利用眼睛的坐标来框出人脸的大致范围。这里就直接看代码，从代码中比较好理解。
"""
4. 根据眼睛坐标找到包含面部的框的宽度和高度
"""
mid_y, mid_x = rot_eye_center
MUL = 2
y_top = int(max(mid_y - MUL * dist, 0))
y_bot = int(min(mid_y + MUL * dist, rot_img.shape[0]))
x_left = int(max(mid_x - MUL * dist, 0))
x_right = int(min(mid_x + MUL * dist, rot_img.shape[1]))
cropped_img = rot_img[y_top:y_bot+1, x_left:x_right+1, :]
5. 裁剪图片
将旋转并框出的人脸进行裁剪，将其设定为统一的尺寸。
"""
5. 裁剪图像的尺寸为 224x224
"""
import skimage.transform as transform
scaled_img = transform.resize(cropped_img, [224, 224], mode='constant')
plt.imshow(scaled_img)
完整的代码链接：face-alignment
参考文献
[1]. Coursera - Deep Learning in Computer Vision Week 1 assigment
[2]. 图像旋转的原理，实现与优化
[3]. Rotated image coordinates after scipy.ndimage.interpolation.rotate?
