利用机器学习进行人脸颜值评分
科学可以让童话变成现实, 还记得《白雪公主》里面的魔镜么, 利用人类科技真是可以让平民老百姓也能有一个了。 因为人类让计算机也可以自己用机器学习做判断了。
利用机器学习的常用步骤就是先让机器学习,再让机器干活。
对人脸进行打分这个事儿怎么学习, 肯定得给计算机一堆照片,告诉它每一张照片的得分是多少, 计算机学习完了, 再给它一个它没见过的照片, 让它打个分,看看学习的好不好。
学习的话可以利用一些机器学习的框架,比如 Caffe, Tensorflow, 不过这些框架安装比较费劲, 使用起来比较麻烦,运行时间也比较长。 我们试试用最基础的机器学习库来解决这个事吧。 本文涉及到的代码和文档都放在了 Github 的这个链接里了:
首先,我们得把人脸照片中的关键信息提出来,这个信息越少越好, 这样以后计算机进行学习的时候比较省事。 对人脸来讲, 决定颜值高低的是一些关键点的位置。 这些关键点的位置在照片中就是用横纵坐标来表示。 所以我们先从网上找到一些妹子的照片,这些照片放在了 source/web_image 文件夹里,对于每张照片的评分, 放在了 data/ratings.txt 文件里。 以照片文件夹路径为参数, 我们运行 1_facial_landmarks.py 程序, 它可以把每张照片中人脸的关键点提取出来,存在一个文本文件里。 这个程序里面用到了 dlib 库的人脸识别功能, 把照片中的人脸找出来,再去找人脸中的关键点。这块有一个特别需要注意的地方, 因为我们是从一个文件夹里的 500 张照片逐个照片去找关键点的,在程序中用 listdir 函数列出这 500 张照片时, 千万要记得排序!因为 listdir 函数列出来的文件名顺序,并不是按照照片文件名中的序号顺序, 所以调用了一下 sort 函数:
list_im.sort(reverse = True, key=lambda x:int(x[8:-4]))
第二步, 我们可以从人脸的关键点里计算一下特征。 这个特征就是各个关键点之间的距离比例。 当然我们可以把任意两个人脸关键点之间的距离算一下, 再算一下这个距离与其他所有距离之间的比例。 但是人脸关键点至少有几十个, 我们怎么减少一下程序计算量。 这样我们等待的时间也可以少一点。 我们可以站在对人脸美学研究比较多的专家的肩膀上,来实现这个目的。 韩国科学家在这方面比较先进,因为它们的整容技术应用的太普遍了, 看看这篇文章 “A Novel Framework for Assessing Facial Attractiveness Based on Facial Proportions”, 它总结了几个决定人脸美丽程度的几个重要比例,我们可以拿过来用。 这几个关键点距离比例,我们把它算好后放在 data/features_ALL.txt 文本文件中。
第三步, 有了每张照片的特征和评分, 我们就可以把他们扔给计算机学习了。 我们还有个可以减少学习时间的手段可以利用,就是主成分分析 Principal Component Analysis
(PCA) 大法。 我们算出来的特征还是有点多,我们用 PCA 给它减少点, scikit-learn 中有 PCA 的库可以直接利用。 特征想要减少到多少呢, 可以利用已有的数据集实验确定一下, 或者随便给它一个差不多不太大的值先用用看。 之后我们就可以利用机器学习的模型进行训练了。 常用的模型有线性回归、逻辑回归、支持向量机、随机森林和高斯过程回归。不同的模型表现效果会不太一样,针对某个特定的问题, 你可以都实验一下,挑选一个表现最好的。 这个标准可以根据 Pearson correlation , 从你的数据集里专门拿出来一小部分做个测试,实验一下,看看这个模型的训练结果和测试数据集吻合程度高不高。 学习训练的结果就放在 model文件夹里面,后面就可以利用它进行颜值评分了。
第四步, 给程序一张它没见过的照片,让计算机自己判断吧。 我们还是要从这张照片中把人脸找出来,找到人脸中的所有关键点。利用关键点计算出我们感兴趣的特征 (记得那篇韩国论文了没有) ,把我们第三步生成的训练结果模型加载进来,利用那个训练过的模型进行预测评分吧。
以上就是一个机器学习的完整过程,具体实现请实验代码~