用Python做世界名画合成,下一个毕加索就是你了!
如今,随着深度学习技术逐渐成为人工智能的研究热潮,python这门编程语言的热度也不断的提升,甚至一度超越Java,成为第一热门编程语言。
今天小编就带领大家,利用深度学习的技术来实现图像的合成,即风格迁移。小编力争用最通俗易懂的语言让大家理解何为风格迁移,以及风格迁移的基本原理,最后是教大家如何实现属于自己的风格迁移。
1.何为风格迁移
风格迁移的意义就在于既保持了原图的内容,又将原图赋予新的风格,至于组合起来的效果,看起来就像是画的一样,让计算机拥有了绘画大师的技能。
风格迁移的原理是什么呢?风格迁移其实本质也是利用了卷积神经网络特征提取的能力,而卷积神经网络就是深度学习中的一个最为基础的模型,模型的基本结构如下所示:
网络通过一层层的提取特征,并通过优化损失函数,达到图像分类,目标检测等目的。
2.风格迁移的关键
风格迁移的关键就在于损失函数的设计,风格迁移的损失函数包含了两个部分,一个是内容的损失,就是评价合成的图片和原图之间的相似程度,我们暂且称之为loss_A,另一个是风格损失,其评价的是合成的图和风格图之间的风格相似程度。我们暂且称之为loss_B。而总的损失函数可以描述为以下公式:
Total_loss = α* loss_A + β * loss_B,其中α和β是用来权衡loss_A和loss_B,也就是偏重于哪一个损失函数。
下面我们来分别简要的介绍loss_A和loss_B。在卷积神经网络中,较低层的网络层提取的特征一般为表述图像具体视觉特征,例如颜色特征、边缘信息等特征,而较高层提取的特征一般是较为抽象的特征信息,而这些抽象的特征信息更贴近于我们眼中理解的物体。如下图所示:
从上图我们可以看出,卷积神经网络的较低层,提取的只是边缘、颜色等信息,而在较高层中,提取的特征更加抽象,也更加符合我们所认知的图像。所以要比较两幅图的loss_A, 也即内容损失,需要比较两幅图(原图和合成图)的较高层特征信息的相似程度。而对于loss_B,则需要比较两张图(合成图和风格图)的较低层特征信息的相似程度。
03.
训练深度学习模型
以上就是风格迁移的基本原理,下面小编就带领大家设计属于自己的风格迁移模型。由于风格迁移模型训练数据集较大,而且对于电脑的硬件要求较高,小编的电脑是1080Ti的显卡,外加16GB的内存,即便是这样,训练三个模型的话也需要一天的时间,因此,小编直接拿来了他人训练好的模型来进行我们的风格迁移。
模型一共有三种风格图,如下图所示:
有了风格图,下面就是利用训练好的模型进行原图的风格转化了,首先在dos系统下找到stylize_image.py 的文件路径,然后利用python进行运行,输入我们的原图路径,风格画模型路径和合成图的保存路径后,点击enter便可以生成我们的合成图,程序的运行界面如下图所示:
需要注意的是,想要运行程序的话,大家的电脑里需要安装numpy,argparse,tensorflow等python库。
4.最后看一下合成的效果