这个神代码让你的照片秒变宫崎骏漫画
随手拍张照片,顺势转换为宫崎骏大师的手绘作品,这个专门生成动漫图像的 GAN,真的很神奇。只需几秒即可把你的照片在二次元场景中复现:
二次元
原图
这是根据真实店铺照片生成的效果图,一度以为,这就是某个日漫番剧的截图。
尽管最近 2019 年的图灵奖颁给了计算机图形学、颁给了皮克斯 3D 动画,但很多人可能认为二维动漫更有意思一些。像宫崎骏、新海诚这些大师手绘下的动漫,才有了灵魂,张张都能成为壁纸,而整个日漫也以二维为核心。
如果有模型能将真实画面转化为日漫风格的手绘画面,那一定非常炫酷。最近发现确实有这些模型,从 CartoonGAN 到 AnimeGAN 都能生成非常有意思的图像。
这是一个 TensorFlow 新项目,它实现了 AnimeGAN,并提供了预训练模型。也就是说,我们下载后可以直接试试生成效果。作为日漫风格的爱好者,我们很快就试用了一下新项目。
或许你已经猜出来了,AnimeGAN的作者们本身也是二次元文化爱好者,是出于兴趣开始了这样一个研究项目。
论文作者,是湖北工业大学刘罡副教授,陈颉博士,以及他们的学生Xin Chen。
项目地址:https://github.com/TachibanaYoshino/AnimeGAN
虽然原项目给出的最佳示例很多都是街景,但我们发现各种其他场景也都还行,如下是我们试用的原图与生成效果。看看第一张樱花道生成效果,忽然有一种《千与千寻》的感觉。
如果只针对人物,转换效果也是非常不错的。我们尝试将新垣结衣的照片输入 AnimeGAN 模型,然后就有如下这种神奇的画风,感觉直接用到动漫里也没什么问题了。
在原 GitHub 项目中,作者还给了非常多的示例,如果会代码的话你也可以来用一用。
AnimeGAN
整个项目实现的是论文「AnimeGAN: a novel lightweight GAN for photo animation」中所提方法,作者在论文中分别将 AnimeGAN 与 已有的CartoonGAN、ComixGAN 进行对比。
从图中可以看到,AnimeGAN 在细节方面的表现要优于以上两种方法,色彩相对而言更加自然,涂抹感也没有那么强烈。最明显的是第二行的效果图,使用 AnimeGAN 生成的漫画更加接近宫崎骏的画风。
人工智能的发展如此迅速,相信总有一天,软件可以把你的照片转化成你崇拜的任何艺术家的作品。
什么是GAN?
Generative Adversarial Network,就是大家耳熟能详的 GAN,由 Ian Goodfellow 首先提出,在这两年更是深度学习中最热门的东西,仿佛什么东西都能由 GAN 做出来。就是模型通过学习一些数据,然后生成类似的数据。让机器看一些图片,然后自己来产生图片,这就是生成。
从2014-2019,GAN已经诞生6年。GAN是一种深度学习模型,被广泛用于图像等信息生成。对于给定一批数据,GAN可以将高斯分布采样的噪声转化成和给定数据相似的新数据,从而达到源源不断地制作逼真的“合成数据”。
![](https://img.haomeiwen.com/i10430176/1ec71cccfa94dc7c.png)