pix2pix
翻译：赵明明
像素转像素-tensorflow
基于Isola的pix2pix
介绍模型实现的文章
相关例子
pix2pix的tensorflow实现。模型学习了输入图片到输出图片之间的映射, 就像下面这些例子（input:输入，output输出):
这个功能基本实现是在torch上的，并不是在Tensorflow上. 这只是一个原来工作的实现，没有添加任何其他功能. 在测试时，调用了cnDNN,采用了gpu来加速.
安装
依赖软件
Tensorflow 1.4.1
依赖环境
Linux with Tensorflow GPU edition + cuDNN
从这里开始
# 从github上下载这个工程git clone https://github.com/affinelayer/pix2pix-tensorflow.gitcd pix2pix-tensorflow#下载CMP Faceades 数据库(地址：http://cmp.felk.cvut.cz/~tylecr1/facade/)python tools/download-dataset.py facades# 训练模型 GPU 需要训练1-8小时, 如果用CPU就要训练很久，有你等的了python pix2pix.py \
--mode train \
--output_dir facades_train \
--max_epochs 200 \
--input_dir facades/train \
--which_direction BtoA# 测试模型python pix2pix.py \
--mode test \
--output_dir facades_test \
--input_dir facades/val \
--checkpoint facades_train
测试的输出是一个HTML文件 facades_test/index.html，显示了输入\输出\目标图片对
如果你安装了Docker,你可以用Doker来运行pix2pix没有必要再安装对应的Tensorflow版本:
# 训练模型python tools/dockrun.py python pix2pix.py \
--mode train \
--output_dir facades_train \
--max_epochs 200 \
--input_dir facades/train \
--which_direction BtoA# 测试模型python tools/dockrun.py python pix2pix.py \
--mode test \
--output_dir facades_test \
--input_dir facades/val \
--checkpoint facades_train
数据库与模型训练
本程序需要的数据格式与原来的pix2pix一样, 就是需要把输入输出图片做成这个样子:
例如:
论文中放出一些可用的数据. 用这个脚本可以下载 tools/download-dataset.py. 下面图表中，每个数据训练好的模型也在旁边, 但是这些模型需要对应版本的pix2pix.py程序:
数据库例图
python tools/download-dataset.py facades
python tools/download-dataset.py cityscapes
2975 副图片来自数据库 Cityscapes training set. (113M)
python tools/download-dataset.py maps
1096 幅训练图片从谷歌地图中抽取(246M)
python tools/download-dataset.py edges2shoes
5万张训练图片 来自数据库UT Zappos50K dataset. HED 边缘检测器材检测了它的边缘. (2.2GB)
P训练方向: AtoB
python tools/download-dataset.py edges2handbags
13.7W 亚马逊手提袋图片，来自iGAN project. HED 边缘检测器和姿态估计器提取了手提袋的边缘. (8.6GB)
训练方向: AtoB
数据库facedes是最小、最容易的.
建立你自己的数据库
例如: 在图片中间放置一个白色色块
# 改变源数据大小python tools/process.py \
--input_dir photos/original \
--operation resize \
--output_dir photos/resized# 生成中心带有白色色块的图片python tools/process.py \
--input_dir photos/resized \
--operation blank \
--output_dir photos/blank# 合并以上两步生成的图片python tools/process.py \
--input_dir photos/resized \
--b_dir photos/blank \
--operation combine \
--output_dir photos/combined# t建立train/validation集合python tools/split.py \
--dir photos/combined
目录photos/combined下就会有训练和验证子文件夹train 和 val，你可以用来训练和测试.
Creating image pairs from existing images建立图片对
如果你有两个文件夹，文件夹里有对应的图片对（同名，同大小，只是图片内容不同）你可以用脚本process.py来处理他们:
python tools/process.py \
--input_dir a \
--b_dir b \
--operation combine \
--output_dir c
这步就产生了pix2pix.py需要的合成图片.
Colorization-着色
着色项目，你的图片大小必须与模型所需要一致. 你可以用以下命令来改变他们的大小或者剪切他们:
python tools/process.py \
--input_dir photos/original \
--operation resize \
--output_dir photos/resized
不需要其他 步骤了, 着色模型只需要单张图片即可.
Training-训练
Image Pairs-图片对
训练时，你需要指定训练文件夹, 指定朝哪个方向训练. 可选的方向有两个AtoB或者BtoA
python pix2pix.py \
--mode train \
--output_dir facades_train \
--max_epochs 200 \
--input_dir facades/train \
--which_direction BtoA
Colorization着色
pix2pix.py 脚本里有专为着色的特殊代码，使我们只用单图就可以完成训练，不再需要图片对, 要使用这段代码，可用下面的方式:
python pix2pix.py \
--mode train \
--output_dir photos_train \
--max_epochs 200 \
--input_dir photos/train \
--lab_colorization
此模型中，A图时黑白图，图B是彩色图.
Tips-提示
你可以用如下命令看看tensor板上的loss和计算图:
tensorboard --logdir=facades_train
如果你想看训练时的状态图,use用此命令 --display_freq 50. 这将会每50步用当前训练的输入输出来更新一次facades_train/index.html.
Testing测试
用--mode test来做测试。你需要用--checkpoint来指定checkpoint, 这个checkpoint应该在你训练时的output_dir文件夹里：
python pix2pix.py \
--mode test \
--output_dir facades_test \
--input_dir facades/val \
--checkpoint facades_train
测试模式时，可以从checkpoint文件里读取一些配置选项，比如变换方向等.
测试会输出一个HTML文件facades_test/index.html，里面会展示输入/输出/目标图片对:
Code Validation代码验证
我们使用了Linux系统，Nvidia GTX 750 Ti GPU，安装了K80 GPU 的Azure NC6.
git clone https://github.com/affinelayer/pix2pix-tensorflow.gitcd pix2pix-tensorflow
python tools/download-dataset.py facades
sudo nvidia-docker run \
--volume $PWD:/prj \
--workdir /prj \
--env PYTHONUNBUFFERED=x \
affinelayer/pix2pix-tensorflow \
python pix2pix.py \
--mode train \
--output_dir facades_train \
--max_epochs 200 \
--input_dir facades/train \
--which_direction BtoA
sudo nvidia-docker run \
--volume $PWD:/prj \
--workdir /prj \
--env PYTHONUNBUFFERED=x \
affinelayer/pix2pix-tensorflow \
python pix2pix.py \
--mode test \
--output_dir facades_test \
--input_dir facades/val \
--checkpoint facades_train
Comparison on facades dataset数据库facades上Tensorflow版本和Torch版本的对比:
Input
Tensorflow
Torch
Target
Input
Tensorflow
Torch
Target
Input
Tensorflow
Torch
Target
Input
Tensorflow
Torch
Target
Unimplemented Features没有实现的部分
以下模型没有实现:
defineG_encoder_decoder
defineG_unet_128
defineD_pixelGAN
引用
如果你使用了这个代码，请引用这个代码基于的论文: Image-to-Image Translation Using Conditional Adversarial Networks:
@article{pix2pix2016,
title={Image-to-Image Translation with Conditional Adversarial Networks},
author={Isola, Phillip and Zhu, Jun-Yan and Zhou, Tinghui and Efros, Alexei A},
journal={arxiv},
year={2016}
}
感谢
这是一个Torch转化为Tensorflow版本的工作. 包含了从Torch而来的颜色空间转换代码. 感谢Tensorflow团队带来的高质量库，然后特别感谢Phillip Isola回答我关于pix2pix的问题.
