从Keras开始掌握深度学习-2 准备你的数据集

前言

2013年的时候，Kaggle发布了这样的一个挑战(https://www.kaggle.com/c/dogs-vs-cats)：

In this competition, you'll write an algorithm to classify whether images contain either a dog or a cat. This is easy for humans, dogs, and cats. Your computer will find it a bit more difficult.

Dog or Cat?

这个挑战提供了一个狗与猫的图像标注过后的数据集，不限算法，实现对含有狗与猫的图像进行分类。在学习了这么久的神经网络之后，此时第一个在脑海中浮现出来的想法肯定是使用卷积神经网络，毕竟卷积神经网络对对图像分类的任务来说是具有极大的优势的。
那么在这一篇文章中，我们将重点放在如何准备并处理这个数据集，以便Keras使用。

下载与处理数据集

Kaggle的Dogs and Cats的数据集可以从Microsoft的网站上进行下载，下载地址如下：
https://www.microsoft.com/en-us/download/details.aspx?id=54765
数据集大小：787MB
每个分类的样本有12,500个，这个样本数量对于训练一个神经网络应该是足够的。
加载和处理数据集首先需要从系统读取图片，这就需要使用到我们的os模块，os模块主要用来遍历目录和结合路径；同时处理图像数据则需要使用OpenCV(图像操作)和Numpy(数组操作)的包；最后使用Pyplot来进行图像的绘制。

import numpy as np
import os
import cv2
import matplotlib.pyplot as plt

由于OpenCV并非Anaconda集成的，因此需要单独安装。可以通过pip install opencv-python来安装OpenCV或通过pip install opencv-contrib-python来安装带额外功能的OpenCV版本。
在程序的最前面，我们需要指定数据集的路径与包含的类别：

data_path = "D:/dev/pythonwork/dataset/kagglecatsanddogs_3367a/PetImages/"
categories = ["Dog", "Cat"]

由于不同的卷积网络的输入基本上是固定的，而数据集中的图像大小是不一样的，因此我们需要统一所有图片的大小。统一图片的大小则需要用到Opencv的cv2.resize函数。
首先，让我们通过cv2.imread来读取所有的图片，而后使用cv2.resize修改图片大小。

# 定义图像为50*50的大小
img_size = 50

train_data = []

def create_train_data():
    for category in categories:
        path = os.path.join(data_path, category)
        class_num = categories.index(category)
        for img in os.listdir(path):
            try:
                img_array = cv2.imread(os.path.join(path, img), cv2.IMREAD_GRAYSCALE)
                new_array = cv2.resize(img_array, (img_size, img_size))
                train_data.append([new_array, class_num])
            except Exception as e:
                pass

create_train_data()

上述代码先是定义了一个空的列表作为我们的训练集。对于这个机器学习程序来说，我们的目的是让其可以将狗与猫进行分类。因此，训练集应该有特征与标签，标签就是用来区分狗与猫的标签。由于我们前面定义的类别是一个字符串列表，因此这里需要将其转换为0或1的数字。
而且便是读取图像与处理图像。由于数据集中有一些图像坏了，从而会引起一些异常，所以这里采用try来将图像处理的语句包裹起来，如若遇到异常则跳过。
最后，运行create_train_data()函数之后，我们得到了一个包含特征与标签的训练集。通过print(len(train_data))来查看这个训练集发现其中一共有24946个样本。
由于在读取和处理图像的时候，是先读取Dog的图像再读取Cat的图像，因此整个train_data的前12500个样本会都是Dog，而后12500个样本则都是Cat。这样训练对机器学习程序来说会很不友好，因此，我们需要对其进行打乱(Shuffle)。

import random

random.shuffle(train_data)

运行完shuffle方法之后，我们的训练集就被成功地打乱了。
最后，让我们将准备好的训练集以特征与标签的形式保存下来。以机器学习程序的标准命名规则来以X来表示特征集，y来表示标签。

for feature, label in train_data:
    X.append(feature)
    y.append(label)
    
X = np.array(X).reshape(-1, img_size, img_size, 1) # 最后的1代表grayscale 只有1个通道

准备完成之后，将X和y通过pickle来保存下来，以便别的程序使用。

import pickle

# pickle保存数据
pickle_out = open("X.pickle", "wb")
pickle.dump(X, pickle_out)
pickle_out.close()

pickle_out = open("y.pickle", "wb")
pickle.dump(y, pickle_out)
pickle_out.close()

# pickle读取数据
pickle_in = open("X.pickle", "rb")
X = pickle.load(pickle_in)

保存完成之后，我们将会在相应的文件夹下面找到X.pickle与y.pickle文件。
在下一节中，我们通过Keras的Sequential模型来建立并训练一个卷积神经网络。