一、数据集准备

我们做目标检测的深度学习时，大家都知道要有训练（train）集，验证（valid）集和测试（test）集，数据集的格式也有很多种，我们这里使用的是pascal_voc数据格式。如下图是voc2007数据集文件夹格式

1. Annotations文件夹
   该文件下存放的是xml格式的标签文件，每个xml文件都对应于JPEGImages文件夹的一张图片。
2. JPEGImages文件夹
   该文件夹下存放的是数据集图片，包括训练和测试图片，一般都是jpg格式的照片，如果有必要的话可以将其他格式的照片转换成jpg或者用PNG格式，这个在后续会有提到
3. ImageSets文件夹
   该文件夹下存放了三个文件夹，分别是Layout、Main、Segmentation。在这里我们只用存放图像数据的Main文件夹，其他两个暂且不管。
4. SegmentationClass文件和SegmentationObject文件。
   这两个文件都是与图像分割相关，跟咱们这个没有太大关系，先不管。

1. Annotations文件夹

Annotations文件夹中存放的是xml格式的标签文件，每一个xml文件都对应于JPEGImages文件夹中的一张图片。xml文件的解析如下所示（这是我自己做的数据集的注释文件，想看原始的可以去下载PASCAL VOC2007原始数据集（http://host.robots.ox.ac.uk/pascal/VOC/voc2007/））：

<annotation>
        <folder>faster-RCNN-test1</folder>
        <filename>000001.jpg</filename>                                        #文件名
        <path>G:\UAV\faster-RCNN-test1\000001.jpg</path>                       #命名这个文件的文件夹名，不重要
        <source>                                                               #图像来源，不重要 
                <database>Unknown</database>
        </source>
        <size>                                                                 #图像尺寸，包括长、宽和通道数
                <width>4608</width>
                <height>3456</height>
                <depth>3</depth>
        </size>
        <segmented>0</segmented>                                               #是否用于分割，在目标识别中01无所谓
        <object>                                                               #检测到的物体
                <name>succulent_root</name>                                    #物体类别
                <pose>Unspecified</pose>                                       #拍摄角度
                <truncated>0</truncated>                                       #是否被截断，0表示完整
                <difficult>0</difficult>                                       #目标是否难以识别，0表示容易识别
                <bndbox>                                                       #bounding-box，包含左下角和右上角xy坐标
                        <xmin>2136</xmin>
                        <ymin>2031</ymin>
                        <xmax>2302</xmax>
                        <ymax>2207</ymax>
                </bndbox>
        </object>
        <object>                                                              #检测到几个物体，其他与第一个物体同样
                <name>pots</name>
                <pose>Unspecified</pose>
                <truncated>0</truncated>
                <difficult>0</difficult>
                <bndbox>
                        <xmin>1844</xmin>
                        <ymin>1748</ymin>
                        <xmax>2547</xmax>
                        <ymax>2400</ymax>
                </bndbox>
        </object>
        <object>
                <name>tag</name>
                <pose>Unspecified</pose>
                <truncated>0</truncated>
                <difficult>0</difficult>
                <bndbox>
                        <xmin>2719</xmin>
                        <ymin>1152</ymin>
                        <xmax>3743</xmax>
                        <ymax>1724</ymax>
                </bndbox>
        </object>
</annotation>

2. JPEGImages文件夹

1. JPEGImages 内部存放了PASCAL VOC所提供的所有的图片，包括了训练图片、验证图片和测试图片
2. 这些图像的像素尺寸大小不一，但是横向图的尺寸大约在500375左右，纵向图的尺寸大约在375500左右，基本不会偏差超过100。（在之后的训练中，第一步就是将这些图片都resize到300300或是500500，所有原始图片不能离这个标准过远。

3. ImageSets文件夹

ImageSets存放的是每一种类型的challenge对应的图像数据。

我们只需要准备三个文件夹即可，即刚才重点介绍的3个文件夹，Annotation，JPEGImages和ImageSets文件夹。

1. 准备训练所需的图片，图片命名成VOC2007格式，这样可以免去许多麻烦，下面是一个批量重命名文件的代码：

import os

path = r'G:\\UAV\\faster-RCNN-test\\'
savedpath = r'G:\\UAV\\faster-RCNN-test1\\'

filelist = os.listdir(path)
for i in range(0 , len(filelist)):
    input_img = path + filelist[i]
    output_img = savedpath + '%06d' % (i + 1) + '.jpg'
    print(input_img)
    print(output_img)
    os.rename(input_img , output_img)

2. 对图片进行注释，我这里使用的是Windows10 + Anaconda + LabelImg来做的，具体做法参见我的另一篇简书（https://www.jianshu.com/p/bda8ea406498）
3. 将数据集分隔成三部分分别用于faster-RCNN的训练，验证和测试，可以通过以下代码来实现：

import cv2
import os
import random
 
root = '/public/chenhx/Deep_learning_architecture/Faster-RCNN_TF/data/VOCdevkit/VOC2007/faster-RCNN-test1'
fp = open(root + '/'+'name_list.txt' , 'r')
fp_trainval = open(root + '/'+'trainval.txt', 'w')
fp_test = open(root + '/'+'test.txt', 'w')
fp_train = open(root + '/'+'train.txt', 'w')
fp_val = open(root + '/'+'val.txt', 'w')
 
filenames = fp.readlines()
for i in range(len(filenames)):
    pic_name = filenames[i]
    pic_name = pic_name.strip()
    x = random.uniform(0, 1)
    pic_info = pic_name.split('.')[0]
    #  this 0.5 represents 50% of the data as trainval data
    if x >= 0.5:
        fp_trainval.writelines(pic_info + '\n')
 
    else:
        fp_test.writelines(pic_info + '\n')
 
fp_trainval.close()
fp_test.close()
 
 
 
fp = open(root + '/' +'trainval.txt')
filenames = fp.readlines()
for i in range(len(filenames)):
    pic_name = filenames[i]
    pic_name = pic_name.strip()
    pic_info = pic_name.split('.')[0]
    x = random.uniform(0, 1)
    #  This 0.5 represents 50% of the trainval data as train data
    if x >= 0.5:
        fp_train.writelines(pic_info + '\n')
    else:
        fp_val.writelines(pic_info + '\n')
fp_train.close()

预训练模型、数据集的具体路径放在：

- Faster-RCNN_TF
    - data
        - VOCdevkit2007
            - VOC2007
                - JPEGImages
                - Annotations
                - ImageSets
        - pretrain_model
            - VGG_imagenet.npy

至此，准备完毕！！！