yolov3环境配置训练及优化

2018-12-29 本文已影响0人 xiaose26

科普

gcc/g++: - GNU project C and C++ compiler.When you compile C++ programs, you should invoke GCC as g++ instead.
Cuda:GPU Accelerated Computing with C and C++
PTX：线程并行计算
NVIDIA-cuda其他：https://docs.nvidia.com/cuda/index.html

一、Ubuntu+cuda+cudnn+opencv+darknet/yolov3环境配置

1.NVIDIA显卡驱动安装

首先查看系统是否已经安装NVIDIA驱动，查看方式输入nvidia-smi无输出或系统信息没有显卡信息。
安装方式有ppa或官网下载驱动安装，再次之前可查看系统推荐驱动：

ubuntu-drivers devices

也可以在官网查看：https://www.geforce.cn/drivers

安装教程可参考这篇：https://blog.csdn.net/ghw15221836342/article/details/79571559网上大部分教程提示需要禁用nouveau，本人亲测关掉图形界面就可以，不需要禁用。

安装成功：nvidia-smi显示显卡信息，或系统信息有显卡graphics这栏,如下：

2.gcc降版本

cuda支持gcc/g++版本需要在6.0以下。******降版本需要注意删除原来连接
参考：https://blog.csdn.net/csdn_zhishui/article/details/83751120

3.安装cuda

查看显卡支持cuda版本
windows:（参考：https://blog.csdn.net/wangyjfrecky/article/details/55100963）
控制面板->搜索NVIDIA->双击进入NVIDIA控制面板：
点击帮助->系统信息->组件

UBUNTU：参考（http://www.voidcn.com/article/p-ujjgjaae-xp.html）根据显卡型号选择
我选择cuda9.0 cuda9.0【点这下载】

根据自己的系统选择，但必须选择runfile,因为之前已经安装过驱动，其他包会重复安装。可能导致循环登录。安装参考官网命令：

首先是协议，按enter到100%，是否安装驱动选择no，其他默认或自定。

InstallNVIDIA Accelerated GraphicsDriver for Linux-x86_64 384.81?

此处选择no

此处需要安装四个打包文件patch，命令同上，安装后在根目录/usr/local下会有cuda-9.0和cuda两个文件夹。

若系统自带驱动符合要求，可以直接跳过驱动安装：

【deb包安装教程】

配置环境变量：
打开~/.bashrc文件，在末尾加入：

export PATH=/usr/local/cuda-9.0/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda-9.0/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

***此处需要测试nvcc命令，若提示没有安装并建议安装nvidia-cuda-toolkit,可以重启电脑再试，run包安装时有选择cuda-toolkit安装，若重复安装，nvidia-cuda-toolkit自带415驱动，可能导致循环登录。正常安装后，nvcc输出：

具体可参考这篇博客：https://blog.csdn.net/jiangyanting2011/article/details/78873113

3.cudnn安装

cudnn安装比较简单，需注意和cuda版本匹配【下载地址】

注册登录后下载

同参考这篇博客安装方式：https://blog.csdn.net/jiangyanting2011/article/details/78873113

4.opencv NVIDIA cuda版本编译安装

cuda9.0支持opencv3.4.0及之前的版本，opencv官网下载opencv，我选择3.4.0，

【opencv各个版本下载地址】

下载解压后进入目录 cd opencv-3.4.0

安装cmake 等一系列依赖包

$ sudo apt-get install build-essential
$ sudo apt-get install cmake git libgtk2.0-dev pkg-config libavcodec-dev    libavformat-dev libswscale-dev
$ sudo apt-get install python-dev python-numpy libtbb2 libtbb-dev libjpeg-dev   libpng-dev libtiff-dev libjasper-dev libdc1394-22-dev # 处理图像所需的包
$ sudo apt-get install libavcodec-dev libavformat-dev libswscale-dev libv4l-dev     liblapacke-dev
$ sudo apt-get install libxvidcore-dev libx264-dev # 处理视频所需的包
$ sudo apt-get install libatlas-base-dev gfortran # 优化opencv功能
$ sudo apt-get install ffmpeg

创建新文件夹来编译，否则会报错，进入目录

sudo mkdir build
cd build

编译（无cuda版本可按网上教程来，此处为cuda版本）

$ cmake -D CMAKE_BUILD_TYPE=RELEASE \
-D CMAKE_INSTALL_PREFIX=/usr/local \
-D OPENCV_EXTRA_MODULES_PATH=~/opencv_contrib-3.4.0/modules \#若出错或无可去掉
-D PYTHON_EXCUTABLE=/usr/bin/python3\  #根据自己的Python版本确定，默认则安装到2.7版本
-D WITH_CUDA=ON \    #使用CUDA
-D WITH_TBB=ON \
-D BUILD_NEW_PYTHON_SUPPORT=ON \
-D WITH_V4L=ON \
-D WITH_GTK=ON \                #不加ubuntu cmake可能会报错
-D WITH_OPENGL=ON \
-D WITH_CUBLAS=ON \
-D DCUDA_NVCC_FLAGS="-D_FORCE_INLINES" \
-D CUDA_ARCH_BIN="6.1" \    #   [GPU计算能力](https://developer.nvidia.com/cuda-gpus)
-D CUDA_ARCH_PTX="" \   #线程并行计算`
-D BUILD_EXAMPLES=ON \
-D CUDA_GENERATION=Pascal ..   #自己显卡架构

完成后lscpu 查看电脑CPU核数

我的总共为4，接下来：

sudo make -j4

完成后安装

sudo make install

测试，无报错则安装成功

xiaose@lenovo:~$ python3
Python 3.6.7 (default, Oct 22 2018, 11:32:17) 
[GCC 8.2.0] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import cv2
>>>

提示找不到cv2模块，安装

sudo apt-get install python3-opencv

重新编译报错解决：删除build同级目录下cache文件

5.darknet/yolov3 编译

YOLOv3官网【下载】
打开Makefile，更改参数，根据自己环境修改参数

GPU=1
CUDNN=1
OPENCV=1
OPENMP=0
DEBUG=0

由于使用Pascal架构，需要在架构上加-gencode arch=compute_61,code=[sm_61,compute_61]

ARCH= -gencode arch=compute_30,code=sm_30 \
      -gencode arch=compute_35,code=sm_35 \
      -gencode arch=compute_50,code=[sm_50,compute_50] \
      -gencode arch=compute_52,code=[sm_52,compute_52] \
      -gencode arch=compute_61,code=[sm_61,compute_61]

修改nvcc路径，根据自己修改

NVCC=/usr/local/cuda-9.0/bin/nvcc

COMMON+，LDFLAGS+路径可为默认cuda或改为cuda-9.0

ifeq ($(GPU), 1) 
COMMON+= -DGPU -I/usr/local/cuda-9.0/include/
CFLAGS+= -DGPU
LDFLAGS+= -L/usr/local/cuda-9.0/lib64 -lcuda -lcudart -lcublas -lcurand
endif

修改完成后保存，执行

sudo make

若更改参数，重新编译 make clean 后make
测试，darknet目录下 ./darknet出现下图，编译成功

$ ./darknet
usage: ./darknet <function>

二、训练技巧、问题及解决办法：

1.xml标注文件转txt

可参考darknet源码scripts/voc_labels.py文件

2.更改测试label，box线条粗细及标签大小

image.c文件

3.训练图片集路径问题

原作者是将txt文件生成训练集路径

实测：将目录下图像生训练集路径文件train_image_path.txt，并将txt文件放到图片目录下一一对应

4. .cfg文件修改

batch=64
subdivisions=16

batch,subdivisions根据自己显存大小修改，并且batch/subdivisions最好为自己GPU数量的整数倍

learning_rate=0.001
burn_in=1000

多GPU训练时：learning_rate=0.001/gpus burn_in=1000*gpus 对于YOLO层

[convolutional]
size=1
stride=1
pad=1
filters=42
activation=linear

[yolo]
mask = 0,1,2
anchors = 10,13,  16,30,  33,23,  30,61,  62,45,  59,119,  116,90,  156,198,  373,326
classes=9
num=9
jitter=.3
ignore_thresh = .5
truth_thresh = 1
random=1

classes根据自己检测类别数更改，对应上一层卷积层filters=3×（5+num[classes])
anchors可以根据自己的样本聚类得到

5.cannot fopen ***.jpg/txt

检查对应训练集路径

6.cuda error: out of memory

改小batch/增大sudbivisions，或者关闭多尺度训练random=0

7.darknet: ./src/cuda.c:36: check_error: Assertion `0' failed.

（1）有out of memory错误：检查是否有图像读取错误或同6
（2）无out of memory 错误：Makefile中arch架构与自己显卡架构不匹配，参照安装方法重新编译。
一般来说，也可能是类别数和yolo层filters不匹配

8.训练开始一段时间后出现loss=nan 、IOU=nan ,其他参数全为0的情况

确保cfg文件是train模式，batch、subdivisions不全为1，查看自己训练集txt是否为空
若为多GPU训练，按上述设置参数，防止陷入局部极值点或loss及IOU计算错误。

9.obj和no obj同时下降

使用初始权重darknet53.conv.74或YOLOv3.weights训练时，由于与作者训练集样本结构不同，为正常现象，若全降为0后不上升，出现大片nan和0，根据多GPU训练修改参数或将batch增大到128及以上

10.测试权重需要关闭训练

11.修改cfg文件不需要重新编译，修改源码需要重新编译

12.训练权重在训练的电脑上可以检测出目标，但换一台机器后无法检测出目标的问题

确保gcc/g++降版本的时候删掉了原来的连接，根据自己的显卡，选择相应的fermi/kepler/maxwell/pascal/turing架构，并根据计算能力选择arch=xx后重新编译

13. No input parameters supplied: Success darknet: ./src/utils.c:256: error: Assertion `0' failed.Aborted (core dumped)

首先加sudo权限，报错找不到libcudart.so.9.0，【解决办法】
若不能解决，则可能为darknet自身问题【参考】重新编译darknet

优化

根据官方参考文档
1. 在.cfg文件中设置random=1，可以增加检测精度。
2. 增加input图像尺寸，在.cfg文件中设置（height=608，heigh=608）以上，可以增加检测精度
3. 对.cfg文件中的anchors重新进行聚类
4. 确保数据集中所有的class都有对应的label，检测你的数据集可以使用https://github.com/AlexeyAB/Yolo_mark
5. 所使用的数据集包括同一物体在不同角度、光照、背景、大小下的图片，并且确保训练2000**classes个iterations以上。
6. 确保生成的txt文档不为空
其他详见官方参考文档

参考：

https://blog.csdn.net/ghw15221836342/article/details/79571559

https://blog.csdn.net/wangyjfrecky/article/details/55100963

https://blog.csdn.net/qq_35976351/article/details/79325476

https://blog.csdn.net/jiangyanting2011/article/details/78873113