R-FCN Python版本实现
R-FCN(Region-based Fully Convolutional Networks)，是一个准确和高效的基于区域的对象检测框架。 与先前的基于区域的检测器（诸如Fast/Faster R-CNN）在每个区域子网络几百次的高成本计算相反，R-FCN的基于区域的检测器是利用深度完全卷积网络，几乎所有计算在整个图像上共享。 R-FCN可以采用强大的完全卷积图像网络结构，例如ResNets等。
相关代码提供了Matlab和Python版本的实现，两者均是基于Caffe框架的实现。因为个人需要，本文记录了我在Ubuntu Linux下运行Python版本R-FCN的步骤，由于使用了Python Layer，该版本的速度相对于Matlab版本降低了10%。
Github：https://github.com/Orpine/py-R-FCN
Paper：https://arxiv.org/abs/1605.06409
环境
- Ubuntu Linux 14.04
- Python 2.7
- rfcn-caffe
- CUDA Toolkit 7.5与 cuDNN v3 or cuDNN
PS：
由于R-FCN对Roi Layer有了修改，因此需用使用作者版本的Caffe而不是BLVC版本。该版本Caffe要求使用CUDA Toolkit 7.5与** cuDNN v3 or cuDNN v4**。
因为cuda 7.5不支持gcc 4.9以上的编译器，而Ubuntu 16.04默认的编译器是gcc 5，即使是进行了降级处理，其apt-get仓库的各种依赖包依旧是使用gcc 5编译的，这样在编译caffe gpu的时候会出现冲突导致失败，因此最好选择Ubuntu 14.04。
个人体验，如果完全按照官方的步骤与版本要求来做，很少出现大的错误，之前因为自己替换各种不同版本，导致了一个星期的时间出现各种错误，真的是教训啊。
如果你需要在Windows下安装Caffe与R-FCN，可以参考下面这两篇文章：
http://blog.csdn.net/evan_feng/article/details/51612843
http://blog.csdn.net/chenzhi1992/article/details/53374265
安装
按照下面的顺序进行安装
一般依赖库安装
sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libhdf5-serial-dev protobuf-compiler
sudo apt-get install --no-install-recommends libboost-all-dev
Cuda 安装
有两种方式可以安装cuba，分别是apt-get与run文件安装，单显卡用户推荐前一种，双显卡推荐后一种。
第一种：
先把自带的显卡驱动清理干净
sudo apt-get --purge remove nvidia-*
自动安装cuda 7.5，选择安装cuda toolkit与驱动
sudo apt-get install nvidia-cuda-toolkit
第二种：
下载run文件，比如cuda_7.5.18_linux.run
打开黑名单文件，将blacklist nouveau添加到末尾。
sudo vim /etc/modprobe.d/blacklist.conf
执行下列命名删除自带的驱动
sudo reboot
sudo apt-get remove --purge nvidia*
重启后进入终端环境，进入run文件所在的目录，执行下列命令安装cuda
sudo service lightdm stop
chmod +x cuda_7.5.18_linux.run
sudo ./cuda_7.5.18_linux.run
如果出现错误
If you're sure that X is not running, but are getting this error, please delete any X lock files in /tmp.
可以通过通过直接删除X-lock文件解决问题
sudo rm /tmp/.X0-lock
配置cuda环境变量
打开用户配置文件
sudo vim ~/.bashrc
在文件末尾添加路径，这里根据自己的安装目录格式进行修改
PATH=/usr/local/cuda/bin:$PATH
export PATH
使路径生效
source ~/.bashrc
cudnn 安装
下载cudnn文件并解压,执行下列命令安装cudnn，注意根据自己的路径进行修改。
sudo tar xvf cudnn-7.0-linux-x64-v4.0-prod.tgz
cd cuda/include
sudo cp *.h /usr/local/include/
cd ../lib64
sudo cp lib* /usr/local/lib/
cd /usr/local/lib
sudo chmod +r libcudnn.so.4.0.4
sudo ln -sf libcudnn.so.4.0.4 libcudnn.so.4
sudo ln -sf libcudnn.so.4 libcudnn.so
sudo ldconfig
BLAS安装
安装 ATLAS，如果追求更好的性能，可以自行安装OpenBLAS或者MKL，这样的话需要自行修改caffe的配置文件。
sudo apt-get install libatlas-base-dev
Python相关安装
本文中使用了Ubuntu默认的python 2.7，如果使用了Anaconda2，那么可以省略某些包的安装。
sudo apt-get install python-dev
pip install cython
pip install easydict
apt-get install python-opencv
pip install matplotlib
其余依赖库
sudo apt-get install libgflags-dev libgoogle-glog-dev liblmdb-dev
Caffe 安装
作者提供的Caffe版本
git clone https://github.com/daijifeng001/caffe-rfcn.git
复制配置文件
cd caffe-rfcn
cp Makefile.config.example Makefile.config
修改配置文件，GPU版本删掉use_cudnn前的注释符号，CPU版本反之。
# cuDNN acceleration switch (uncomment to build with cuDNN).
USE_CUDNN := 1
# CPU-only switch (uncomment to build without GPU support).
# CPU_ONLY := 1
支持Python layer
# Uncomment to support layers written in Python (will link against Python libs)
WITH_PYTHON_LAYER := 1
如果使用了Python3、Anaconda等，可以自行修改其他属性。
安装Caffe
make -j8 && make pycaffe
配置pycaffe的环境变量，注意根据自己的路径进行修改。
vim ~/.bashrc
export PYTHONPATH=/home/xiaochu/caffe-rfcn/python:$PYTHONPATH # 添加到文件末尾
source ~/.bashrc # 执行使更改生效。
R-FCN安装
Python版本的R-FCN源码
git clone https://github.com/Orpine/py-R-FCN.git
编译lib目录下的Cython源码，将编译好的文件根据文件名，复制到nms、pycocotools、utils文件夹中去
cd ~/py-R-FCN/lib
python setup.py install
下载 ResNet Caffemodel : rfcn_models
解压到data目录下,解压后的目录结构如下：
data/rfcn_models/resnet50_rfcn_final.caffemodel
data/rfcn_models/resnet101_rfcn_final.caffemodel
执行Demo
cd ~/py-R-FCN/tools
python demo_rfcn.py --net ResNet-50
由于R-FCN的demo源码是每张图片的每个物体在一个新的窗口中框出来，因此我修改了一下源码，使得一张图片中的所有物体能够在一个窗口中规被全部框出来。
demo_rfcn.py
#!/usr/bin/env python
# --------------------------------------------------------
# R-FCN
# Copyright (c) 2016 Yuwen Xiong
# Licensed under The MIT License [see LICENSE for details]
# Written by Yuwen Xiong
# --------------------------------------------------------
"""
Demo script showing detections in sample images.
See README.md for installation instructions before running.
"""
import _init_paths
from fast_rcnn.config import cfg
from fast_rcnn.test import im_detect
from fast_rcnn.nms_wrapper import nms
from utils.timer import Timer
import matplotlib.pyplot as plt
import numpy as np
import scipy.io as sio
import caffe, os, sys, cv2
import argparse
CLASSES = ('__background__',
'aeroplane', 'bicycle', 'bird', 'boat',
'bottle', 'bus', 'car', 'cat', 'chair',
'cow', 'diningtable', 'dog', 'horse',
'motorbike', 'person', 'pottedplant',
'sheep', 'sofa', 'train', 'tvmonitor')
NETS = {'ResNet-101': ('ResNet-101',
'resnet101_rfcn_final.caffemodel'),
'ResNet-50': ('ResNet-50',
'resnet50_rfcn_final.caffemodel')}
def vis_detections(im, items):
"""Draw detected bounding boxes."""
rects = []
cas = []
for item in items:
class_name = item[0]
dets = item[1]
thresh = item[2]
inds = np.where(dets[:, -1] >= thresh)[0]
if len(inds) == 0:
continue
for i in inds:
bbox = dets[i, :4]
score = dets[i, -1]
rect = [bbox[0], bbox[1], bbox[2] - bbox[0], bbox[3] - bbox[1]]
rects.append(rect)
cs = [class_name, score]
cas.append(cs)
return rects, cas
def demo(net, image_name):
"""Detect object classes in an image using pre-computed object proposals."""
# Load the demo image
im_file = os.path.join(cfg.DATA_DIR, 'demo', image_name)
im = cv2.imread(im_file)
# Detect all object classes and regress object bounds
timer = Timer()
timer.tic()
scores, boxes = im_detect(net, im)
timer.toc()
print ('Detection took {:.3f}s for '
'{:d} object proposals').format(timer.total_time, boxes.shape[0])
# Visualize detections for each class
CONF_THRESH = 0.8
NMS_THRESH = 0.3
cand = []
for cls_ind, cls in enumerate(CLASSES[1:]):
cls_ind += 1 # because we skipped background
cls_boxes = boxes[:, 4:8]
cls_scores = scores[:, cls_ind]
dets = np.hstack((cls_boxes,
cls_scores[:, np.newaxis])).astype(np.float32)
keep = nms(dets, NMS_THRESH)
dets = dets[keep, :]
one = [cls, dets, CONF_THRESH]
cand.append(one)
rects, cas = vis_detections(im, cand)
fig, ax = plt.subplots(figsize=(12, 12))
im = im[:, :, (2, 1, 0)]
ax.imshow(im, aspect='equal')
for i in range(len(rects)):
r = rects[i]
ax.add_patch(
plt.Rectangle((r[0], r[1]), r[2], r[3] ,
fill=False, edgecolor='red', linewidth=3.5))
c = cas[i]
ax.text(r[0], r[1] - 2,
'{:s} {:.3f}'.format(c[0], c[1]),
bbox=dict(facecolor='blue', alpha=0.5),
fontsize=14, color='white')
plt.axis('off')
plt.tight_layout()
plt.draw()
plt.show()
def parse_args():
"""Parse input arguments."""
parser = argparse.ArgumentParser(description='Faster R-CNN demo')
parser.add_argument('--gpu', dest='gpu_id', help='GPU device id to use [0]',
default=0, type=int)
parser.add_argument('--cpu', dest='cpu_mode',
help='Use CPU mode (overrides --gpu)',
action='store_true')
parser.add_argument('--net', dest='demo_net', help='Network to use [ResNet-101]',
choices=NETS.keys(), default='ResNet-101')
args = parser.parse_args()
return args
if __name__ == '__main__':
cfg.TEST.HAS_RPN = True # Use RPN for proposals
args = parse_args()
prototxt = os.path.join(cfg.MODELS_DIR, NETS[args.demo_net][0],
'rfcn_end2end', 'test_agnostic.prototxt')
caffemodel = os.path.join(cfg.DATA_DIR, 'rfcn_models',
NETS[args.demo_net][1])
if not os.path.isfile(caffemodel):
raise IOError(('{:s} not found.\n').format(caffemodel))
if args.cpu_mode:
caffe.set_mode_cpu()
else:
caffe.set_mode_gpu()
caffe.set_device(args.gpu_id)
cfg.GPU_ID = args.gpu_id
net = caffe.Net(prototxt, caffemodel, caffe.TEST)
print '\n\nLoaded network {:s}'.format(caffemodel)
# Warmup on a dummy image
im = 128 * np.ones((300, 500, 3), dtype=np.uint8)
for i in xrange(2):
_, _= im_detect(net, im)
im_names = ['000456.jpg', '000542.jpg', '001150.jpg',
'001763.jpg', '004545.jpg']
for im_name in im_names:
print '~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~'
print 'Demo for data/demo/{}'.format(im_name)
demo(net, im_name)
效果图如下：
Demo
如果编译CPU版本会出现下图的问题，可能是这一层需要nvcc进行编译，cpu版本无法生成该层。
Error
在测试的过程中，出现过放弃核心存储，out of memory的错误，这是因为显存不够修改下面的文件，将Test size从1000修改到600即可。
/iib/fast_rcnn/config.py
# Max pixel size of the longest side of a scaled input image
__C.TEST.MAX_SIZE = 1000
