固定角度鸟瞰视角下小目标的检测和识别

固定角度鸟瞰视角下小目标的检测和识别

在很多场合,因为场地比较大,需要在最高处架设鸟瞰相机观察全景.
鸟瞰模式拥有非常好的视野,但是也为因为视角太广,导致观察的目标变得很小,如果使用传统的目标识别,目标检测算法,针对这么小的目标检测是个难度极大的挑战.
我们另辟蹊径,采用帧差算法,针对移动的小目标,在2帧之间的差异,识别出来变动的区域,再通过图像分类,识别出目标的类型.

1 . 找到小目标

首先,定义运动检测的初始背景及参数,

baseImg = []
baseImg.append(None)
baseImg.append(None)

取一帧图片,灰度化后和上一帧的保存的做absdiff,结果为2帧值差异.
差异帧通过模糊处理过滤掉微小干扰,最后形成掩膜帧

掩膜帧 合成帧 整体效果

    global baseImg
    gray = cv2.cvtColor(currentFrame, cv2.COLOR_BGR2GRAY)
    gray = cv2.GaussianBlur(gray, (MOVE_DETECT_CONV, MOVE_DETECT_CONV), 0)

    if baseImg[muser] is None:
        baseImg[muser] = gray

    imgDelta = cv2.absdiff(baseImg[muser], gray)
    mask = cv2.threshold(imgDelta, 25, 255, cv2.THRESH_BINARY)[1]

    kernel = np.ones((MOVE_DETECT_CONV, MOVE_DETECT_CONV), np.uint8)
    mask = cv2.dilate(mask, kernel, iterations=3)
    mask = cv2.GaussianBlur(mask, (MOVE_DETECT_CONV, MOVE_DETECT_CONV), 0)

    result = cv2.bitwise_and(currentFrame, currentFrame, mask=mask)
    cv2.imshow('mask', mask)
    cv2.imshow('result', result)
    baseImg[muser] = gray

bird0.gif

2. 目标检测及过滤干扰

# 运动检测,参数及初始化基本背景图
'''
MOVE_DETECT_HW = 1.0
MOVE_DETECT_CONV = 7 # 函数卷积因子 3,7,11,13 ...
MOVE_DETECT_MAXAREA = 10000
MOVE_DETECT_MINAREA = 200
'''

    cnts,_ = cv2.findContours(mask.copy(),cv2.RETR_TREE,cv2.CHAIN_APPROX_SIMPLE)
    for c in cnts:
        (x, y, w, h) = cv2.boundingRect(c)
        personArea = int(w * h)
        #print(personArea,x,y,w,h)
        
     
     

        if (h/w)<1.0:
            continue

        # 过滤较小的目
        if (personArea < 200) :
            continue

        # 过滤较大的目标
        if (personArea > 10000) :
            continue
        
        cv2.rectangle(currentFrame, (x, y), (x + w, y + h), (0,0,255), 1) 
            

3. 分类识别

# 对识别的目标图像,分割后送到深度学习模型做检测
# 本次采用的是resnet50模型,这个在分类中算是比较经典的一种,如果目标很小也可以采用resnet18,这样推理速度会更加快.
# CV图像张量化处理
image = cv2.cvtColor(image,cv2.COLOR_BGR2RGB)
image = cv2.resize(image,(224, 224))
arr = np.array(image).astype(np.float32) / 255.0
arr = arr.transpose(2, 0, 1).reshape([1, 3, 224, 224])


# ONNX Run Time
load_onnx = timer('Load ONNX Model')
ort_session = ort.InferenceSession('resnet18.onnx')
load_onnx.end()

# run( out_feed, in_feed, opt )
input_name = ort_session.get_inputs()[0].name

infer_onnx = timer('Run Infer')
outputs = ort_session.run(None, {input_name: arr})[0]
infer_onnx.end()


# 输出结果
# Get Labels
f = open('../lables.txt')
t = [ i.replace('\n','') for i in f.readlines()]
logger("Result : {}".format(t[np.argmax(outputs)]))

动态效果图