opencv编译流程

一、结构介绍

• 1.1，视觉跟踪需要用到opencv的trackering类，但官方的OpenCV releases并不包含opencv_contrib。所以在编译的时候需要包含tracking。

二、编译前的准备

• 2.1，安装Cmake，编译脚本可以用cmake
• 2.2，下载opencv指定版本的标准库
• 2.3，下载opencv_contrib相同版本的贡献库
• 2.4，根据这个路径~/opencv/platforms/ios/build_framework.py找到build_framework，修改几处基础配置。（将 **--enable_nonfree**设置为**default=True**，默认是False。和由于项目只支持真机，减少编译时间可以将**--iphoneos_archs**为**armv7**）。
• 2.5，opencv_contrib库中包含很多功能库，我们只需用到tracking这个类，所以可以直接从~/opencv_contrib/modules中找到tracking，移动到~/opencv/modules中即可。

2.5步骤是编译的一种方式，若还需用到其他库可以如下直接编译
./OpenCV/
├── opencv-4.5.5/
└── opencv_contrib-4.5.5/
注解： 标准库和贡献库必须在同一个目录下编译

三、编译OpenCV

• 3.1，切换到你的工作目录，编译后的文件将输出到这个目录（cd <yourWorkSpace>）
• 3.2，执行编译脚本方式一（将需要的功能库移动到opencv的modules种）python opencv/platforms/ios/build_framework.py ios
• 3.3，编译脚本方式二（直接编译标准库和贡献库, --contrib 参数指定为我们下周的扩展包的目录）python path/to/build_framework.py --contrib path/to/opencv_contrib iOS

四、项目接入opencv2.framework

• 4.1，FiFish项目中视觉追踪有两个版本（即VL1.0和VL2.0），但两个版本底层也是通过OpenCV实现的。
• 4.2，具体实现在QYVisionLockTrackerManager类

#import <opencv2/opencv.hpp>
#import "opencv2/imgproc.hpp"
#import "qyTracker.h"
#import <opencv2/tracking/tracking_legacy.hpp>

{
    cv::Ptr<cv::legacy::TrackerMedianFlow> medianTracker; //  VL1.0 视觉跟踪器
    QytTracker *tracker; // VL2.0 视觉跟踪器
}

----------- VL1.0(VL1.0是直接和opencv交互) ----------- 
cv::Rect2d rect2d =  [self calculateRectInImageMat:dstMat sizeScale:sizeScale centerScale:centerScale];
medianTracker = cv::legacy::TrackerMedianFlow::create();
bool isTrackerInit = medianTracker->init(dstMat, rect2d);
self.isInitTracker = isTrackerInit;
complete([self calculateRectWithScreenScale:sizeScale centerScale:centerScale] ,isTrackerInit);

----------- VL2.0（VL2.0是与算法交互） ----------- 
 if (tracker == NULL) {
   tracker = new QytTracker();
  }
 cv::Rect bbox = [self calculateRectInImageSize:dstMat sizeScale:sizeScale centerScale:centerScale];
 tracker->init(dstMat, bbox);
 self.isInitTracker = YES;
 complete([self calculateRectWithScreenScale:sizeScale centerScale:centerScale] ,YES);

• 4.3，算法需要的类型的cv：Mat类型，所以需要将yuv转成cv：Mat类型

// yuv转cv::Mat
- (cv::Mat)dstMatWithYuv:(uint8_t *)yuv_frame width:(int)width height:(int)height {
    cv::Mat dstMat;
    cv::Mat rgbMat;
    if (yuv_frame == nil) {
        return rgbMat;
    }
    cv::Mat yuvMat(height+height/2, width, CV_8UC1, yuv_frame);
    if (yuvMat.empty()) {
        return rgbMat;
    }
    rgbMat = cv::Mat(height,width,CV_8UC3);
//    // COLOR_YUV2BGR_I420  COLOR_YUV2BGR_NV12
    if (rgbMat.empty()) {
        return rgbMat;
    }

    cv::cvtColor(yuvMat, rgbMat, COLOR_YUV2BGR_I420, 3);
//    if (rgbMat.rows > mMatScaleTargetHeight) {
//        double h = (double)height;
//        double w = (double)width;
//        int dstWidth = mMatScaleTargetHeight / h * w;
//        rgbMat.copyTo(dstMat);
////        cv::resize(rgbMat, dstMat, cv::Size(dstWidth, mMatScaleTargetHeight), 0, 0, INTER_AREA); // resize CPU占用有点大
//    } else {
//        rgbMat.copyTo(dstMat);
//    }
    rgbMat.copyTo(dstMat);
    yuvMat.release();
    rgbMat.release();
    return dstMat;
}

注解： cv::resize（）函数会造成CPU增加， 所以在询问算法组的同事后表示可以注释这个函数。

总结

优化点：

• 1.0，VisionLock 底层算法是CPU处理，所以在使用久了后，手机会发烫，已反馈给算法组的同事， 同时需要查出上层代码能增加CPU的地方，eg：上次检测出cv::resize（）函数会增加CPU。
• 1.1，由于播放器不同，获取到的视频帧格式不同（可能是NV12、P420、imageBuffer），这里可以优化下代码，看看能不能有更好的兼容性。