OpenCV 切割、轮廓、形状识别
1、手动切割
Rect rect = new Rect(182,82,278,158);
Mat dstMat = new Mat(srcMat,rect);
Bitmap resultBitmap = Bitmap.createBitmap(dstMat.width(),dstMat.height(),Bitmap.Config.ARGB_8888);
Imgproc.cvtColor(dstMat,dstMat,Imgproc.COLOR_BGR2RGB);
Utils.matToBitmap(dstMat,resultBitmap);
iv1.setImageBitmap(resultBitmap);
4、开和闭运算
开运算
开运算的原理是通过先进行腐蚀操作,再进行膨胀操作得到;我在移除小的对象的时候很有用,去噪点;
闭运算
闭运算是开的相反的操作,具体是先膨胀后腐蚀操作,通常是用填充前景物体中的小洞,或者去除物体上的黑点,
其先将白色部分放大,把小的黑色部分挤掉,然后再将一些大的黑色部分还原回去,整体得到的效果就是抹去前景物体上的黑点;
在执行开和关运算之前我们需要确定一个运算核,这个运算核是一个小矩形;腐蚀运算就是在整张图像上计算给定内核区域的局部最小值,用最小值替换对应的像素值,而膨胀运算就是整张图像上计算给定内核区域的局部最大值,用最大值替换对应像素值。
我们在优化图像时可以先执行开运算消除背景上的白色噪点,再运行闭运算消除前景上的黑色杂点,代码如下:
Mat kernel = Imgproc.getStructureingElement(Imgproc.MORPH_RECT,new Size(3,3));
Imgproc.morphologyEx(hsvMat ,dstMat, Imgproc.MORPH_OPEN, kernel);
Imgproc.morphologyEx(hsvMat ,dstMat, Imgproc.MORPH_CLOSE, kernel);
Utils.matToBitmap(hsvmat, resultBitmap);
imgView.setImageBitmap(resultBitmap);
5、轮廓识别
在OpenCV中,轮廓对应着一系列的点的集合,OpenCV提供了一个findContours()函数,用来获取这些点的集合,函数如下:
- image 一个8位的单通道图像,非零像素被视为1,0像素为0,图像被当作二进制来处理。如果使用mode 是RETR_CCOMP 或者 RETR_FLOODFILL, 那么输入的图像类型也可以是32位单通道整形,即CV_32SC1
- contours 检测到轮廓,一个MatOfPoint 保存一个轮廓,所有轮廓的集合list;
- hierarchy 可选输出,包括轮廓之间的联系,4通道矩阵,元素个数为轮廓数量,通道0 ~ 通道3 对应保存,后一个轮廓下标,前一个轮廓下标,副轮廓下标,内嵌伦裤下标。如果没有一个后一个,前一个,父轮廓,内嵌轮廓,那么该通道值为 -1。
- mode 轮廓检索模式,
mode | 描述 |
---|---|
RETR_EXTERNAL | 只检测最外围的轮廓 |
RETR_LIST | 检测所有轮廓,不建立等级关系,彼此独立 |
RETR_CCOMP | 检测所有轮廓,但是所有轮廓都只建立两个等级关系 |
RETR_TREE | 检测所有轮廓,并且所有轮廓建立一个树结构,层次完整 |
RETR_FLOODFILL | 洪水填充法 |
- method 轮廓近似法
method | 描述 |
---|---|
CHAIN_APPROX_NONE | 保存物体边界上所有连续的轮廓点 |
CHAIN_APPROX_SIMPLE | 压缩水平方向,垂直方向,对角线方向的元素,只保留 该方向的终点坐标,例如一个矩形轮廓只需4个点来保存轮廓信息 |
CV_CHAIN_APPROX_TC89_L1 | 使用Teh-Chin链近似法 |
CV_CHAIN_APPROX_TC89_KCOS | 使用Teh-Chin链近似法 |
public static void findContours(Mat img,List<MatOfPoint> contours, Mat hierarchy, int mode, int method);
调用findContours()函数对进行过颜色识别的二值化图进行轮廓是被
Mat outMat = Mat();
Imgproc.findContours(hsvMat, contours, outMat, Imgproc.RETR_EXTERNAL, Imgproc.CHAIN_APPROX_SIMPLE);
contoursCounts = contours.size();
System.out.println("轮廓数量:"+contoursCounts);
完整操作代码:
findContours(gray, vContours, RETR_EXTERNAL, CHAIN_APPROX_SIMPLE,
Point(0, 0));
if (!vContours.empty()) {
for (auto &vContour: vContours) {
Rect rect = boundingRect(vContour);
int minWHOpen = (int) (gray.cols * 5.0f / 6.0f);
if (rect.width >= minWHOpen
&& rect.height >= minWHOpen
&& abs(rect.width - rect.height) < offsetAll * 2) {
Mat hashGray = gray(rect);
long sightOpenDistance = calHammingDistance(hashGray);
if (uploadExist)
printf("%s %d %ld\n", __FUNCTION__, type,
sightOpenDistance);
if (sightOpenDistance != 0) {
for (long m: detectSightOpenParam) {
char sightOpenValue = 0;
if ((sightOpenDistance > 0 && m > 0) ||
(sightOpenDistance < 0 && m < 0))
for (char n = 0; n < 64; ++n) {
if ((sightOpenDistance &
(0x1 << n)) == (m &
(0x1 << n))) {
sightOpenValue++;
}
}
if (sightOpenValue >= 48) {
ret = 0;
break;
}
}
}
hashGray.release();
}
}
}
6、轮廓绘制
/**
* src 轮廓会绘制src上,如果src时二值化的图,轮廓线也会二值化,建议绘制到原图上
* contours
* contoursIdx
* color
* thickness: 绘制轮廓的线的宽度,若为负数,则填充轮廓内部
**/
Imgproc.drawContours(srcMat,contours, -1, new Scalar(0,0,255),4);
Utils,matToBitmap(dstmat, resultBitmap);
imgView.setImageBitmap(resultBitmap);
7、形状识别
多边形拟合
轮廓点集合找到以后我们可以通过多边形拟合的方式来寻找轮廓点所组成的多边形的顶点,approxPolyDP() 函数功能是把一个连续光滑曲线折线化,对图像轮廓点进行多边形拟合,简单来说就是该函数是用一条具有较少顶点的曲线/多边形去逼近另一条具有较多顶点的曲线或多边形。approxPolyDP函数的原理如下;
1、在取消首尾两点A、B之间连接一条直线AB , 该直线为曲线的炫;
2、得到曲线上离该直线段距离最大的点C,计算其与AB的距离d;
3、比较该距离与预先给定的阀值threshold 的大小,如果小于threshold, 则该直线段作为曲线的近似,该曲线处理完毕
4、如果距离大于阀值,则用C将曲线分为两段AC 和 BC , 并分别对两段取信进行1~3的处理;
5、当所有曲线都处理完毕时,依次连接各个分割点形成的折线,即可以作为曲线的近似;
/**
* curve 输入的轮廓点集合
* approxCurve 输出轮廓点集合,最小包容指定点集,保存的多边形的顶点的坐标,列表的行数表示顶点个数
* epsilon 拟合的精度,原始曲线和拟合曲线间的最大值
* closed 是否为封闭曲线,如果是ture,表示逼近曲线为封闭曲线
* 其中逼近精度epsilon 可以手动指定,也可以通过curve 轮廓点的个数进行计算。
* epsilon = a * Imgproc.arcLength(curve,ture);
* 其中arcLength 是计算轮廓点的个数,也就是周长,a可按不同的图像测试取得最佳值;
**/
public static void approxPolyDP(MatOfPoint2f curve, MatOfPoint2f approxCurve, double epsilon ,boolean closed)
contour2f = new MatOfPoint2f(contours.get(i).toArray());
epsilon = 0.04 * Imgproc.arcLength(contour2f, ture);
approxCourve = new MatOfPoint2f();
Imgproc.approxPolyDP(contour2f, approxCourve, epsilon ,ture);
8、形状的识别
顶点判断法;
形状识别的方法很多,比较简单的一种就是直接根据多边形顶点的个数进行判断,这种方法最简单但精度不够,只能识别差别比较大的几种形状
approxCurve.rows() == 3
approxCurve.rows() == 4
approxCurve.rows() >= 5
自身面积与外接矩形面积比;
不同的形状的自身面积和外接矩形面积比通常区别比较大,
- 圆形的外接矩形面积与自身面积比大约在85%左右;
- 三角形大约在50%
- 矩形大约在95%
这里矩形可以使用最小外接矩形,
/**
* contour 轮廓点集合;
**/
Imgproc.contourArea(MatOfPoint contour)
信号分析法
使用Moments() 函数计算多边形的终点,求绕多边形一周重心到多边形轮廓线的距离,把距离值形成信号曲线图,我们可以看到不同的形状信号曲线图区别很大。信号分析法可以识别多种类型的多边形形状。
圆形、椭圆、五角形
???