基于连通性分析的黑边去除

书名：数字图像处理实战
作者：杨坦 张良均
出版社：人民邮电出版社有限公司
出版时间：2023-11-01
ISBN：9787115623850

第9章　钢轨表面缺陷检测

9.3 图像预处理

9.3.2 基于连通性分析的黑边去除

1、基于连通性分析去除黑边

• 在水平线扫描算法中，使用每行像素灰度的中值作为中间标准来去除背景，而上、下两侧的黑边区域因为灰度值波动较小，同时取值与缺陷区域像素的灰度值比较接近，在经过代码9-2所示代码的处理后，结果中仍会留有属于黑边区域的部分像素。
• 单纯使用灰度信息是无法判断像素是属于黑边还是属于缺陷的，必须考虑其他的能够分离这两类像素的准则。进一步分析可以发现，黑边与缺陷区域在空间上不是连通的。
  因此可以将上、下两条边界设置为种子，使用区域生长算法分割出代码9-2所示代码的处理结果中不属于背景且与上、下两条边界相连通的像素，并将它们从处理结果中去除。

2、过程代码

基于连通性分析去除黑边的完整实现过程如代码9-3所示。

img_gray3 = img_gray2.copy ( )  
# 区域生长算法，将连通区域变白
def dfs(i, j, my img, yuzhi=255) :
  img = my_img.copy()
  N = len(img)
  M = len(img[0])
  img_flag = np.zeros_like(img) # 记录点的使用
  shengzhang=[]
  area = 1
  shengzhang.append( [i,j] )  # 记录种子点的位置
  while len(shengzhang) > 0:
    img[ shengzhang[-1][0] ] [shengzhang[-1][1] ] = 255
    # 种子点使用后将其像素值变为255
    img_flag[shengzhang[-1][0]][shengzhang[-1][1]]= 1 
    # 并在img_flag 中记录信息
    x = shengzhang[-1][0]
    y = shengzhang[-1][1]
    shengzhang.pop()
    #种子点使用完成，弹出种子点
    for dx in [-1, 0, 1]:
      for dy in [-1, 0, 1]:
        nx = x + dx
        ny = y + dy
        # 使用8连通的方法填充像素点
        if  0<= nx < N and 0<= ny < M and img[nx][ny]<yuzhi:
        # 将非纯白像素变为白色
          area = area + 1
          shengzhang.append([nx,ny])
  return area, img, img_flag

for i in list(range(img_gray.shape[0])[: 10]) + list(range(img_gray.shape[0])[-10:])  :
  for j in range(img_gray.shape[1]):
   _, img_gray3, _ = dfs(i,j, img_gray3)

3、区域生长算法的函数dfs

• 代码9-3中首先定义了实现了区域生长算法的函数dfs，其内部使用了堆栈存储种子，然后通过深度优先搜索对种子进行生长。
  dfs函数有4个输入参数，第1、2个参数i、j分别为搜索起始点的横、纵坐标，第3个参数my_img为待分割的图像，第4个参数yuzhi为生长算法的上阈值。
  在区域生长过程中，灰度值大于生长上阈值的点会被算法避开。

• dfs函数的设计思路是先将种子点压入堆栈，然后不停地弹出栈内的元素进行生长，判断种子点附近是否有低于上阈值的点可以加入栈。
  每次一个种子最多能生长相邻的8个像素，无论种子生长了几个像素入栈，该种子都要出栈以减少栈的空间。
  当栈为空时结束运行。
  函数中的area变量用于在生长过程中记录区域面积，img_flag变量用于记录生长得到的区域，便于最后输出图像分割结果。

4、去除黑边的效果

• 使用代码9-3所示代码去除黑边的效果如图9-7所示，图9-6中存在的黑边已被有效地去除，但仍然存在许多微小的斑点干扰。
  研究I型RSDDs数据集中已有的缺陷掩模图，可以发现该数据集中对缺陷区域的尺寸做了限定，面积过小的缺陷并没有出现在掩模图中。

  
  图9-7 基于连通性去除黑边效果

5、去除微小黑点连通区域

• 观察图9-7中的处理结果，可以发现黑点的尺寸比缺陷的尺寸要小很多，因此可以通过设定面积阈值的方法将黑点筛除，如代码9-4所示，去除的效果如图9-8所示。
  代码9-4所示代码使用了代码9-3中定义的区域生长算法dfs以获取生长的区域和区域面积，并将被生长区域变白后的图像作为下一个连通区域筛选的原图，最终的结果图像中仅包含筛选得到的面积大于最小阈值的连通区域。

# 去除微小黑点的连通区域
img_gray4 = img_gray3.copy()
min_area = 100
img_flag = np.zeros_like(img_gray)
label =0   # 连通区域数量
for i in range(len(img_gray)):
  for j in range(len(img_gray[0])):
    if img_gray4[i][j]!= 255 and img_flag[i][j]==0 :
      area, new_img, new_img_flag = dfs(i, j,img_gray4)  # 计算当前连通区域面积
      if area > min_area: # 判断是否满足最小面积要求
        label = label + 1
        print(label)
        # 添加当前连通区域至连通区域标记，标记值为该连通区域编号
        img_flag = np.where(new_img_flag != 0， label，img_flag)
      else:
        print( 'area:{0}'.format(area))  # 显示连通区域的面积
        img_gray4 = new_img

• 从逻辑上分析，代码9-4所示代码的作用是去除面积过小的连通区域，并不能保证剩下的连通区域都对应钢轨表面缺陷。即使与缺陷部位有对应关系，两者的面积大小可能会有较大差异。
  对比数据集自带的掩模图，可以发现图9-8中部分连通区域大于对应的缺陷区域，而有些连通区域并没有出现在掩模图中。
  这些问题将通过9.4节介绍的区域生长算法来解决。

  
  图9-8 去除微小黑点连通区域效果