Gabor滤波器

2020-06-07 本文已影响0人原上的小木屋

Gabor滤波器

Gabor 滤波器是一种结合了高斯分布和频率变换的滤波器，用于在图像的特定方向提取边缘。
滤波器由以下式子定义：
$G(y,x)=e^\frac{-x'^2-\gamma^2 y'^2}{2\sigma^2}cos(\frac{2\pi x'}{\lambda}+p)$
其中 $x'=cos(A) x+sin(A) y$
$y′=−sin(A) x+cos(A) y$
x、y是滤波器的位置。滤波器的大小如果为K的话，y、x取[−k//2,k//2]；
γ：Gabor 滤波器的椭圆度；
σ：高斯分布的标准差；
λ：波长；
p：相位；
A：滤波核中平行条带的方向。
在这里，取K=111，σ=10，γ=1.2，λ=10，p=0，A=0，可视化Gabor滤波器吧！
实际使用Gabor滤波器时，通过归一化以使滤波器值的绝对值之和为1使其更易于使用。
在下面代码中，滤波器值被归一化至[0,255]以进行可视化。

import cv2
import numpy as np
import matplotlib.pyplot as plt#引入三个图像处理的常规库
# Gaborgabor滤波器代码，括号里即滤波器的相关参数
def Gabor_filter(K_size=111, Sigma=10, Gamma=1.2, Lambda=10, Psi=0, angle=0):
    # get half size
    d = K_size // 2#//表示除法哦，表示滤波器尺寸的1/2
    # prepare kernel#准备滤波器
    gabor = np.zeros((K_size, K_size), dtype=np.float32)#生成滤波器的尺寸
    # each value#对于每一个元素值
    for y in range(K_size):
        for x in range(K_size):
            # distance from center px、py为距离中心的距离
            px = x - d
            py = y - d
            # degree -> radian从角度变为弧度
            theta = angle / 180. * np.pi
            # get kernel x按照公式计算_x(在上面的介绍中为x')和_y(在上面的介绍中为y')
            _x = np.cos(theta) * px + np.sin(theta) * py
            # get kernel y
            _y = -np.sin(theta) * px + np.cos(theta) * py
            # fill kernel
            gabor[y, x] = np.exp(-(_x**2 + Gamma**2 * _y**2) / (2 * Sigma**2)) * np.cos(2*np.pi*_x/Lambda + Psi)#计算出gabor卷积核
    # kernel normalization
    gabor /= np.sum(np.abs(gabor))#对卷积核进行归一化
    return gabor
# get gabor kernel
gabor = Gabor_filter(K_size=111, Sigma=10, Gamma=1.2, Lambda=10, Psi=0, angle=0)
# Visualize
# normalize to [0, 255]
out = gabor - np.min(gabor)#消除负值
out /= np.max(out)
out *= 255#扩展到0-255
out = out.astype(np.uint8)
cv2.imwrite("out.jpg", out)
cv2.imshow("result", out)
cv2.waitKey(0)

旋转Gabor滤波器

在这里分别取A=0,45,90,135来求得旋转Gabor滤波器。其它参数和问题七十七一样，K=111，σ=10，γ=1.2，λ=10，p=0。

import cv2
import numpy as np
import matplotlib.pyplot as plt#照例导入图像处理经常用到的三个库
# Gabor gabor滤波器的生成函数，与上面的代码完全一致
def Gabor_filter(K_size=111, Sigma=10, Gamma=1.2, Lambda=10, Psi=0, angle=0):
    # get half size
    d = K_size // 2
    # prepare kernel
    gabor = np.zeros((K_size, K_size), dtype=np.float32)
    # each value
    for y in range(K_size):
        for x in range(K_size):
            # distance from center
            px = x - d
            py = y - d
            # degree -> radian
            theta = angle / 180. * np.pi
            # get kernel x
            _x = np.cos(theta) * px + np.sin(theta) * py
            # get kernel y
            _y = -np.sin(theta) * px + np.cos(theta) * py
            # fill kernel
            gabor[y, x] = np.exp(-(_x ** 2 + Gamma ** 2 * _y ** 2) / (2 * Sigma ** 2)) * np.cos(
                2 * np.pi * _x / Lambda + Psi)
    # kernel normalization
    gabor /= np.sum(np.abs(gabor))
    return gabor
# define each angle定义角度参数
As = [0, 45, 90, 135]
# prepare pyplot 这是准备用matplotlib库画图
plt.subplots_adjust(left=0, right=1, top=1, bottom=0, hspace=0, wspace=0.2)
# each angle
for i, A in enumerate(As):#画出每一个角度的gabor核
    # get gabor kernel
    gabor = Gabor_filter(K_size=111, Sigma=10, Gamma=1.2, Lambda=10, Psi=0, angle=A)
    # normalize to [0, 255]
    out = gabor - np.min(gabor)
    out /= np.max(out)
    out *= 255
    out = out.astype(np.uint8)
    plt.subplot(1, 4, i + 1)
    plt.imshow(out, cmap='gray')
    plt.axis('off')
    plt.title("Angle " + str(A))
plt.savefig("out.png")
plt.show()

使用Gabor滤波器进行边缘检测

将123.jpg灰度化之后，分别使用A=0,45,90,135的Gabor滤波器进行滤波。其它参数取为：K=111，σ=10，γ=1.2，λ=10，p=0。
如在答案示例看到的那样， Gabor滤波器提取了指定的方向上的边缘。因此，Gabor滤波器在边缘特征提取方面非常出色。
一般认为 Gabor 滤波器接近生物大脑视皮层中的初级简单细胞（V1 区）。也就是说，当生物看见眼前的图像时也进行了特征提取。
一般认为深度学习的卷积层接近 Gabor 滤波器的功能。然而，在深度学习中，滤波器的系数通过机器学习自动确定。作为机器学习的结果，据说将发生类似于Gabor滤波器的过程。

import cv2
import numpy as np
import matplotlib.pyplot as plt#导入图像处理经常用到的三个库
# Grayscale
def BGR2GRAY(img):#图像转灰度
    # Grayscale
    gray = 0.2126 * img[..., 2] + 0.7152 * img[..., 1] + 0.0722 * img[..., 0]
    return gray
# Gabor 生成Gabor卷积核的函数，与前两个卷积核的生成函数基本一致
def Gabor_filter(K_size=111, Sigma=10, Gamma=1.2, Lambda=10, Psi=0, angle=0):
    # get half size
    d = K_size // 2
    # prepare kernel
    gabor = np.zeros((K_size, K_size), dtype=np.float32)
    # each value
    for y in range(K_size):
        for x in range(K_size):
            # distance from center
            px = x - d
            py = y - d
            # degree -> radian
            theta = angle / 180. * np.pi
            # get kernel x
            _x = np.cos(theta) * px + np.sin(theta) * py
            # get kernel y
            _y = -np.sin(theta) * px + np.cos(theta) * py
            # fill kernel
            gabor[y, x] = np.exp(-(_x ** 2 + Gamma ** 2 * _y ** 2) / (2 * Sigma ** 2)) * np.cos(
                2 * np.pi * _x / Lambda + Psi)
    # kernel normalization
    gabor /= np.sum(np.abs(gabor))
    return gabor
def Gabor_filtering(gray, K_size=111, Sigma=10, Gamma=1.2, Lambda=10, Psi=0, angle=0):#使用Gabor滤波器对灰度图像进行滤波操作
    # get shape获取灰度图像的尺寸
    H, W = gray.shape
    # padding 扩充滤波器1/2的尺寸作为灰度图像的边缘
    gray = np.pad(gray, (K_size // 2, K_size // 2), 'edge')
    # prepare out image 准备输出的图像
    out = np.zeros((H, W), dtype=np.float32)
    # get gabor filter 准备滤波器
    gabor = Gabor_filter(K_size=K_size, Sigma=Sigma, Gamma=Gamma, Lambda=Lambda, Psi=0, angle=angle)
    # filtering 进行滤波操作
    for y in range(H):
        for x in range(W):
            out[y, x] = np.sum(gray[y: y + K_size, x: x + K_size] * gabor)
    out = np.clip(out, 0, 255) 截断0-255之外的值
    out = out.astype(np.uint8)
    return out
def Gabor_process(img):#开始进行滤波操作
    # gray scale
    gray = BGR2GRAY(img).astype(np.float32)
    # define angle
    As = [0, 45, 90, 135]
    # prepare pyplot
    plt.subplots_adjust(left=0, right=1, top=1, bottom=0, hspace=0, wspace=0.2)
    # each angle
    for i, A in enumerate(As):
        # gabor filtering
        out = Gabor_filtering(gray, K_size=11, Sigma=1.5, Gamma=1.2, Lambda=3, angle=A)#得到不同方向上滤波之后的灰度图像
        plt.subplot(1, 4, i + 1)
        plt.imshow(out, cmap='gray')
        plt.axis('off')
        plt.title("Angle " + str(A))
    plt.savefig("out.png")
    plt.show()
# Read image
img = cv2.imread("123.jpg").astype(np.float32)
# gabor process
Gabor_process(img)

使用Gabor滤波器进行特征提取

通过将上述中得到的4张图像加在一起，提取图像的特征。
观察得到的结果，图像的轮廓部分是白色的，获得了类似于边缘检测的输出。
深度学习中的卷积神经网络，最初已经具有提取图像的特征的功能，在不断重复特征提取的计算过程中，自动提取图像的特征。

import cv2
import numpy as np
import matplotlib.pyplot as plt#照例先导入图像处理常用的三个库
# Grayscale
def BGR2GRAY(img):#图像转灰度
    # Grayscale
    gray = 0.2126 * img[..., 2] + 0.7152 * img[..., 1] + 0.0722 * img[..., 0]
    return gray
# Gabor 生成Gabor卷积核
def Gabor_filter(K_size=111, Sigma=10, Gamma=1.2, Lambda=10, Psi=0, angle=0):
    # get half size
    d = K_size // 2
    # prepare kernel
    gabor = np.zeros((K_size, K_size), dtype=np.float32)
    # each value
    for y in range(K_size):
        for x in range(K_size):
            # distance from center
            px = x - d
            py = y - d
            # degree -> radian
            theta = angle / 180. * np.pi
            # get kernel x
            _x = np.cos(theta) * px + np.sin(theta) * py
            # get kernel y
            _y = -np.sin(theta) * px + np.cos(theta) * py
            # fill kernel
            gabor[y, x] = np.exp(-(_x**2 + Gamma**2 * _y**2) / (2 * Sigma**2)) * np.cos(2*np.pi*_x/Lambda + Psi)
    # kernel normalization
    gabor /= np.sum(np.abs(gabor))
    return gabor
def Gabor_filtering(gray, K_size=111, Sigma=10, Gamma=1.2, Lambda=10, Psi=0, angle=0):#卷积滤波操作
    # get shape
    H, W = gray.shape
    # padding
    gray = np.pad(gray, (K_size//2, K_size//2), 'edge')
    # prepare out image
    out = np.zeros((H, W), dtype=np.float32)
    # get gabor filter
    gabor = Gabor_filter(K_size=K_size, Sigma=Sigma, Gamma=Gamma, Lambda=Lambda, Psi=0, angle=angle)   
    # filtering
    for y in range(H):
        for x in range(W):
            out[y, x] = np.sum(gray[y : y + K_size, x : x + K_size] * gabor)
    out = np.clip(out, 0, 255)
    out = out.astype(np.uint8)
    return out
def Gabor_process(img):#卷积过程
    # get shape
    H, W, _ = img.shape
    # gray scale
    gray = BGR2GRAY(img).astype(np.float32)
    # define angle
    As = [0, 45, 90, 135]
    # prepare pyplot
    plt.subplots_adjust(left=0, right=1, top=1, bottom=0, hspace=0, wspace=0.2)
    out = np.zeros([H, W], dtype=np.float32)
    # each angle
    for i, A in enumerate(As):
        # gabor filtering
        _out = Gabor_filtering(gray, K_size=11, Sigma=1.5, Gamma=1.2, Lambda=3, angle=A)
        # add gabor filtered image
        out += _out#将输出的不同经角度滤波的图像累加，这是与上述代码最大的区别之处
    # scale normalization
    out = out / out.max() * 255#将像素值归一到0-255之间
    out = out.astype(np.uint8)
    return out
# Read image
img = cv2.imread("imori.jpg").astype(np.float32)
# gabor process
out = Gabor_process(img)
cv2.imwrite("out.jpg", out)
cv2.imshow("result", out)
cv2.waitKey(0)

Gabor滤波器

Gabor滤波器

旋转Gabor滤波器

使用Gabor滤波器进行边缘检测

使用Gabor滤波器进行特征提取

猜你喜欢

热点阅读