2020 机器是如何认识世界的(1)
2020-06-07 本文已影响0人
zidea
DeepLearning.jpg
甜点
深度学习中神经网推动计算机视觉，在分类和目标检测上取得优益成绩。打了一个漂亮翻身战，再次推动机器学习向前迈出一大步。我们看到了将神经元各种方式组合就可以完成一些让人惊叹的成绩。机器是如何做到的呢？机器是如何一步一步学习到呢？今天我们来揭开机器学习看看是如何完成图像识别任务的。
参考 Deep Learning with Python
我们将通过 3 个例子来一步一步逐步了解机器是如何识别图像
- 在卷积神经网中间过程，输出每层卷积输出，也就是机器每个特征图表示机器具体在不同卷积层都看到了什么，他们更专注什么样的特征
- 视觉化神经网络的特征图通道，通过输入不同图片然后查看拿个通道找到一个特征图敏感的图
- 将一张图片给神经网，通过热力图表示机器对那些部分关注度较高才识别出图像中物体是什么类别
from keras.models import load_model
我们使用 models/cats_and_dogs_small_2.h5 猫狗分类的模型，这个大家随便搜索就可以下载得到这个模型文件。
model = load_model('models/cats_and_dogs_small_2.h5')
查看网络结果，这个个人感觉是一个每次使用 keras 构建模型时必用的工具，让我们一目了然
model.summary()
_________________________________________________________________
Layer (type) Output Shape Param #
=================================================================
conv2d_21 (Conv2D) (None, 148, 148, 32) 896
_________________________________________________________________
max_pooling2d_21 (MaxPooling (None, 74, 74, 32) 0
_________________________________________________________________
conv2d_22 (Conv2D) (None, 72, 72, 64) 18496
_________________________________________________________________
max_pooling2d_22 (MaxPooling (None, 36, 36, 64) 0
_________________________________________________________________
conv2d_23 (Conv2D) (None, 34, 34, 128) 73856
_________________________________________________________________
max_pooling2d_23 (MaxPooling (None, 17, 17, 128) 0
_________________________________________________________________
conv2d_24 (Conv2D) (None, 15, 15, 128) 147584
_________________________________________________________________
max_pooling2d_24 (MaxPooling (None, 7, 7, 128) 0
_________________________________________________________________
flatten_6 (Flatten) (None, 6272) 0
_________________________________________________________________
dropout_3 (Dropout) (None, 6272) 0
_________________________________________________________________
dense_11 (Dense) (None, 512) 3211776
_________________________________________________________________
dense_12 (Dense) (None, 1) 513
=================================================================
Total params: 3,453,121
Trainable params: 3,453,121
Non-trainable params: 0
_________________________________________________________________
在深度学习中，我们需要弄清楚每一层对 tensor 形状的变化，这个看似简单却非常重要，这里我们能够了解到每一层输出图片样子，我们想要知道当我们输入一张 cat 图片，机器如何将图片进行提取各种各样特征图。特征图变动越来越抽象，当我们通过输出图已经无法分辨出这是一只 cat 时候，机器却通过这些特征图可以识别图中有一只 cat。
from keras.preprocessing import image
import numpy as np
cat_001.jpg
img_path = 'data/cat_001.jpg'
img = image.load_img(img_path,target_size=(150,150))
img_tensor = image.img_to_array(img)
img_tensor = np.expand_dims(img_tensor,axis=0)
img_tensor /= 255.
使用 keras 的图片工具加载图片，然后转换为 tensor ，用 np 的 expand_dims 添加一个表示批次的维度，然后除以 255 进行归一化。
print(img_tensor.shape)
(1, 150, 150, 3)
import matplotlib.pyplot as plt
plt.imshow(img_tensor[0])
plt.show()
output_7_0.png
from keras import models
layer_outputs = [layer.output for layer in model.layers[:8]]
activation_model = models.Model(inputs=model.input,outputs=layer_outputs)
我们创建一个模型，输入是一张图片输出一个模型 8 个层的输出，也就是输入一个 (1, 150, 150, 3) tensor 我们会的模型各个层的输出。
activations = activation_model.predict(img_tensor)
然后我们将事先准备好的图片输入到模型中，然后返回就得到模型 8 层输出
first_layer_activation = activations[0]
print(first_layer_activation.shape)
(1, 148, 148, 32)
然后我们将第一层也就是编号 0 的层输出拿出来观察一下。输出结果和在 summary 中第一层输出结果相同。
plt.matshow(first_layer_activation[0,:,:,3],cmap='viridis')
plt.show()
然后先第一层输出 tensor 输出来观察一下，
output_12_0.png
plt.matshow(first_layer_activation[0,:,:,16],cmap='viridis')
plt.show()
output_13_0.png
plt.matshow(first_layer_activation[0,:,:,31],cmap='viridis')
plt.show()
output_14_0.png
然后将所有层都输出一下来观察一下机器在各个层都看到了什么，也就是机器通这些特征学习到了什么。
# 搜集层名称
layer_names = []
# 遍历模型的层
for layer in model.layers[:8]:
# 获取模型层的名称
layer_names.append(layer.name)
# 每一行绘制 16 张图，注意这里 row 表示列
images_per_row = 16
# activations 为每一层输出 这里简单解释 zip ，zip 有点像拉拉链将两组数据对应位置上的数据放在一起作为一组数据
for layer_name,layer_activation in zip(layer_names,activations):
# 每一层输出层的最后一个维度 (None, 148, 148, 32) 的 32 也就是每一层通道数
n_features = layer_activation.shape[-1]
# size 就是特征图的大小
size = layer_activation.shape[1]
# 也就是计算行数 n_cols 这里表示行
n_cols = n_features // images_per_row
# 每一张图，然后给每一张图填满 0，我们以第一层为例 32 // 16 = 2 [148 * 2 ,148 * 16]
display_grid = np.zeros((size * n_cols,images_per_row * size))
# 填充像素 n_cols [0,1] rows = [0,15]
for col in range(n_cols):
for row in range(images_per_row):
channel_image = layer_activation[0,:,:,col*images_per_row + row]
# 预处理图片便于我们观察
channel_image -= channel_image.mean()
channel_image /= channel_image.std()
# 期望值是 128 标准差为 64
channel_image *= 64
channel_image += 128
# 控制图片每一个像素大小范围
channel_image = np.clip(channel_image,0,255).astype('uint8')
# 绘制图片
display_grid[col * size : (col + 1) * size,
row * size : (row + 1) * size] = channel_image
scale = 1. /size
# 这里 width height in inches
plt.figure(figsize=(scale * display_grid.shape[1],
scale * display_grid.shape[0]))
plt.title(layer_name)
plt.grid(False)
plt.imshow(display_grid,aspect='auto',cmap='viridis')
plt.show()
/Users/zidea2020/opt/miniconda3/envs/tf_13/lib/python3.6/site-packages/ipykernel_launcher.py:17: RuntimeWarning: invalid value encountered in true_divide
output_15_1.png
output_15_2.png
output_15_3.png
output_15_4.png
output_15_5.png
output_15_6.png
output_15_7.png
output_15_8.png
在神经网络前几层中，我们还可以清晰地看出猫的模样，在这些层中神经网络主要观察图片的边缘，随着层数的增加神经网将猫的一些特征进行抽象，例如猫的眼睛和猫的耳朵，虽然我们似乎很难看出猫的模样，但并不是完全看不出来，这个阶段机器是在对猫的特征进行归类。我们可能已经在高层的神经网络中发现了一些空白的滤镜。这是因为这些滤镜没有找到他们想要特征。
机器在学习过程中逐渐过滤掉一些无用信息，例如毛发细节等，保留猫的耳朵、眼睛和嘴巴这些用于识别猫的特征信息。例如我们人类在识别图片，如果让我们画一个动物，我们也是通过抓住这些动物特征，而忽略一些细节，让我们一眼看出来这就是猫。
