吴恩达深度学习4.7 神经网络不同层在学什么

2020-01-16  本文已影响0人  prophet__

由于神经网络的复杂性,我们很难直观地感受到神经网络是如何学习的,以及神经网络的每一层学到的都是什么东西,在这次当中使用的网络叫做Alexnet。

今天带来的方法是,使用一些图片来激活隐藏单元,如果激活效果最好,就把他们保存起来,最后观察一下这些图片有没有什么共同的特征。

吴恩达在这一节当多次提到一个概念叫隐藏单元,隐藏单元指的就是卷积核当中的某一层。如果图片跟这个卷积核很类似,那么就会被激活。

有一些学者就这个问题进行了一些研究,他们将每一层当中会被最大激活的图片保存下来,每一张图都保留9个,而且由9个隐藏单元组成,这样我们能大概了解一下,这些层当中到底学了些什么。

我们可以先看一下第一层的情况。、

第一层基本上就是一些从左上到右下的斜线或者横着的直线等等,就是一些非常局部的特征,会触发它的激活。

第二层是稍微大一些的特征,可以是一排线,或者是某种颜色等等。

image.png

在第三层当中往往带了一些形状的特征,比如可以在左下角识别到类似于轮子的图或者是识别到人形的图。

第四层和后面的基本上就是对于某一类图片的特征抓取了,相当于某种物体的分类器。

从这些数据我们可以发现,随着神经网络层数的增加,它抓取到的特征也是越来越高层次,全局的。如果神经网络的层数非常深,那么这个抓取的特征会非常抽象,有时候可能会增加它可解释性的难度。

如果我们要使用风格迁移算法,需要提取到四至五层的一个隐藏单元来进行计算,才有可能抓住风格这种比较抽象特征。

上一篇下一篇

猜你喜欢

热点阅读