来呀，看看ICCV是什么结构啊

       这篇文章直译过来就是——《通过有意义的扰动来解释黑盒子》。下面我们重点看一下文章的结构和思路。

摘要：

     【介绍目前的应用场景，常用方法和不足】首先机器学习算法的应用情况，以及目前开发的方法：图像显著性方法（image saliency methods），用来总结高度复杂的神经网络在一个图像中的“关注点”，但是，这些技术受其启发式性质和体系结构约束的限制；【介绍论文的贡献】提出了学习任何黑箱算法的不同解释的一般框架。其次，我们专门研究了该框架，以找到图像中和分类器决策最相关的部分。与以前的工作不同，我们的方法是模型不可知的和可测试的，因为它基于显式的和可解释的图像扰动。

1.介绍

  【介绍目前存在的问题：黑盒预测器的解释和理解，直观的可视化方法只是启发式的，意义不明。】鉴于现代黑盒预测器(如深度神经网络)强大但往往不透明的特性[4,5]，在学习了预测器之后，人们对解释和理解它们(后验)产生了相当大的兴趣。这在很大程度上仍是一个悬而未决的问题。原因之一是我们对解释分类器的含义缺乏正式的理解。大多数现有的方法[19,16,8,7,9,19]等，往往产生直观的可视化;然而，由于这种可视化主要是启发式的，其意义尚不清楚。【介绍本文的贡献：开发解释任何黑箱函数原理和方法：f会做什么（确定映射属性），以及是如何做到的（实现这些属性的内部机制)】我们在形式化的层面上重新审视了“解释”的概念，目的是开发解释任何黑箱函数f的原理和方法，例如神经网络对象分类器。因为这样的函数是自动从数据中学习的，所以我们想了解f已经学会了做什么，以及它是如何做到的。回答“什么”问题意味着确定映射的属性。“如何”问题研究允许映射实现这些属性的内部机制。我们主要关注“什么”的问题,认为它可以回答通过提供可判断的规则,描述了被f作用的输入-输出关系。例如,一个规则可能是f是旋转不变的,在这个意义上“f(x)= f(x′)，图像x与x′是分别是经过旋转前后的图像。

图1.每张图像上方为“长笛（flute)的softmax得分，左图为原图，中间的图为模糊长笛后的图像，

      【进一步解释所做贡献的内容】在本文中，我们做了一些贡献。首先，我们提出了元预测的一般解释框架(第2节)，扩展了[18]的工作。其次，我们确定了在设计自动解释系统时的几个缺陷。我们特别指出，神经网络伪影（neural network artifacts）（伪影是指扫描物体并不存在而在图像上却出现的各种形态的影像）是解释的主要吸引力。虽然伪影可以提供信息，因为它们解释了网络行为的一部分，但是描述网络的其他属性需要仔细校准解释的通用性和可解释性。第三，在我们的框架中重新解释网络显著性。我们证明，这提供了一个基于梯度的显著性技术的[15]的自然泛化，通过集成信息在几个回合的反向传播，以学习一个解释。我们还将该技术与其他方法[15,16,20,14,19]的意义进行了比较，并得到了结果。

2.相关工作

（套路是：我们的工作基于xxx方法，该方法如何如何好，但是xxx方法存在啥啥啥不足，我们改进了该方法，使得效果如何如何好；O(∩_∩)O哈哈~，记得用分号和排比句哈，增强气势！！！）

       【论文所基于的基本方法：基于梯度的方法】我们的工作基于[15]的基于梯度的方法，该方法将类标签的梯度反向传播到图像层。其他的反向传播方法包括DeConvNet[19]和Guided Backprop[16,8]，它是在DeConvNet[19]和[15]的梯度法的基础上构建的，以产生更清晰的可视化效果。【论文所采用的技术：网络激活纳入可视化】另一组技术将网络激活纳入可视化:类激活映射(CAM)[22]和放松泛化Grad-CAM[14]可视化层的激活和职业专用的线性组合权重(或梯度[14]),而Layer-Wise相关性传播(单体)[1]和激发Backprop [20] backpropagate职业专用网络误差信号虽然同时乘以每个卷积层的激活。除了[15]的梯度法外，上述技术引入了不同的反向传播启发式，产生了美观但启发式的图像显著性概念。它们也不是模型不可知的，大多数被限制在神经网络中(除了[15,1])，许多需要架构修改[19,16,8,22]和/或访问中间层[22,14,1,20]。一些技术通过编辑输入图像并观察其对输出的影响来检查输入和输出之间的关系。这包括贪婪地将图像的部分灰度化，直到它被错误分类[21];当图像被遮挡在固定区域[19]时，可视化分类得分下降。然而，这些技术受到其近似性质的限制;我们引入了一种可微分的方法，该方法考虑了不同图像区域的联合包含/排除效应。我们的研究也建立在[18,12,2]的工作之上。解释作为预测的概念是受到[18]的启发，我们将[18]推广到新的解释类型，从分类到不变性。Local Intepretable Model-Agnostic explain (LIME)框架[12]与我们的Local explain范式和显著性方法(第3.2、4节)相关，因为这两种解释都使用了函数的输出，这些输出与来自输入x0附近的邻域的输入有关，这些邻域是通过对图像进行扰动而生成的。然而，他们的方法需要更长的时间来收敛(N = 5000 vs.我们的300次迭代)，并产生一个由固定的超级像素定义的粗糙热图。与我们学习最小化类分数的图像扰动掩码的目的类似，反馈网络[2]在网络中的每个ReLU之后学习门掩码，以最大化类分数。然而，我们的掩码可以直接编辑图像，而[2]的ReLU门不能也不能直接作为一种视觉解释;此外，他们的方法需要架构上的修改，并且可能对不同的网络产生不同的结果，而我们的方法是模型无关的。

3.用元学习解释黑盒子

    【介绍基本原理】首先介绍了函数映射的基本原理：以图像识别问题为例，输入X为H*W的图像，输出Y的取值为-1或1，即判断是否为某一类别。

3.1.用元预测解释

     此处我想先略了吧，因为是太专业的数学解释和理论依据了，我决定直接跳过，还是直接看图吧……

这就是说，在识别不同物体时，分别采用本文的方法（第一列），以及其他方法（其他列）的效果对比，当然咯，明显均是本文的方法标记的位置准确，“边缘”清晰，由此可见，本文的方法优于其他文章的方法【可视化是多么滴重要啊！】
图3.难道是在黑[15]的方法吗？怎么还让特别关注一下，该方法在“与所识别的物体明显不相关的区域”的强烈响应。

3.2.局部解释

4. Saliency revisited （重访显著性，我不会翻译）

4.1有意义的图像扰动

图4.扰动类型。底部:扰动的面具;顶部:模糊、常量和噪声扰动的效果。【难道这部分在说，模型的抗干扰性能很好吗？在各种干扰下的表现良好啊，仍能够准确滴标出目标的区域和轮廓】
这就是对上面所施加的三种“扰动”

4.2.删除和保存

       两种不同的策略，均是为了找到图像中，信息量最大的区域。两个优化问题都是利用梯度下降法进行局部搜索求解方法。通过这种方式，我们的方法提取信息由黑盒f计算其梯度，类似于[15]的方法。然而，它的不同之处在于它提取经过多次梯度评估，这些信息逐渐增加，随着时间的推移，积累了越来越多的信息。

4.3.处理伪影

图5.从左到右依次展示了，在GoogleNet上被正确识别的图像（左），不能被识别的有扰动的图像（中），学得的标记（右）【明显，第二行中，蒙版学会了在天空中引入尖锐的、非自然的伪影，而不是删除pole（花棍）】怎么肥四呢？

         由以上问题引出了一个新的结论：人工制造的扰动不能代表自然扰动（有时候，画蛇添足，乱七八糟，变得格外复杂）

面具覆盖：在不同的地方加入扰动，和相应的识别概率

【实现细节】而后又补充了一些实现细节。

5.实验

5.1.可解释性

      大概介绍一下，所采用的的“删除”策略，是可以解释通的：就是通过删除来寻找信息量最大的区域，从而该区域便为目标区。

5.2.删除区域代表性

      大概就是，为了验证一下，在有干扰的情况下，所提出的的方法是否效果不错，便人为制造了“干扰”，并验证了在存在“干扰”的图像上的效果。

5.3.最小化地删除

       顾名思义就是，使得删除的区域能够最小化，也就是所确定的区域可以更加地准确。

没有太看懂这是在干嘛，主要是不知道α是指啥？

就硬要抑制softmax，怎么回事呢？ 这个图我看懂了，这就是绘制了一下,在相同的softmax判别概率下，最小化目标区域的尺寸（分别在80%，90%，95%，99%的概率下）。通俗来讲就是，在达到相同的识别率的时候，我能够多么准确滴框出目标区域，框越小，就越准确嘛~

5.4.假设检验：动物部分显著性

直接看图吧，顾名思义，你看上面的脑斧的眼睛就比它的jio jio更有助于识别。

5.5.对抗的防御

好专业，不想看了……T^T

5.6.定位和指向

……

后面的图没有脑斧，不想看了

后面还有个图表：

6.总结

晚安！~

                        试试有道人工翻译？

                        精选同行业资深译员，专家审校润色，让你尊享快捷又准确的人工翻译！

                        立即体验