CAM论文剖析（Learning Deep Features f

英文原文请点这里
译文请点这里

Agenda

文章内容剖析

实验代码在这里.

文章剖析

摘要

本文主要工作

• 1、阐述GAP如何使CNN具有卓越定位能力
• 2、证明了所提出网络能定位出“区别性”区域，且分类效果也不差

1 介绍

扩写摘要，展示结果图

• 引出GAP的功能远不止正则化，更重要的是定位能力
• 指出本文所提网络保留了定位能力且分类能力也不差

1.1 相关研究(研究现状)

• 已有研究证明：CNN分类能和定位能力都很好
• 介绍已有研究的两个主要工作&提出缺陷
  • 弱监督物体定位
    • 缺陷：作者并没有评估定位能力；不是端到端的训练，需要额外工作，可扩展性差
  • 可视化CNN内在表现
    • 缺陷：只分析了卷积层，忽略了全连接层，因此是不全面的；只展示了深层特征中什么信息被保留，并没有凸显出这些信息的相对重要性

2 类激活图（CAM）

• 作用：展示被划分为某个特定类的“区别性”区域

• 网络结构

• 详细计算推理过程
  对于一个图，用f_k(x, y)代表最后一个卷积层的单元k在空间坐标（x,y）中的激活值。对于每个单元k，通过GAP后的结果F^k为∑_x,yf_k(x, y)。则，对于每个类c，输入softmax的S_c为∑_kw_c,kF_k，w_c,k代表单元k对应的类c的权重。实际上，w_c,k就是F_k对类c的重要性。最后类c的sotfmax输出P_c为exp(S_c)/∑_cexp(S_c)。这里我们忽略偏差项：我们明确地把softmax的偏差项设置为0因为它几乎对分类表现没有影响。
  把F_k=∑_x,yf_k(x, y)带入S_c，得
  

  公式1
  我们用M_c定义类别c的CAM，则空间每个元素为
  公式2
  则S_c = ∑_x,yM_c(x,y)，所以M_c(x,y)直接表明了把空间网格（x,y）激活对图片划分为类别c的的重要性。
  简陋的图

• 对比使用GAP 和 GMP

3 弱监督物体定位

• 评估了CAM的定位能力
  • 3.1 不同CNN网络的设置
  • 3.2 定位的同时不影响分类性能

4 通用的定位特征

• 我们网络即使在陌生数据上（不训练）也能定位
  • 4.1 鸟类细粒度识别与定位能力评估
  • 4.2 证明GoogLeNet-GAP能用于图片通用模式识别

5 可视化特定类单元

6 结论

• 提出CAM技术
• 证明了CAM在定位方面的泛化能力

写作套路

套路

摘要
    开头
        In this work, we ...
    对比
        While ... , we ...
    介绍自己工作
        Despite ...  we ...
        We demonstrate that our ...
    最先进的技术
         state-of-the-art 
研究现状
    引用前人研究
        Recent work by xxx has shown that ...
        xxx et al propose a technique/method for ...
        These approaches ...
    介绍自己研究
        In our experiments, we found that ...
        our approach is ...
    xxx 远不止能做()工作，更重要的是还能()
        the advantages of xxx extend beyond () - In fact,  () can
        we can generalize this ability beyond just ()
    引出文章创新
        However, their ...
        Both of these works only analyze ... , ignoring ...
        While these works can ..., they only show ...
        Unlike xxx and xxx, our approach can ...
        Overall, our approach provides ...
正文
    开头
        In this section, we describe the procedure for ...
    技术可以用于()
        This technique can be applied to do sth.
    研究成功
        This suggests that our approach works as expected.
通用
    如图所示
         xxx is illustrated in Fig. 2. 
        As shown in Figure 1
    如表所示
         Tbl.1summarizes ...
    本质上讲
        In fact
        Essentially, xxx indicates ...
    形容表现的词
        remarkable ability
        impressive performance
        generic
    连接词
        further
        In general
        specificly

文章参考论文

参考论文

• 通过避免使用全连接层来减少参数，保持高性能
  Network In Network
  GoogLeNet

• 证明了CNN每层都是物体检测器
  Object detectors emerge in deep scene cnns

• CNN在图像识别方面做得很出色
  Imagenet classification with deep convolutional neural networks
  Learning deep features for scene recognition using places database
  Rich feature hierarchies for accurate object detection and semantic segmentation

• CNN在定位方面也很出色
  Self-taught object localization with deep networks
  Weakly supervised object localization with multi-fold multiple instance learning
  Learning and transferring mid-level image representations using convolutional neural networks
  Is object localization for free? weakly-supervised learning with convolutional neural networks

• 可视化CNN
  Inverting convolutional networks with convolutional networks
  Understanding deep image representations by inverting them
  Visualizing and understanding convolutional networks
  Object detectors emerge in deep scene cnns