[ICLR 2018] EVALUATING THE ROBUS

论文原文：
Evaluating the Robustness of Neural Networks: An Extreme Value Theory Approach

简介:

本文主要提出了一种 不依赖于特定攻击 (attack-agnostic) 的衡量模型鲁棒性的一种方法。作者称之为 CLEVER (Cross Lipschitz Extreme Value for nEtwork Robustness). 该方法特点如下:

1. attack-agnostic
2. 计算量合理，可应用于大型深度学习网络如 ImageNet
3. 有比较强大的理论支持
4. 利用local Lipschitz constant 来估计最短对抗距离的下边界，并以此作为模型鲁棒性的衡量。

关键部分：

利用 local Lipschitz constant 来估计最短对抗距离下边界。并给出了理论证明。

利用 Extreme Value Theory 来估计需要求的 local Lipschitz constant，从而能够高效的估计 L，并且可以使用估计得到的最短对抗距离作为模型鲁棒性的度量。

一般来说，我们可以用BP算法计算偏导，但是要求利普希茨常数，我们要求半径为R的求体内的最大值。在低维的情况下，我们可以遍历半径为R球体内的所有点，找到其中的最大值，但是当纬度升高，计算量呈指数级增长，该方式就会变得不可计算。 论文中应用 EXTREME VALUE THEORY 来估计高维情况下的局部利普希茨常数。 极值理论保证了随机变量的最大值只能遵循三个极值分布中的一个，这对估计 L很有用，可以大幅减小遍历范围。