CHARACTERIZING ADVERSARIAL SUBSP

2020-07-06 本文已影响0人馒头and花卷

Ma X, Li B, Wang Y, et al. Characterizing Adversarial Subspaces Using Local Intrinsic Dimensionality[J]. arXiv: Learning, 2018.

@article{ma2018characterizing,
title={Characterizing Adversarial Subspaces Using Local Intrinsic Dimensionality},
author={Ma, Xingjun and Li, Bo and Wang, Yisen and Erfani, Sarah M and Wijewickrema, Sudanthi and Houle, Michael E and Schoenebeck, Grant and Song, Dawn and Bailey, James},
journal={arXiv: Learning},
year={2018}}

概

本文介绍了一种local intrinsic dimensionality(LID)的指标用以揭示普通样本和对抗样本的本质区别, 这个指标可以用用来进行防御(即在样本进来的时候, 提前预判其是否是对抗样本).

主要内容

已有的一些用来区分普通样本和对抗样本的方法, 诸如KD(核密度估计) 和 BU(贝叶斯不确定度, 这个不是很了解), 但是其效果不明显, 本文提出的LID指标能够在各方面胜过他们.
比如在下图中, KM(k均值距离: 取样本 $x$ 到最近的k个样本的距离的平均), 以及核密度估计(KD), 在普通样本和对抗样本上的指标是一致的, 此时无法判断, 而本文的LID的方法却能够判断(LID越大越偏离普通样本).

在这里插入图片描述

LID

由一个点为中心, 向外以超距体的方式发散, 其体积 $V$ 与边长 $r$ 的关系可知
$\frac{V_2}{V_1} = (\frac{r_2}{r_1})^m \rightarrow m= \frac{\log (V_2/V_1)}{ \log (r_2 / r_1)},$
其中 $m$ 为维度.

于是有人就想出把这种思想推广到一般的数据(数据的分布可能是一个低维的流形)

定义(LID): 给定样本 $x \in \mathcal{X}$ , 令 $R >0$ 表示 $x$ 到其它样本的距离的随机变量, 并用 $F(r)$ 表示概率 $P(R\le r)$ , 且假设其关于 $r>0$ 连续可微, 则在 $x$ 点的距离为 $r$ 的LID定义为
$\tag{2} \mathrm{LID}_F(r) := \lim_{\epsilon \rightarrow 0} \frac{\log (F(1+\epsilon)\cdot F(r))}{\log (1+\epsilon)}=\frac{r\cdot F'(r)}{F(r)},$
若极限存在.