聚类训练Clustering Training for Robu

2020-06-26 本文已影响0人 wangxiaoguang

ClustTR: Clustering Training for Robustness

Motasem Alfarra, Juan C. Pérez, Adel Bibi, Ali Thabet, Pablo Arbeláez, Bernard Ghanem
arXiv preprint arXiv:2006.07682.

作者提出聚类训练（ClusTR），将聚类的思想应用于模型的输出空间，并设计出相应的clustering loss，通过反向传播学习出鲁棒的模型。

首先定义基于聚类的分类器
给定输入-标签对 $\mathcal{D}=\left\{x_{i}, y_{i}\right\}_{i=1}^{N}$ ， $x_{i} \in \mathbb{R}^{n}$ ，标签总共有 $L$ 个类别
DNN定义为 $f_{\theta}: \mathbb{R}^{n} \rightarrow \mathbb{R}^{d}$
考虑最简单的二分类情况，即 $L=2$ ，每个类别的簇数 $K=1$
$x_i$ 被分类为簇1，当且仅当
$\left\|f_{\theta}\left(x_{i}\right)-\mu_{1}\right\|<\left\|f_{\theta}\left(x_{i}\right)-\mu_{2}\right\|$ （ $\mu_{1}$ 是簇1的中心， $\mu_{2}$ 是簇2的中心）
假设 $f_{\theta}$ 是Lipschitz连续，即
$\left\|f_{\theta}(x)-f_{\theta}(y)\right\| \leq \mathcal{L}_{f}\|x-y\|$
$x$ 添加扰动 $\delta$ 后，即 $x+\delta$ 依然被分类正确，则有
$\left\|f_{\theta}(x+\delta)-\mu_{1}\right\|<\left\|f_{\theta}(x+\delta)-\mu_{2}\right\|$
其中， $\delta$ 满足
$\|\delta\|<\frac{\left\|f_{\theta}(x)-\mu_{2}\right\|^{2}-\left\|f_{\theta}(x)-\mu_{1}\right\|^{2}}{2 \mathcal{L}_{f}\left\|\mu_{2}-\mu_{1}\right\|}$
推广到多类多簇
类别数 $L$ ，每个类别的簇数为 $K$
$\mu_{1}=\mu_{i^{*}, j^{*}}=\arg min _{i \in\{1, \ldots, L\}, j \in\{1, \ldots, K\}}\left\|f(x)-\mu_{i, j}\right\|$
$\mu_{2}=\mu_{k^{*}, l^{*}}=\arg min _{i \in\{1, \ldots, L\} /\left\{i^{*}\right\}, j \in\{1, \ldots, K\}}\left\|f(x)-\mu_{i, j}\right\|$
其它类别同理
聚类损失Clustering Loss
设计聚类损失的核心思想在于，使同类特征距离中心越近，不同类距离中心越远
给定衡量同类距离的函数 $\mathcal{F}$ ，衡量不同类距离的函数 $\mathcal{G}$ ，综合考虑 $\mathcal{F}$ 和 $\mathcal{G}$ 的稳定损失 $\mathcal{H}$ ，则有一般形式的聚类损失
$\mathcal{L}_{\text {Clustering }}^{\text {Robust }}=\frac{1}{N} \sum_{i=1}^{N} \mathcal{H}\left(\mathcal{F}\left(f_{\theta}\left(x_{i}\right),\left\{\mu_{c_{i}, j}\right\}_{j=1}^{K}\right), \mathcal{G}\left(f_{\theta}\left(x_{i}\right),\left\{\mu_{v \neq c_{i}, j}\right\}_{j=1}^{K}\right)\right)$

上一篇下一篇

猜你喜欢

热点阅读