搜索算法工具箱 - DSAH（一）

2022-01-23 本文已影响0人 processor4d

文章名称

【CIKM-2021】【ShenzhenUniversity/Tencent】Deep Self-Adaptive Hashing for Image Retrieval

核心要点

文章旨在解决现有深度无监督散列方法中预先计算的相似度矩阵不可改变，不能在哈希学习过程中进一步探索底层语义，以及容易受到低信息量的成对关系干扰的问题。作者提出了一种深度自适应哈希（DSAH），包括适应邻居发现（AND）和成对信息内容（PIC）两部分。首先，利用AND建立相似度矩阵的临近关系，并随着哈希的学习动态调整。同时，利用PIC计算数据成对关系的权重，从高信息量的成对关系中高效的学习信息。

方法细节

问题引入

因计算和存储效率高，hasing被广泛应用于图像检索。无监督深度能够一定程度解决标注成本高的问题，深度无监督散列方法也越来越受到关注。现有的深度无监督散列方法，通常会利用（可能是通过深度网络，也可能是通过人工特征工程）计算的特征[49]，预先计算一个相似度矩阵把物品的成对关系嵌入到特征空间。随后利用这个相似度矩阵来指导检索，大多方法无差别的对待所有的成对关系（也就是成对的图片）。这样的做法存在2类缺陷，

预先计算的相似度矩阵在训练过程中是不可变的，即与哈希学习过程脱节，无法探索底层语义信息。
通常检索数据量较大，高信息量的成对关系所包含的信息，可能被大量信息量少的成对关系所淹没。

具体做法

首先，形式化一下问题的定义，

待检索的数据物品记作， $X = \{ x_{i} \in R^{d \times n} \}_{i = 1}^{N}$ ，其中 $d$ 为样本的特征维度。

对应物品学习后的二进制表示记作， $B = \{ b_{i} \in \{+1, -1\}^{l \times n} \}_{i = 1}^{N}$ ，其中 $l$ 为二进制向量的长度。

深度无监督哈希模型的目标是学习哈希编码函数 $\mathcal{ H }: x_{i} \rightarrow b_{i}$ 。

为了解决上述问题，作者提出了一种深度自适应哈希（DSAH）模型，通过2个模块自适应地捕获语义信息，

自适应邻居发现（AND）。目的是解决预先计算相似度矩阵是固定的问题，采用自适应邻居发现（AND）方法，在训练过程中逐渐挖掘微调特征之后的各种邻居关系，并不断更新初始相似度矩阵，实现在哈希学习的过程中利用底层语义，不断更新相似度矩阵。
成对信息内容（PIC）。为了排除信息量低的成对关系的干扰，高效的学习成对关系的信息。作者引入一个自适应的成对权重调节方法（PIC）来区分数据对的重要性，使得具有更多信息的数据对拥有更大的权重，更多的影响模型学习的过程。PIC基于的假设是，不相似的数据对可能包含更多可以判别图片相似度的信息，对模型训练有用。

DSAH的整体框架如下图所示。其中，除了上述的AND和PIC模块，还包括特征提取模块Feature Extraction（其实应该成为哈希学习模块）。

DSAH framework

Feature Extraction

作者利用VGG-19[37]来进行哈希函数的学习，记作 $\mathcal{ F}(\cdot, \Theta)$ ，网络参数为 $\mathcal{ \Theta}$ 。为了使VGG-19网络适用于哈希学习，作者将最后一层替换为具有 1000 个隐藏单元的全连接层，随后拼接一个哈希层，哈希层的神经元数量等于哈希码长度 $l$ 。由于哈希表示的取值是 $\{+1, -1\}$ ，需要利用 $sgn(\cdot)$ 函数。然而 $sign$ 函数是有奇点的（在0点不连续），在求梯度时存在“病态梯度”的问题。因此，作者采用 $tanh(\cdot)$ 作为哈希层的激活函数，得到哈希码 $b_𝑖$ 的近似值如下图所示，

output of hashing learning layer

预测时可以替换回 $sgn(\cdot)$ 函数。

output of hashing code with sign function

本节介绍了作者研究的问题背景，即如何高效的学习哈希函数来解决检索问题，并列举了现有方法存在的可提升点。同时，介绍了作者提出的DSAH方法的整体框架，以及哈希学习函数的结构。下一节继续介绍AND、PIC和学习目标。

心得体会

Sign函数

由于 $sgn(\cdot)$ 函数求梯度存在问题，因此，作者采用 $tanh$ 在训练阶段进行近似。之前还有很多paper会利用这种技巧来灵活运用激活函数，非常值得借鉴。

文章引用

[37] KarenSimonyanandAndrewZisserman.2014.Verydeepconvolutionalnetworks for large-scale image recognition. arXiv preprint arXiv:1409.1556 (2014).

[49] Erkun Yang, Cheng Deng, Tongliang Liu, Wei Liu, and Dacheng Tao. 2018. Se- mantic structure-based unsupervised deep hashing. In Proceedings of the 27th International Joint Conference on Artificial Intelligence. 1064–1070.