论文阅读“A probabilistic framework f

2022-07-28 本文已影响0人掉了西红柿皮_Kee

Okuno A, Hada T, Shimodaira H. A probabilistic framework for multi-view feature learning with many-to-many associations via neural networks[C]//International Conference on Machine Learning. PMLR, 2018: 3888-3897.

预备知识

这部分主要是为了介绍在单视图的情况下，包含 $n$ 个节点 $\{v_i\}_{i=1}^n$ 的无向图的权重矩阵 $\{w_{ij}\}_{i,j=1}^n$ 为一个对称矩阵，且 $w_{ii}=0$ 。对于含有 $D$ 个视图的多视图数据而言，节点 $v_i$ 属于其中一个视图，并且该节点的表示可以记为 ${\bf x}_i \in \mathbb{R}^{p_{d_i}}$ （给定视图 $d_i$ ，其对应的数据维度为 $p_{d_i}$ ）。
假设 $\{w_{ij}\}_{i,j=1}^n, \{{\bf x}_i, d_i\}_{i=1}^n$ 为可观测变量。将 $w_{ij}$ 看作一个随机变量，考虑一个给定数据向量下， $w_{ij}$ 的条件概率参数模型。并且其对应的条件期望为：

即给定视图

d_i

，该视图中所有的数据向量

\{{\bf x}_i, d_i\}_{i=1}^n

都已知。这里作者的意思是由

{\bf x}_i

和

d_i

可以确定某个视图的数据矩阵表示。

概率模型

为了推导概率模型，首先考虑一个具有固定 $n$ 个节点的随机图模型。对于每个时间点 $t=1,2,\cdots,T$ ，依照如下的概率随机选择一个无序的节点对：

在时间点t选择节点对（v_i, v_j）的概率在笔者的理解中，所谓的无序节点对

(v_i, v_j)

就是说：无论你取到的是

(v_1, v_3)

还是

(v_3, v_1)

，其对应的选取概率是一致的。因为在概率的分子部分，是对

ij

进行了排序：

因此，上述的概率的分子部分会被转化为

\mu_{13}

，且分母部分只是一个缩放因子，可忽略。在不同时间点的选取可以看作是有放回的选取。
因此，给定独立的观测：

e_1, e_2, \cdots, e_T

, 将由节点

v_i

和

v_j

产生的连接的数量定义为

w_{ij}

：

由此可以看出条件概率

服从于多项分布，加和为1。
假设

T

服从均值

\lambda

为

\sum_{1 \le i < j \le n} \mu_{ij}

的泊松分布（泊松分布适合于描述单位时间（或空间）内随机事件发生的次数。），概率

\{w_{ij}\}_{1 \le i < j \le n}

为：

其中，

p(w; \mu)

为具有均值

\mu

的泊松分布的概率函数。因此，每个

w_{ij}

独立的服从于泊松分布：

在泊松分布中，一般

w_{ij}

的取值为一个非负的整数，但在本文的似然计算中

w_{ij}

允许取到任意的非负实值。
下面是整个概率模型的描述：

说实话。。没怎么看懂

PMvGE

为了计算泊松分布中涉及到的 $\mu_{ij}$

本文设计了一个内积相似性：

由如下的多输入神经网络将每个视图的数据向量

\{{\bf x}_i\}

映射到一个共享空间中的特征向量

{\bf y}_i

：

即节点

v_i

和

v_j

的概率通过特征向量之间的相似性相关联。具有相似特征向量的节点将共享许多链接。

某些视图对之间的链接权重可能会缺失

在模型中考虑所有的视图对链接权重是不太现实的。因此在本文中考虑无序视图对集合：

极大似然估计量

由上诉两个式子，可以指定对数似然函数：

其中

\mathcal{I}_n:=\{(i,j)|{1 \le i < j \le n}, (d_i,d_j) \in \mathcal{D}\}

通过最大化（6）式可以估计

(\alpha, \psi)

并同时满足在

(d,e ) \notin \mathcal{D}

时

emmmm...每一块都感觉自己看懂了，但是好像不太能连接成一个完整得多视图概率模型。。请大佬们批评指正

上一篇下一篇

猜你喜欢

热点阅读