LINE

2019-08-14  本文已影响0人  GXLiu_28

LINEfirst-ordersecond-order来保持Graph的结构


Optimization tricks

  1. 优化p2比较耗时,作者采用Negative Sampling来训练(在做softmax的时候,分母的计算要遍历所有节点,这部分其实很费时,所以在分母较大的时候,经常会使用负采样技术)根据噪声分布采样一些负例的边,此目标函数的第一项是正例, 第二项是采样得到的负例, 第一项中的u'_ju_i越相似越好, 第二项中的u'_nu_i越不相似越好, 这个可以说是O_2的一个替代目标函数,K是采集的negative edges边数。
    Negative Sampling
  2. 因为O_1O_2都是会乘上权重w_{ij},所以用backpropagation的时候,如果w_{ij}比较大的话,那么会出现梯度问题,这样就不能够得到合适的学习率,针对这个问题,文中提出了一种edge sample的方法,对于带权值的边最好转化成为不带权值的边(binary edge 也就是连接就为1, 不连接就为0),根据权重sample一条边,并把这条边视为binary edge,采样方法用alias table method,这个方法的采样时间复杂度是O(1)
上一篇 下一篇

猜你喜欢

热点阅读