FM因子分解机的原理介绍及实现

2022-07-31 本文已影响0人晓柒NLP与药物设计

一.FM原理

大家可能用过sklearn中的这个多项式特征处理函数：sklearn.preprocessing.PolynomialFeatures，它作用是就是将原始特征扩展为多项式特征，比如原始特征为 $a,b$ ，那么它会做如下扩展：

$[a,b]\rightarrow [1,a,b,a^2,ab,b^2]$

而FM的初衷便是对这组新特征做线性建模，一般地，它可以表示如下：

$y(x)=w_0+\sum_{i=1}^nw_ix_i+\sum_{i=1}^{n-1}\sum_{j=i+1}^nw_{ij}x_ix_j$

FM通常不会对平方项建模（比如上面的 $a^2,b^2$ ），这里 $n$ 代表样本的特征数量， $x_i$ 是第 $i$ 个特征值， $w_0,w_i,w_{ij}$ 是模型参数，到这里大家可能会有疑惑，我们干嘛不先通过多项式特征处理函数做转换，然后再接着做一个线性回归或者logistic回归之类的不就行了吗？那这个...FM拿它何用？如果按照刚刚的操作其实是有很大问题的，主要有两点问题：

（1）参数爆炸；

（2）高维稀疏；

第一点比较容易理解，对于 $n$ 个特征， $w_{ij}$ 将会有 $\frac{n(n-1)}{2}$ 项，形象点说就是平常随意用到的100个特征，扩展后将会有5000个，而参数越多，如果没有足够的数据做训练，模型很容易陷入过拟合，而对于第二点，经常处理离散特征的同学会很容易理解，比如下图

包含有三个特征（最左侧的是标签），且都是离散特征，而对于离散特征我们经常做的一种操作便是one-hot转换，转换后的结果如下图：

如果我们在对这些特征做多项式转换，可以发现转后的20多个特征中，仅仅只有3个非零特征，这就意味着绝大部分的 $x_ix_j$ 将会是0，而损失函数关于 $w_{ij}$ 的导数必然会包含有 $x_ix_j$ 这一项，这就意味 $w_{ij}$ 大部分情况下就是个摆设，很难被更新到，而FM便可以解决这两个问题，它假设 $w_{ij}$ 由两个向量的内积生成：

$w_{ij}:=<v_i,v_j>$

这里， $v_i$ 表示第 $i$ 个特征的隐向量，其向量长度为 $k(k<<n)$ ，通常 $k=4$ 即可，这时FM模型方程如下：

$y(x)=w_0+\sum_{i=1}^nw_ix_i+\sum_{i=1}^{n-1}\sum_{j=i+1}^n<v_i,v_j>x_ix_j$
进一步的，我们可以将其化简为如下形式：

$y(x)=w_0+\sum_{i=1}^nw_ix_i+\frac{1}{2}\sum_{f=1}^k((\sum_{i=1}^nv_{i,f}x_i)^2-\sum_{i=1}^nv_{i,f}^2x_i^2)$

这里， $v_{i,f}$ 表示向量 $v_i$ 的第 $f$ 个元素，上述化简用到了这样的关系： $ab+ac+bc=\frac{1}{2}((a+b+c)^2-(a^2+b^2+c^2))$ ，接下来我们可以进一步看看梯度：

$\frac{\partial}{\partial\theta}y(x)=\left\{\begin{matrix} 1 &\theta=w_0 \\ x_i &\theta=w_i \\ x_i\sum_{j=1}^nv_{j,f}x_j-v_{i,f}x_i^2 & \theta=v_{i,f} \end{matrix}\right.$

可以发现前面的两个问题可以被FM解决了，第一个问题，参数量从 $n(n-1)/2$ 降低到了 $kn$ ，第二个高维稀疏导致参数无法被训练的问题，对于 $v_{i,f}$ 只要 $x_i$ 不为0，且所有 $x_j,j=1,2,...,n$ 中有一个不为0，那么梯度 $\frac{\partial}{\partial v_{i,f}}y(x)$ 就不为0，这比 $x_ix_j$ 不为0的条件松了很多

二.代码实现

这里就对FM应用到回归任务做简单实现，更多的功能扩展放到FFM中，下面推导一下损失函数对参数的梯度，假设样本 $x$ 对应的标签为 $t$ ，那么损失函数可以表示如下：

$L(\theta)=\frac{1}{2}(y(x)-t)^2$

那么：

$\frac{\partial L(\theta)}{\partial y(x)}=y(x)-t$

再根据链式求导有：

$\frac{\partial L(\theta)}{\partial \theta}=\frac{\partial L(\theta)}{\partial y(x)}\frac{\partial y(x)}{\partial\theta}\\ =(y(x)-t)\cdot \left\{\begin{matrix} 1 &\theta=w_0 \\ x_i &\theta=w_i \\ x_i\sum_{j=1}^nv_{j,f}x_j-v_{i,f}x_i^2 & \theta=v_{i,f} \end{matrix}\right.$

三.测试

import matplotlib.pyplot as plt
%matplotlib inline

#造伪数据
data1 = np.linspace(1, 10, num=200)
data2 = np.linspace(1, 10, num=200) + np.random.random(size=200)
target = data1 * 2 + data2 * 1 + 10 * data1 * data2 + np.random.random(size=200)
data = np.c_[data1, data2]

from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(data, target, test_size=0.4, random_state=0)

#训练模型
model = FM()
train_losses,eval_losses = model.fit(X_train, y_train, eval_set=(X_test,y_test))

epoch: 1 / 1 ,samples: 1 / 120 ,train loss: 327.43304536928594 ,eval loss: 291.9721877542085
epoch: 1 / 1 ,samples: 2 / 120 ,train loss: 326.7160901918784 ,eval loss: 291.3271189485855
epoch: 1 / 1 ,samples: 3 / 120 ,train loss: 325.7151828483661 ,eval loss: 290.43528663690176
epoch: 1 / 1 ,samples: 4 / 120 ,train loss: 324.4152130238985 ,eval loss: 289.2810645127806
epoch: 1 / 1 ,samples: 5 / 120 ,train loss: 323.01897436328363 ,eval loss: 288.0444933403834
epoch: 1 / 1 ,samples: 6 / 120 ,train loss: 321.3838207470574 ,eval loss: 286.5995936954016
epoch: 1 / 1 ,samples: 7 / 120 ,train loss: 319.94927792261774 ,eval loss: 285.3310103840077
epoch: 1 / 1 ,samples: 8 / 120 ,train loss: 318.5719337115685 ,eval loss: 284.11400223694636
epoch: 1 / 1 ,samples: 9 / 120 ,train loss: 316.9476360205337 ,eval loss: 282.6800903373831
epoch: 1 / 1 ,samples: 10 / 120 ,train loss: 314.7864859352729 ,eval loss: 280.7747654767163

#查看拟合效果
plt.scatter(data[:, 0], target)
plt.plot(data[:, 0], model.predict(data), color='r')

#查看loss
plt.plot(range(0,len(train_losses)),train_losses,label='train loss')
plt.plot(range(0,len(eval_losses)),eval_losses,label='eval loss')
plt.legend()

FM因子分解机的原理介绍及实现

一.FM原理

二.代码实现

三.测试

猜你喜欢

热点阅读