log-linear模型
2018-06-30 本文已影响0人
Chooully
log–linear是word2vec所用模型的前身。
有以下成分:
1. 输入集合X
2. 标注集合Y, Y是可数集
3. 正整数K指定模型中向量维数
4. 映射f: X×Y–>R^K, 也就是将任意（x,y）映射到K维实数向量
5. K维实数参数向量v∈R^K
对任意x,y,模型条件概率为:
y|x 条件概率其中 · 代表元素乘
对数条件概率
log-linear模型用于统计语言模型，
统计语言模型的预测方法
至于命名问题，对等式两边取对数：
分解成线性项和正则项
log-linear方法还可用在别处，比如tagging problem,
tagging problem 形式
