机器学习理解-3.逻辑回归LR
2019-04-16 本文已影响0人
笨鸡
假设一组数据的真实标签为y={y1,y2,...,yn}，这个数据有n个特征记为X = {X1,X2,...,Xn}
线性回归：y~ = W0 * X0 + W1 * X1 + ... + Wn * Xn = WT X, T为W向量的转置符。
二分类逻辑回归： p = sigmoid(y~)
多分类逻辑回归： p = softmax(y~)
代价函数交叉熵： loss = - 1/m * ∑ (y * log(y~) + (1-y) * log(1-y~))
L1,L2正则:L1正则 曼哈顿距离 j = loss + α||θ||1
L2 正则 欧氏距离 j = loss + 12α||θ||22
