机器学习理解-1.判别式模型和生成式模型

1.判别式模型

假设一组数据的真实标签为y={y1,y2,...,yn}，这个数据有n个特征记为x = {X1,X2,...,Xn}，我们要建一个model得到model标签，W = {w1,w2,...Wn}

     y' = W*x + b (W为特征上的权重，b为偏值)

要拟合出最优的model，那么需要构建一个目标函数使其值最小即可

    loss = n ∑ i=0 (Yi'-Yi)²= n ∑ i=0 ∑(W*Xi + b - Yi)²      得到了一个未知数为W和b的函数

下一步通过梯度下降调整w和b

    Wi = Wi - α * δWi    b为常数项

最后得到一个最优模型

2.生成式模型

贝叶斯模型根据特征的离散和连续分为两大类，高斯模型和伯努利模型（补充还有多项式模型）张志华系列学习中

当随机变量为离散时(例a=0或a=1)，为伯努利模型

p( Xi | y) = p(a | y)*p(y)

当随机变量为连续时(例a∈(0,n))，为高斯模型,μ为均值，σ²为方差

p(Xi | y) = 公式我就不写了。。。就是正态分布的公式啦

最后p的概率为

p= p(x)p(x|Yj) = p(Yj) n∏ i=0 p(Xi | Yj)
max(p)j即为测试数据的最大标签概率