一、二元分类的线性模型

图1.1 线性分类、线性回归、逻辑回归1
图1.2 线性分类、线性回归、逻辑回归2
图1.3 线性分类、线性回归、逻辑回归3
图1.4 线性分类、线性回归、逻辑回归4
图1.5 0-1错误的上界分析
图1.6 将回归应用于分类

线性回归后的参数值常用于PLA/PA/Logistic Regression的参数初始化。

二、随机梯度下降

两种迭代优化模式：

图2.1 两种迭代优化模式

若利用全部样本 ------> 利用随机的单个样本，则梯度下降 ------> 随机梯度下降。

图2.2 随机梯度下降

SGD与PLA的相似性：

图2.3 SGD VS PLA1
图2.4 SGD VS PLA2

当迭代次数足够多时，停止。步长常取0.1。

图2.5 对线性回归应用SGD

三、使用逻辑回归的多分类问题

是非题 ------> 选择题：

图3.1 多分类问题

每次识别一类A，将其他类都视作非A类。

图3.2 OVA1

结果出现问题。

图3.3 OVA2

将是不是A类变为是A类的可能性。由硬分类变为了软分类。

图3.4 OVA3

分别计算属于某类的概率，取概率值最大的类为最后的分类结果。

图3.5 OVA4

OVA总结：
注意每次计算一类概率时都得利用全部样本。

图3.6 OVA总结

四、使用二元分类的多分类问题

OVA经常不平衡，即属于某类的样本过多时，分类结果往往倾向于该类。
为更加平衡，使用OVO。
OVA保留一类，其他为非该类，每次利用全部样本；
OVO保留两类，每次只利用属于这两类的样本。

图4.1 OVO1

通过投票得出最终分类结果。

图4.2 OVO2

OVO总结：

图4.3 OVO总结

OVA vs OVO：

图4.4 OVA vs OVO