李航《统计学习方法》读书笔记--统计学习方法概论

1、  定义

统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科。统计学习的对象是数据，数据分为由连续变量和离散变量表示的类型。统计学习的目的是对数据进行预测与分析。

2、 方法

统计学习方法包括监督学习、非监督学习、半监督学习和强化学习。

3、三要素

统计学习方法三要素包括模型的假设空间、模型选择的准则以及模型学习的算法，简称

为模型、策略和算法。

3.1模型

模型指的是所要学习的条件概率分布或决策函数。模型的假设空间包含所有可能的条件概率分布或决策函数。

3.2 策略

策略指的是按照什么样的准则学习或选择最优的模型。

   3.2.1损失函数

通过比较模型输出的预测值和真实值来度量预测错误的程度，函数值越小（接近0），模型越好。损失函数能够度量模型一次预测的好坏。损失函数包括0-1损失函数、平方损失函数、绝对损失函数和对数。

   3.2.2风险函数

能够度量平均意义下模型预测的好坏，是损失函数的期望。包括期望风险和经验风险。期望风险指的是模型关于联合分布的期望损失，经验风险是模型关于训练样本集的平均损失。

3.3 算法

算法是指学习模型的具体计算方法，用于求解最优模型，找到全局最优解。

4、 模型评估与模型选择

4.1 模型评估

模型评估的标准是基于损失函数的模型的训练误差和模型的测试误差。训练误差是模型关于训练数据集的平均损失。测试误差是模型关于测试数据集的平均损失。测试误差小的方法具有更好的预测能力，是更有效的方法。

4.2 模型选择

    选择或学习一个合适的模型，旨在避免过拟合并提高模型的预测能力。过拟合是指学习时选择的模型所包含的参数过多，模型过于复杂，以致于出现这一模型对已知数据预测的很好，但对未知数据预测的很差的现象，即训练误差很小，测试误差很大。

5、正则化与交叉验证

模型选择的两种方法是正则化和交叉验证，用以减少测试误差。

5.1 正则化

正则化是结构风险最小化策略的实现，是在经验风险上加一个正则化项或罚项。正则化项一般是模型复杂度的单调递增函数。正则化的作用是选择经验风险与模型复杂度同时较小的模型。

5.2 交叉验证

    由于许多实际应用中数据不充足，所以采用交叉验证的方法进行模型选择。即重复利用数据；把给定的数据进行切分，将切分的数据集组合为训练集和测试集，在此基础上反复进行训练、测试以及模型选择。包括简单交叉验证、S折交叉验证和留一交叉验证。

6、泛化能力

泛化能力指的是学习方法学到的模型对未知数据的预测能力，由泛化误差反映。泛化误差指模型对未知数据预测的误差，就是所学习到的模型的期望风险。

学习方法的泛化能力分析通常是通过比较泛化误差上界来分析。泛化误差上界具有以下性质：它是样本容量的函数，当样本容量增加时，泛化上界趋于0；它是假设空间容量的函数，假设空间容量越大，模型就越难学，泛化误差上界就越大。

7、生成模型和判别模型

监督学习方法分为生成方法和判别方法。

7.1 生成方法

生成方法由数据学习联合概率分布P(X,

Y)，然后求出条件概率P(Y|X)作为预测的模型，即生成模型。

特点：可以直接还原出联合概率分布；学习收敛速度更快；存在隐变量时，仍可以学习，而判别方法不可以。

7.2 判别方法

判别方法由数据直接学习决策函数或者条件概率分布P(Y|X)作为预测的模型，即判别模型。

特点：直接学习条件概率分布，学习的准确率更高；可以简化学习问题。

8、分类问题、标注问题和回归问题

在监督学习中，当输出变量取有限个离散值时，预测问题便是分类问题。标记问题是分类问题的推广，输入是一个观测序列，输出是一个标记序列或状态序列。当输出变量是连续变量时，预测问题即为回归问题。例如，预测明天的气温时多少度，这属于回归问题；而预测明天是阴、晴还是雨，就是一个分类问题。

分类问题的评价指标：准确率、精确率、召回率和F1值。

准确率：分类器正确分类的样本数与总样本数之比。

精确率、召回率和F1值存在于二分类问题中，分为正类和负类。

设TP—将正类预测为正类数；FN—将正类预测为负类数；FP—将负类预测为正类数；TN—将负类预测为负类数。

精确率                  

召回率                      

F1值是精确率和召回率的调和均值