DataWhale 组对学习活动笔记

本笔记源于Datawhale组对学习活动的任务笔记，也作为我对以前知识的回顾和整理。
线性回归模型首先是一个回归模型，他解决的是回归任务，所以首先介绍一下回归任务。回归任务和分类任务的主要区别在于输出的变量的取值是否为连续值，如果是连续值，则为回归任务，否则可以认为是分类任务。同时因为回归任务的输出变量是连续值，所以其输入变量也必然应该是连续值，否则无法建立有效的映射关系，在李航的《统计学习方法》里面有过如下描述：

输入变量与输出变量均为连续变量的预测问题是回归问题；
输出变量为有限个离散变量的预测问题成为分类问题；
输入变量与输出变量均为变量序列的预测问题成为标注问题。

而线性回归模型是利用了线性函数去拟合输入和输出之间的映射。

线性回归模型的一般形式

假设有如下数据集,其中是一组d维特征，有,每个特征都是连续取值的变量。而是一个连续取值的实数变量。
线性回归模型的目的是为了找到一组权重，构造一个预测值

使得对于数据集中的所有样本的损失函数之和最小。
这里的损失函数一般用均方误差损失函数。
那我们的目标损失函数就是：

我们的目标是找到一组权重，使让均方误差最小化。

概率角度的诠释

为什么选择均方误差呢？这里可以从极大似然估计的角度去诠释。
我们可以将目标值和变量写成如下形式：

表示我们未观测到的变量的印象，即随机噪音。我们假定是独立同分布，且服从高斯分布。（根据中心极限定理）

因此：

我们建立极大似然函数，即描述数据遵从当前样本分布的概率分布函数。由于样本的数据集独立同分布，因此可以写成:

选择使得似然函数最大化，这就是极大似然估计的思想。
为了方便计算，通常取对数似然函数：

参考资料

Task1 Linear_regression.ipynb