机器学习基础(一)-线性回归

2019-01-28 本文已影响0人阿瑟_TJRS

简介
原理推导

简介

线性回归是数理统计中，利用数理统计中回归分析，来==确定两种或两种以上变量间相互依赖的定量关系==的一种统计分析方法
包括一元线性回归（一个自变量）和多元线性回归(多个自变量)

原理推导

问题建模

有一组房屋数据
两个维度：房屋面积(X)与售价(Y)
找出二者之间的关系

[站外图片上传中...(image-e5a537-1548663838750)]

问题分析

需要找出一条直线来拟合二者的关系

x:房屋面积；y:价格；如果有多个维度（多元回归）：
$(y={\beta_1}x_1+{\beta_2}x_2+{{\beta_3}x_3}+...+b )$

对于多元回归，使用矩阵形式进行表示
$h_{\beta}(X)=\left(\begin{array}{ccc}\beta1 & \beta2 & \beta3\\ \end{array}\right)*\left( \begin{array}{ccc}x1\\x2\\x3\\\end{array}\right)$

模型求解过程

模型求解涉及具体的决策和算法
决策即为：损失函数/风险函数
算法即为：具体求解参数的方法
损失函数是用来评估模型建模的效果 ， $\color{red}{描述h函数不好的程度}$
使用模型函数值即 $\color{red}{估计值与实际值的差的平方和}$ 作为损失函数,1/2是用于在求导中消除前面的参数