线性回归入门（1）
1、什么是线性回归
- 线性回归(Linear Regression)是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。
- 线性回归利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模。这种函数是一个或多个称为回归系数的模型参数的线性组合。只有一个自变量的情况称为简单回归,大于一个自变量情况的叫做多元回归。
2、线性回归模型的应用
线性回归模型属于经典的统计学模型，应用场景是根据已知变量（自变量）来预测某个连续的数值变量（因变量）。例如，餐厅根据每天的营业数据预测就餐规模或营业额；医生根据患者病例数据预测某种疾病发生的概率。
3、一元线性回归
一元线性回归，也就是有一个自变量，其模型可以表示为： y = a + bx + ϵ
其中,x为自变量，y为因变量，a为截距，b为斜率，ϵ为误差项的随机变量。a和b统称为回归系数，误差项ϵ是为了平衡等号两边的值而存在，通常被称为模型无法解释的部分。可以这么来理解ϵ：我们对y的预测是不可能达到与真实值完全一样的，这个真实值只有上帝知道，因此必然会产生误差，我们就用ϵ来表示这个无法预测的误差。
4、一元线性回归实例
下面以《深入浅出统计学》最后一章的案例来演示一元线性回归模型的应用：两个兄弟打算开露天音乐会，可是不幸天上飘来乌云。他们想要根据天晴时数来预测出音乐会听众人数。
import pandas as pd
h = [1.9, 2.5, 3.2, 3.8, 4.7, 5.5, 5.9, 7.2]
p = [22, 33, 30, 42, 38, 49, 42, 55]
df = pd.DataFrame({'晴天时数':h, '听众人数(百人)':p})
df
晴天时数 听众人数(百人)
0 1.9 22
1 2.5 33
2 3.2 30
3 3.8 42
4 4.7 38
5 5.5 49
6 5.9 42
7 7.2 55
以上为样本数据，利用这些数据，我们如何基于当天的天晴时数估计出票情况？
4.1 相关性
首先绘制散点图，观察一下两个变量之间的关系
%matplotlib inline
import matplotlib.pyplot as plt
plt.scatter(df['晴天时数'], df['听众人数(百人)'], color='b')
1.png
通过散点图趋势可以看出晴天时数和听众人数成正相关关系，即随着天晴时数的增加，听众人数也会增加。那么如何通过晴天时数预测听总会人数呢？办法就是在散点图上画一条直线，是这条直线尽量接近各个点。能最好的接近所有数据点的直线被称为最佳拟合线。
import seaborn as sns
plt.rcParams['font.sans-serif'] = ['SimHei']
sns.lmplot(x='听众人数(百人)', y='晴天时数', data=df, ci=None)
2.png
通过上图画出来的就是最佳拟合线，但是它是怎么求得的呢？
4.2 拟合线求解
如何确定两个系数a和b呢?人们总是希望寻求一定的规则和方法，使得所估计的样本回归方程是总体回归方程的最理想的代表。最理想的回归直线应该尽可能从整体来看最接近各实际观察点，即散点图中各点到回归直线的垂直距离，即因变量的实际值与相应的回归估计值的误差整体来说为最小。由于误差有正有负，正负会相互抵消，通常采用观测值与对应估计值之间的误差平方总和来衡量全部数据总的误差大小。因此，回归直线应满足的条件是：全部观测值与对应的回归估计值的误差平方的总和为最小（最小二乘法），即：
最小
由于自变量x和因变量y的值都是已知的，因此求解误差平方和的问题就是求目标函数的最小值问题，而该函数的参数就是a和b。
该目标函数为一个二元二次函数，分别对a和b求偏导，令结果为0，即为目标函数的最小值，同时求出a和b的值。
最终求得结果：
4.3、Python实现
from sklearn import linear_model
linear = linear_model.LinearRegression()
linear.fit(df['晴天时数'].values.reshape(-1,1), df['听众人数(百人)'])
print('斜率b：', linear.coef_[0])
print('截距a：', linear.intercept_)
斜率b： 5.336410534890034
截距a： 15.728319304914475
所以线性回归模型可表示为：听众人数（百人）= 15.73 + 5.34 * 晴天时数（小时）。 第二图中的最佳拟合线即为此方程得出，被称为回归线。
这样我们就可以预测不在数据集中的晴天时数对应的听众人数了。两兄弟说听众人数超过3500才不会赔本。我们可以利用回归方程算下至少需要多少的晴天时数呢
h = (35 - 15.73) / 5.34
print('至少需要晴天%.2f小时才不会赔本' %h)
至少需要晴天3.61小时才不会赔本
模型算出来了，那么这个模型的拟合程度怎样呢？为此我们需要进行评估。
决定系数R2（R的平方）,它是可以用x变量进行解释的y变量的变异百分数，例如可以用决定系数指出露天音乐会听众人数中有多大比例的变异可以由预计天晴时数进行解释。
- 如果R2=0，则无法从x预测y值。
- 如果R2=1，则可以从x预测y值，且无误差
- 如果R2介于0和1之间，R2越接近1，越能通过x预测y；越接近0，x越无法预测y。
R2可以利用score()函数进行计算
linear.score(df['晴天时数'].values.reshape(-1,1), df['听众人数(百人)'])
0.8394574407934108
R2=0.84，可以看出模型的拟合程度还是可以的。
4.4、变量的显著性检验
变量的显著性检验的目的：剔除回归系数中不显著的解释变量（也就是X），使得模型更简洁。在一元线性模型中，我们只有有一个自变量X，就是要判断X对Y是否有显著性的影响；多元线性回归中，验证每个Xi自身是否真的对Y有显著的影响，不显著的就应该从模型去掉。
这里用到statsmodels模块中的summary()函数进行验证
import statsmodels.api as sm
df.columns = ['h', 'p']
model = sm.formula.ols('p~h', data=df).fit()
model.summary()
Dep. Variable: p R-squared: 0.839
Model: OLS Adj. R-squared: 0.813
Method: Least Squares F-statistic: 31.37
Date: Thu, 21 Feb 2019 Prob (F-statistic): 0.00138
Time: 20:52:56 Log-Likelihood: -22.359
No. Observations: 8 AIC: 48.72
Df Residuals: 6 BIC: 48.88
Df Model: 1
Covariance Type: nonrobust
coef std err t P>|t| [0.025 0.975]
Intercept 15.7283 4.437 3.545 0.012 4.871 26.586
h 5.3364 0.953 5.601 0.001 3.005 7.668
Omnibus: 2.454 Durbin-Watson: 3.403
Prob(Omnibus): 0.293 Jarque-Bera (JB): 0.846
Skew: 0.188 Prob(JB): 0.655
Kurtosis: 1.452 Cond. No. 13.3
T检验(P>|t|=0.001)用于对某一个自变量Xi对于Y的线性显著性，如果某一个Xi不显著，意味着可以从模型中剔除这个变量，使得模型更简洁。p值小于0.05即通过显著性检验。
F检验(F-statistic=31.37)用于对所有的自变量X在整体上看对于Y的线性显著性。
