多项式回归算法

1、算法简介

1-1、算法思路

上一篇，简单线性回归算法的缺点之一是对于标签值是曲线结构的走势，很难拟合。那多项式回归算法出现，就是使得线性回归算法可以对非线性的数据进行回归分析，一个方面的优化、改进。

对于拟合出非线性关系，一般可以想到曲线；提起曲线，就得说在初中时学习的一元二次方程--y = ax^2 + bx + c。

简单线性回归算法的特征值是一次幂，如果想要形成一元二次方程的效果，就得需要在特征值中添加二次幂；这样的话，对于最后的解就变为了a、b、c。

---

1-2、图示

多项式回归

如图，样本点中间有一条曲线，样本之间的关系试图要用一条曲线来拟合。

---

1-3、算法流程
同简单线性回归算法

---

1-4、优缺点

1-4-1、优点

a、拟合非线性的数据
b、理解与解释都十分直观
c、可以通过正则化来降低过拟合的风险
d、容易使用随机梯度下降和新数据更新模型权重

1-4-2、缺点

a、需要处理异常值
b、较简单回归算法复杂、困难
c、训练时间会增加

---

2、实践

2-1、采用bobo老师创建简单测试用例

import numpy as np 
import matplotlib.pyplot as plt

# 创建测试数据
x = np.random.uniform(-3, 3, size=100)
X = x.reshape(-1, 1)
y = 0.5 * x**2 + x + 2 + np.random.normal(0, 1, 100)

plt.scatter(x, y)
plt.show() #见plt.show0

plt.show0

from sklearn.linear_model import LinearRegression

# 使用简单线性回归训练
lin_reg = LinearRegression()
lin_reg.fit(X, y)
y_predict = lin_reg.predict(X)

plt.scatter(x, y)
plt.plot(x, y_predict, color='r')
plt.show() # 见plt.show1

plt.show1

X2 = np.hstack([X, X**2]) # 添加一个二次幂特征
X2.shape
# (100, 2)

# 多项式回归
lin_reg2 = LinearRegression()
lin_reg2.fit(X2, y)
y_predict2 = lin_reg2.predict(X2)

plt.scatter(x, y)
plt.plot(np.sort(x), y_predict2[np.argsort(x)], color='r') 
#要对x排序，否则是混乱的折线图
plt.show() # 见plt.show2

plt.show2

lin_reg2.coef_ # 特征和二次幂特征的系数
# array([0.85348244, 0.481137  ])

lin_reg2.intercept_ # 截距-b
# 2.032352537360585