08-KNN
2018-12-22 本文已影响15人
郑元吉
一.机器学习原理
-
原理
机器学习原理.png
- 常见名词
训练数据
类
二.机器学习分类
2.1 有监督学习
- 分类
K近邻、朴素贝叶斯、决策树、SVM
- 回归
线性回归、逻辑回归、岭回归
2.2 无监督学习
- 聚类
K-means
2.3 半监督学习
深度学习
三.k-近邻算法原理
简单地说，K-近邻算法采用测量不同特征值之间的距离方法进行分类（k-Nearest Neighbor，KNN）
优点：精度高、对异常值不敏感、无数据输入假定。
缺点：时间复杂度高、空间复杂度高。1、当样本不平衡时，比如一个类的样本容量很大，其他类的样本容量很小，输入一个样本的时候，K 个临近值中大多数都是大样本容量的那个类，这时可能就会导致分类错误。改进方法是对K临近点进行加权，也就是距离近的点的权值大，距离远的点权值小。
2、计算量较大，每个待分类的样本都要计算它到全部点的距离，根据距离排序才能求得K个临近点，改进方法是：先对已知样本点进行剪辑，事先去除对分类作用不大的样本。适用数据范围：数值型和标称型
标称型：标称型目标变量的结果只在有限目标集中取值，如真与假(标称型目标变量主要用于分类)
数值型：数值型目标变量则可以从无限的数值集合中取值，如0.100，42.001等 (数值型目标变量主要用于回归分析)
-
工作原理
K邻近法.png
四.入门案例
- KN
from sklearn.neighbors import KNeighborsClassifier
neigh = KNeighborsClassifier(n_neighbors=3)
#身高、体重、鞋的尺寸
X = np.array([[181,80,44],[177,70,43],[160,60,38],[154,54,37],
[166,65,40],[190,90,47],[175,64,39],[177,70,40],
[159,55,37],[171,75,42],[181,85,43]])
display(X)
y = ['male','male','female','female','male','male','female','female','female','male','male']
# 第1步：训练数据
neigh.fit(X,y)
# 第2步：预测数据
Z = neigh.predict(np.array([[190,70,43],[168,55,37]]))
display(Z)
五.用于分类
5.1 用于分类的numpy方法介绍
- np.meshgrid
从坐标向量返回坐标矩阵
import numpy as np
nx, ny = 3, 4
x = np.linspace(0, 1, nx)
y = np.linspace(0, 1, ny)
xv, yv = np.meshgrid(x, y)
display(x,y,xv,yv)
输出：
array([ 0. , 0.5, 1. ])
array([ 0. , 0.33333333, 0.66666667, 1. ])
array([[ 0. , 0.5, 1. ],
[ 0. , 0.5, 1. ],
[ 0. , 0.5, 1. ],
[ 0. , 0.5, 1. ]])
array([[ 0. , 0. , 0. ],
[ 0.33333333, 0.33333333, 0.33333333],
[ 0.66666667, 0.66666667, 0.66666667],
[ 1. , 1. , 1. ]])
- np.ravel
返回一个连续的平坦矩阵
x = np.array([[1, 2, 3], [4, 5, 6]])
display(x,x.ravel())
输出：
array([[1, 2, 3],
[4, 5, 6]])
array([1, 2, 3, 4, 5, 6])
- np.c_
将切片对象按第二轴转换为串联
np.c_[np.array([1,2,3]), np.array([4,5,6])]
输出：
array([[1, 4],
[2, 5],
[3, 6]])
5.2 具体操作
1)导包
# 导入库：KNeighborsClassifier
import numpy as np
from sklearn.neighbors import KNeighborsClassifier
import matplotlib.pyplot as plt
from matplotlib.colors import ListedColormap
# 导入sklearn自带数据集
from sklearn import datasets
2)获取数据
# 得到训练样本
iris = datasets.load_iris()
X = iris.data[:,:2]
y = iris.target
3)绘制图形
#定义三种颜色代表三种蓝蝴蝶
cmap_species = ListedColormap(['#FF0000','#00FF00','#0000FF'])
plt.scatter(X[:,0],X[:,1],c = y,cmap = cmap_species)
plt.show()
绘制图形.png
4)KNN
#定义KNN分类器
clf = KNeighborsClassifier(n_neighbors=10)
5)训练数据
# 第1步：训练分类器
clf.fit(X,y)
6)预测数据
# 图片的显示范围
x_min, x_max = X[:,0].min()-1, X[:,0].max()+1
y_min, y_max = X[:,1].min()-1, X[:,1].max()+1
# 图片的背景显示坐标
xx,yy = np.meshgrid(np.arange(x_min,x_max,0.02),np.arange(y_min,y_max,0.02))
7)数据预测
# 第2步：预测
Z = clf.predict(np.c_[xx.ravel(),yy.ravel()])
z = Z.reshape(xx.shape)
8)展示数据
cmap_background = ListedColormap(['#FFAAAA','#AAFFAA','#AAAAFF'])
# 显示背景的颜色
plt.pcolormesh(xx,yy,z,cmap=cmap_background)
# 显示点的颜色
plt.scatter(X[:,0],X[:,1],c = y,cmap=cmap_species)
plt.xlim(xx.min(),xx.max())
plt.ylim(yy.min(),yy.max())
plt.title('3-class classification')
plt.show()
分类.png
六.用于回归
1)导包
import numpy as np
import matplotlib.pyplot as plt
from sklearn.neighbors import KNeighborsRegressor
%matplotlib inline
2)生成数据
# 设置随机种子，确保每次运行得到相同结果
np.random.seed(0)
#生成40个随机数据,这是训练数据
X_test = np.sort(5*np.random.rand(40,1),axis = 0)
#这是要进行预测的数据
T = np.linspace(0,5,100)[:,np.newaxis
3)生成测试数据对应的结果
y = np.sin(X_test).ravel()
#添加噪声
y[::5] += (0.5 - np.random.rand(8))
4)第一步训练数据
# 定义一个KNN回归模型
knn = KNeighborsRegressor(n_neighbors=5)
# 第一步：训练数据
knn.fit(X,y)
5)第二步预测数据
# 第二步：预测数据
y_ = knn.predict(T)
6)绘图显示结果
# 画图
plt.scatter(X,y,c='k',label = 'data')
plt.plot(T,y_,c='g',label = 'prediction')
plt.axis('tight')
plt.legend()
#传入数据，打印预测结果
yy = knn.predict(2)
display(yy)
回归.png
七.预测年收入大于50K
1)导包
import numpy as np
import pandas as pd
from sklearn.neighbors import KNeighborsClassifier
2)读取数据
data = pd.read_csv('../data/adults.txt')
data.head()
3)抽取数据
X = data[['age','education','occupation','hours_per_week']].copy()
Y = data['salary'].copy()
4)数据转换String-->int
def edu2num(edu):
return np.argwhere(X['education'].unique()==edu)[0,0]
def ocp2num(ocp):
return np.argwhere(X['occupation'].unique()==ocp)[0,0]
5)map方法调用转换数据
X['education'] = X['education'].map(edu2float)
X['occupation'] = X['occupation'].map(ocp2float)
6)切片获取训练数据和预测数据
X_train = X.iloc[:-1000]
X_test = X.iloc[-1000:]
Y_train = Y.iloc[:-1000]
Y_test = Y.iloc[-1000:]
7)算法
clf = KNeighborsClassifier(15)
8)第一步：训练
clf.fit(X_train,Y_train)
9)第二步：预测
Y_ = clf.predict(X_test)
10)绘图显示结果
pd.crosstab(index=Y_, columns=Y_test, rownames=['预测值',], colnames=['真实值'], margins=True)
显示结果.png
