k-NN算法可以说是最简单的机器学习算法，构建模型只需要保存训练数据集即可。对新数据点做出预测，算法会在训练数据集中找到最近的数据点，也就是它的“最近邻”。k-NN可以用于指纹匹配。
监督机器学习问题主要有2种，即分类(classification)和回归(regression)。
分类问题的目标是预测类别标签，这些标签来自预定义的可选列表。回归任务的目标是预测一个连续值。区分分类任务和回归任务的一个简单方法就是：输出是否具有某种连续性。

1. k近邻分类

通过scikit-learn应用k近邻分类算法步骤如下：

1.1 导入需要使用的库

import numpy as np
import pandas as pd
import mglearn
import matplotlib.pyplot as plt
from sklearn.model_selection import train_test_split

1.2 生成数据

X ,y = mglearn.datasets.make_forge()

这里的X，y都是numpy数组，其中X是一个26*2的二维数组，代表样本点数据，y是一维数组，代表对应样本点所属的分类。

image.png

1.3 拆分数据集

scikit-learn中的train_test_split函数可以打乱数据集并进行拆分，这个函数将75%的行数据及对应标签作为训练集，剩下25%作为作为测试集。

X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=0)

train_test_split函数先利用伪随机数生成器将数据打乱，确保测试集中包含所有类别的数据，为了确保多次运行同一函数能够得到相同的输出，我们利用random_state参数指定随机数生成器种子。
train_test_split函数的输出为X_train、X_test、y_train、y_test，它们都为numpy数组。

1.4 构建模型

k邻近分类算法是在scikit-learn的neighbors模块的KNeighborsClassifier类中实现的，需要将这个类实例化为一个对象，然后才能使用这个模型。KNeighborsClassifier最重要的参数就是邻居的个数n_neighbors。

from sklearn.neighbors import KNeighborsClassifier
clf = KNeighborsClassifier(n_neighbors=3)

想要基于训练集来构建模型，需要调用KNeighborsClassifier实例化的对象的fit方法，输入参数为X_train和y_train，二者均为numpy数组，前者包含训练数据，后者包含响应的训练标签。

clf.fit(X_train, y_train)

1.5 做出预测

调用KNeighborsClassifier实例化的对象的predict方法来进行预测。对测试集中的每个测试点，都要计算它在训练集的最邻近，然后找出其中出现次数最多的类别。

print("Test set predictions:{}".format(clf.predict(X_test)))

1.6 模型评估

为了评估模型泛化能力的好坏，可以对测试数据和测试标签调用score方法：

print("Test set accuracy:{:.2f}".format(clf.score(X_test, y_test)))

2. k近邻回归

用于回归的k近邻算法在scikit-learn的neighbors模块的KNeighborsRegressor类中实现。其用法与KNeighborsClassifier类似：

import numpy as np
import pandas as pd
import mglearn
import matplotlib.pyplot as plt
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsRegressor
X, y = mglearn.datasets.make_wave(n_samples=40)
# 将wave数据集分为数据集和训练集
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=0)
# 模型实例化，邻居数设置为3
reg = KNeighborsRegressor(n_neighbors=3)
# 利用训练数据和训练目标值来拟合模型
reg.fit(X_train, y_train)
# 对测试集数据进行预测
print("Test set predictions:\n{}".format(reg.predict(X_test)))
# 对模型进行评估
print("Test set R^2:{.:2f}".format(reg.score(X_test, y_test)))