K-近邻算法

k-近邻算法原理

k-近邻算法采用测量不同特征值之间的距离方法进行分类

• 优点：精度高，对异常值不敏感、无数据输入假定。
• 缺点：时间复杂度高、空间复杂度高。
• 使用数据范围：数值型和标称型。

1.工作原理

存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一数据 与所属分类的对应关系。输人没有标签的新数据后，将新数据的每个特征与样本集中数据对应的 特征进行比较，然后算法提取样本集中特征最相似数据（最近邻）的分类标签。一般来说，我们 只选择样本数据集中前K个最相似的数据，这就是K-近邻算法中K的出处,通常K是不大于20的整数。 最后 ，选择K个最相似数据中出现次数最多的分类，作为新数据的分类。

2.在scikit-learn库中使用k-近邻算法

• 分类问题：from sklearn.neighbors import KNeighborsClassifier
• 回归问题：from sklearn.neighbors import KNeighborsRegressor

实例

• 用于分类
  使用knn算法，对鸢尾花数据进行分类
  1.导包鸢尾花数据:
  from sklearn.datasets import load_iris
  2.获取训练样本
  iris = load_iris()
  data = iris.data
  target = iris.target

  
  
  
  

  3.绘制出其中两个特征的散点图
  plt.scatter(data[:,0], data[:,1], c=target, cmap='rainbow')

  
  
  3.定义KNN分类器
  knn = KNeighborsClassifier()

  • 第一步训练数据
    knn.fit(data[:,0:1], target)
    从训练数据中分割出预测数据
    from sklearn.model_selection import train_test_split
    X_train, X_test, y_train, y_test = train_test_split(data[:,0:1],target, test_size=50)
    y_ = knn.predict(X_test)
    y_test
    plt.plot(np.arange(50),y_, np.arange(50), y_test)

    
    

  • 第二步预测数据：，所预测的数据，自己创造，就是上面所显示图片的背景点
    生成预测数据
    取范围
    xmin, xmax = data[:,0].min(), data[:,0].max()
    ymin, ymax = data[:,1].min(), data[:,1].max()
    生成面
    x = np.linspace(xmin, xmax, 1000)
    y = np.linspace(ymin, ymax, 1000)
    X,Y = np.meshgrid(x,y)
    X_test = np.c_[X.ravel(), Y.ravel()]

    data = data[:, 0:2]
    knn = KNeighborsClassifier()
    knn.fit(data, target)

    y_ = knn.predict(X_test)
    pcolormesh快速画图
    plt.pcolormesh(X,Y, y_.reshape((1000,1000)))
    plt.scatter(data[:,0], data[:,1], c=target, cmap='rainbow')