机器学习

01-kNN算法实战-(机器学习实战)

2017-07-26  本文已影响164人  sixleaves

最近在看机器学习实战这本书。刚开始看kNN算法，并写了些程序，分享下一些感悟和细节。

什么是kNN

kNN中文又称为k-近邻算法，其基本思想是通过计算输入样本点 和 训练集样本点之前的这两个向量之前的距离，距离越近的话，说明其特征越靠近，通过取出其k个距离最近的样本点，然后计算这k个样本点中类别占比最大的类比以此来预测输入样本点(被测样本点)的类别。

kNN的优势

kNN的劣势

kNN算法的实现

from numpy import *
import operator
# 该分类器模型，只需要输入向量， 训练数据集矩阵dataSet，每一行是一个样本。labels(每一行的样本标签)。k取前几个
def classify0(inX, dataSet, labels, k):
    dataSetSize = dataSet.shape[0]
    diffMat = tile(inX, (dataSetSize,1)) - dataSet
    sqDiffMat = diffMat**2
    sqDistances = sqDiffMat.sum(axis=1)
    distances = sqDistances**0.5
    sortedDistIndicies = distances.argsort()     
    classCount={}          
    for i in range(k):
        voteIlabel = labels[sortedDistIndicies[i]]
        classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
    sortedClassCount = sorted(classCount.iteritems(), key=operator.itemgetter(1), reverse=True)
    return sortedClassCount[0][0]

使用kNN来改进婚恋网站的匹配

这里的数据集如下

image.png

datingTestSet.txt存放了该网站关于个人信息的集合。每一行代表一个人，一共有三个特征属性，和一个标签属性用来标识是哪一类人。
datingTestSet2.txt 存放的是处理过的datingTestSet数据，将类别标签处理成数字

两个文件的内容如下


image.png

目的

现在的需求是，我们必须根据提供的数据，来准确的划分出这三类人。才能精确的从数据中挑选出的人是用户感兴趣的。

分析

步骤

处理数据(提取数据，归一化)

改函数用来读取训练集数据将其转化为矩阵，并提取出标签集合。具体代码看下面

from numpy import *
def file2matrix(filename):
    file = open(filename)
    arrayOfLines = file.readlines()
    numberOfLines = len(arrayOfLines)
    returnMat = zeros((numberOfLines,3))
    classLabelVector = []
    index = 0
    for line in arrayOfLines:
        line = line.strip()
        listFromLine = line.split('\t')
        returnMat[index,:] = listFromLine[0:3]
        classLabelVector.append(int(listFromLine[-1]))  # 这边要十分小心，必须强制转换为整形，不然编译器会当做字符串处理
        index += 1
    return returnMat, classLabelVector

将特征数据都归一化
因为航程特征的数字太大，对其他两个影响太大，但是又不能忽略，为了减少这种影响。将数据进行归一行，既处理层0到1之前的小数。利用了如下原理
newValue = oldValue - minValue/(maxValue - minValue)

# 数据归一化 newValue = oldValue - minValue/(maxValue - minValue)
def autoNorm(dataSet):
    minVals = dataSet.min(0)
    maxVals = dataSet.max(0)
    ranges = maxVals - minVals
    normaMat = zeros(shape(dataSet))
    m = dataSet.shape[0]
    normaMat = dataSet - tile(minVals, (m, 1))
    normaMat = normaMat / tile(ranges, (m, 1))
    return normaMat, ranges, minVals
通过图形分析数据
# 列2和列1的比较
datingDataMat,datingDataLabels = file2matrix('/Users/sixleaves/Dropbox/DeepLearning/machinelearninginaction/Ch02/datingTestSet2.txt')
print datingDataLabels
import matplotlib
import matplotlib.pyplot as plt
from numpy import *
fig = plt.figure()
ax = fig.add_subplot(111)
ax.scatter(datingDataMat[:, 1], datingDataMat[:, 2], 15.0 * array(datingDataLabels), 15.0 * array(datingDataLabels))
plt.show()
image.png 
# 列2和列1的比较
datingDataMat,datingDataLabels = file2matrix('/Users/sixleaves/Dropbox/DeepLearning/machinelearninginaction/Ch02/datingTestSet2.txt')
print datingDataLabels
import matplotlib
import matplotlib.pyplot as plt
from numpy import *
fig = plt.figure()
ax = fig.add_subplot(111)
ax.scatter(datingDataMat[:, 0], datingDataMat[:, 1], 15.0 * array(datingDataLabels), 15.0 * array(datingDataLabels))
plt.show()
image.png

通过上面的分析，可以很明显的发现，使用前两个特征，我们就可以将这三类人比较精确的分离出来。但如果只使用第二个和第三个特征难以分离出该三类。

编写测试用例，测试kNN分类器的效果
# 针对约会网站的测试代码,测试分类器的效果
def datingClassTest():
    hoRatio = 0.10
    datingDataMat, datingDataLabels = file2matrix('/Users/sixleaves/Dropbox/DeepLearning/machinelearninginaction/Ch02/datingTestSet2.txt')
    normMat, ranges, minVals = autoNorm(datingDataMat)
    m = normMat.shape[0]   # 获取训练集行数
    numTestVecs = int(m * hoRatio)  # 取10%的行数作为测试集  
    errorCount = 0.0
    for i in range(numTestVecs):  
        classifierResult = classify0(normMat[i,:], normMat[numTestVecs:m,], datingDataLabels[numTestVecs:m], 3)  # 取从小到的前三个
        print "分类的结果是: %d, 目标结果是: %d" % (int(classifierResult), int(datingDataLabels[i]))
        if (classifierResult != datingDataLabels[i]): errorCount += 1.0
    print "总的错误率为: %f%%" %(errorCount / float(numTestVecs) * 100.0)

运行datingClassTest()方法我们可以看到如下结果(其中1，2，3分别代表三类人的标签映射。)，改分类器的错误率为5%，也就是说95%的情况下匹配都是准确的，算是还不错的分类器。

image.png

使用KNN实现识别手写数字

具体思路和上面的例子一样。这边有个比较不一样的步骤是我们需要对图片进行处理，这里我们统一对图片做了以下处理。

分析

1.为了使用kNN模型，我们需要将图片转化为一个行向量。由于图片大小事32*32，我们需要一个1024大小的行向量即可存储。

from numpy import *
def img2vector(filename):
    fr = open(filename)
    returnVect = zeros((1, 1024))
    for i in range(32):
        lineStr = fr.readline()
        for j in range(32):
            returnVec[0, 32 * i + j] = int(lineStr[j])
    return returnVect

2.使用kNN模型进行测试

from os import listdir
from numpy import *
def handwritingClassTest():
# 遍历训练数据集，将数据集装载进矩阵。
    trainingFilesPath = "/Users/sixleaves/Dropbox/DeepLearning/machinelearninginaction/Ch02/digits/trainingDigits/"
    arrayOfTrainingFiles = listdir(trainingFilesPath)
    m = len(arrayOfTrainingFiles)
    trainingMat = zeros((m, 1024))
    classLabels = []
    for i in range(m):
        fileNameStr = arrayOfTrainingFiles[i]
        fileStr = fileNameStr.split('.')[0]
        classNum = int(fileStr.split('_')[0])
        classLabels.append(classNum)
        trainingMat[i,:] = img2vector(trainingFilesPath + fileNameStr)
    
    testFilePath = "/Users/sixleaves/Dropbox/DeepLearning/machinelearninginaction/Ch02/digits/testDigits/"
    arrayOfTestFiles =  listdir(testFilePath)
    mTest = len(arrayOfTestFiles)
    errorCount = 0.0;
    for j in range(mTest):
        testFileNameStr = arrayOfTestFiles[j]
        testFile = testFileNameStr.split('.')[0]
        testNum = testFile.split('_')[0]
        testImageVec = img2vector(testFilePath + testFileNameStr)
        classifierResult = classify0(testImageVec, trainingMat, classLabels, 3)
        print "识别结果为: %d, 正确结果为: %d" % (int(classifierResult), int(testNum))
        if classifierResult != int(testNum): errorCount += 1.0
    print "识别错误个数为: %d" % (int(errorCount))
    print "识别错误率为: %f%%" % (errorCount / float(mTest) * 100.0)
image.png

效果还是相当不错，基本达到了99%识别效率

总结:

by sixleaves 20170726 FuZhou

上一篇下一篇

猜你喜欢

热点阅读