#!/usr/bin/env python
#-*-coding:utf-8-*-
#knn 的具体实现
import csv
import random
import math
import operator
#导入数据集 文件名，split区分那个集
def loadDataset(filename,split,trainintset=[],testSet=[]):with open(filename,'rb') as csvfile:lines=csv.reader(csvfile)dataset=list(lines)for x in range(len(dataset)-1):for y in range(4):dataset[x][y]=float(dataset[x][y])if random.random()<split:trainingSet.append(dataset[x])else:testSet.append(dataset[x])
#计算距离
def euclideanDistance(instance1,instance2,length):distance=0for x in range(length):distance+=pow((instance1[x]-instance2[x]),2)return math.sqrt(distance)
#得到相邻的k个邻居
def getNeighbors(trainingSet,testInstance,k):distance=[]length=len(testInstance)-1#测试集的维度for x in range(len(trainingSet)):dist=euclideanDistance(testInstance,trainingSet[x],length)distance.append((trainingSet[x],dist))distance.sort(key=operatos.itemgetter(1))neighbors=[]for x in  range(k):neighbors.append(distances[x][0])return neighbors
#得到那个类占大多数def getResponse(neighbors):classVotes={}for x in range(len(neighbors)):response=neighbors[x][-1]if response in classVotes:classVotes[response]+=1else:classVotes[response]=1sortedVotes=sorted(classVotes.iteritems(),key=operator.itemgetter(1),reverse=True)#按降序排列return sortedVotes[0][0]
#准确率
def getAccuracy(testSet,predictions):correct=0for x in range(len(testSet)):if testSet[x][-1]==predictions[x]:correct+=1return (correct/float(len(testSet)))*100.0def main():trainingSet=[]testSet=[]split=0.67loadDataset(r'data.txt',split,trainingSet,testSet)print('Train set: '+repr(len(trainingSet)))print('Test set: '+repr(len(testSet)))predictions=[]k=3for x in range(len(testSet)):neighbors=getNeighbors(trainingSet,testSet[x],k)result=getResponse(neighbors)predictions.append(result)print('> predicted='+repr(result)+', actual='+repr(testSet[x][-1]))accuracy=getAccuracy(testSet,predictions)print('Accuracy: '+repr(accuracy)+'%')main()


#!/usr/bin/env python#-*-coding:utf-8-*-#knn实现手写数字识别#1建立工程并导入sklearn包‘import numpy as npfrom os import listdir #使用listdir模块，用于访问本地文件from sklearn import neighbors#2加载训练数据#将加载的32*32的图片矩阵展开成一列向量def img2vector(fileName): retMat=np.zeros([1024],int)#定义返回的矩阵，大小为1*1024
fr=open(fileName)#打开包含32*32大小的数字文件 lines=fr.readlines()#读取文件的所有行 for i in range(32):#遍历文件所有行 for j in range(32):#并将01数字存放在retMat中 retMat[i*32+j]=lines[i][j] return retMat#定义加载训练数据的函数readDataSet;def readDataSet(path): fileList=listdir(path)#获取文件夹下的所有文件 numFiles=len(fileList)#统计需要读取的文件的数目
dataSet=np.zeros([numFiles,1024],int)#用于存放所有的数字文件 hwLabels=np.zeros([numFiles])#用于存放对应的标签（与神经网络的不同） for i in range(numFiles):#遍历所有的文件 filePath=fileList[i]#获取文件名称/路径 digit=int(filePath.split('_')[0])#通过文件名获取标签 hwLabels[i]=digit#直接存放数字，并非one-hot向量 dataSet[i]=img2vector(path+'/'+filePath)#读取文件内容
return dataSet,hwLabelstrain_dataSet,train_hwLabels=readDataSet('digits/trainingDigits/')#训练的图片，对应的标签#3构建KNN分类器knn=neighbors.KNeighborsClassifier(algorithm='kd_tree',n_neighbors=3)knn.fit(train_dataSet,train_hwLabels)#加载测试集dataSet,hwLabels=readDataSet('digits/testDigits/')#构建好的knn分类器对测试集进行预测，并计算预测的错误率res=knn.predict(dataSet)#对测试集进行预测error_num=np.sum(res!=hwLabels)#统计分类错误的数目num=len(dataSet)#测试集的数目print('Total
num:',num,' wrong num:', error_num,' WrongRate:',error_num/float(num))




#!/usr/bin/env python
#-*-coding:utf-8-*-
#knn算法实例鸢尾花预测
from sklearn import neighbors
from sklearn import datasetsknn=neighbors.KNeighborsClassifier()
#加载数据
iris=datasets.load_iris()
#打印数据
print(iris)
#训练KNN分类器
knn.fit(iris.data,iris.target)
#KNN实验
predictedLabel=knn.predict([[0.1,0.2,0.3,0.4]])
print(predictedLabel)





结果解释：	
     鸢尾花的数据集
     数据代表花瓣的长宽，花萼的长宽
     预测目标target
     预测结果【0】
    
#!/usr/bin/env python
#-*-coding:utf-8-*-
#knn实现手写数字识别
#1建立工程并导入sklearn包‘
import numpy as np
from os import listdir #使用listdir模块，用于访问本地文件
from sklearn import neighbors
#2加载训练数据
#将加载的32*32的图片矩阵展开成一列向量
def img2vector(fileName):retMat=np.zeros([1024],int)#定义返回的矩阵，大小为1*1024fr=open(fileName)#打开包含32*32大小的数字文件lines=fr.readlines()#读取文件的所有行for i in range(32):#遍历文件所有行for j in range(32):#并将01数字存放在retMat中retMat[i*32+j]=lines[i][j]return retMat
#定义加载训练数据的函数readDataSet;
def readDataSet(path):fileList=listdir(path)#获取文件夹下的所有文件numFiles=len(fileList)#统计需要读取的文件的数目dataSet=np.zeros([numFiles,1024],int)#用于存放所有的数字文件hwLabels=np.zeros([numFiles])#用于存放对应的标签（与神经网络的不同）for i in range(numFiles):#遍历所有的文件filePath=fileList[i]#获取文件名称/路径digit=int(filePath.split('_')[0])#通过文件名获取标签hwLabels[i]=digit#直接存放数字，并非one-hot向量dataSet[i]=img2vector(path+'/'+filePath)#读取文件内容return dataSet,hwLabels
train_dataSet,train_hwLabels=readDataSet('digits/trainingDigits/')
#训练的图片，对应的标签
#3构建KNN分类器
knn=neighbors.KNeighborsClassifier(algorithm='kd_tree',n_neighbors=3)
knn.fit(train_dataSet,train_hwLabels)
#加载测试集
dataSet,hwLabels=readDataSet('digits/testDigits/')
#构建好的knn分类器对测试集进行预测，并计算预测的错误率
res=knn.predict(dataSet)#对测试集进行预测
error_num=np.sum(res!=hwLabels)#统计分类错误的数目
num=len(dataSet)#测试集的数目
print('Total num:',num,' wrong num:', error_num,' WrongRate:',error_num/float(num))



     
      结果解释：
   	  预测实例946, wrong  num 为10  WrongRate 为 0.010570824524312896