机器学习接口和代码之 KNN

官网地址:https://scikit-learn.org/stable/modules/classes.html#module-sklearn.neighbors 

class sklearn.neighbors.KNeighborsClassifier(n_neighbors=5, weights=’uniform’, algorithm=’auto’, leaf_size=30, p=2, metric=’minkowski’, metric_params=None, n_jobs=None, **kwargs)参数:n_neighbors : int,optional(default = 5)默认情况下kneighbors查询使用的邻居数。就是k-NN的k的值,选取最近的k个点。weights : str或callable,可选(默认=‘uniform’)默认是uniform,参数可以是uniform、distance,也可以是用户自己定义的函数。uniform是均等的权重,就说所有的邻近点的权重都是相等的。distance是不均等的权重,距离近的点比距离远的点的影响大。用户自定义的函数,接收距离的数组,返回一组维数相同的权重。algorithm : {‘auto’,‘ball_tree’,‘kd_tree’,‘brute’},可选快速k近邻搜索算法,默认参数为auto,可以理解为算法自己决定合适的搜索算法。除此之外,用户也可以自己指定搜索算法ball_tree、kd_tree、brute方法进行搜索,brute是蛮力搜索,也就是线性扫描,当训练集很大时,计算非常耗时。kd_tree,构造kd树存储数据以便对其进行快速检索的树形数据结构,kd树也就是数据结构中的二叉树。以中值切分构造的树,每个结点是一个超矩形,在维数小于20时效率高。ball tree是为了克服kd树高纬失效而发明的,其构造过程是以质心C和半径r分割样本空间,每个节点是一个超球体。leaf_size : int,optional(默认值= 30)默认是30,这个是构造的kd树和ball树的大小。这个值的设置会影响树构建的速度和搜索速度,同样也影响着存储树所需的内存大小。需要根据问题的性质选择最优的大小。p : 整数,可选(默认= 2)距离度量公式。这个参数默认为2,也就是默认使用欧式距离公式进行距离度量。也可以设置为1,使用曼哈顿距离公式进行距离度量。metric : 字符串或可调用,默认为’minkowski’用于距离度量,默认度量是minkowski,也就是p=2的欧氏距离(欧几里德度量)。联合 上述P 使用metric_params : dict,optional(默认=None)距离公式的其他关键参数,这个可以不管,使用默认的None即可。n_jobs : int或None,可选(默认=None)并行处理设置。默认为1,临近点搜索并行工作数。如果为-1,那么CPU的所有cores都用于并行工作。

方法名及含义

  • fit(X, y)使用X作为训练数据,y作为目标值(类似于标签)来拟合模型。
  • get_params([deep])获取估值器的参数。
  • kneighbors([X, n_neighbors, return_distance])查找一个或几个点的K个邻居。
  • kneighbors_graph([X, n_neighbors, mode])计算在X数组中每个点的k邻居的(权重)图。
  • predict(X)给提供的数据预测对应的标签。
  • predict_proba(X)返回测试数据X的概率估值。
  • score(X, y[, sample_weight])返回给定测试数据和标签的平均准确值。
  • set_params(**params)设置估值器的参数。

示例一:鸢尾花数据分类

import numpy as np
import matplotlib as mpl
import matplotlib.pyplot as plt
import pandas as pd
import warningsimport sklearn
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier#KNN
from sklearn.preprocessing import label_binarize
from sklearn import metrics## 设置字符集,防止中文乱码
mpl.rcParams['font.sans-serif']=[u'simHei']
mpl.rcParams['axes.unicode_minus']=False## 数据加载
path = "datas/iris.data"
names = ['sepal length', 'sepal width', 'petal length', 'petal width', 'cla']
df = pd.read_csv(path, header=None, names=names)
print(df['cla'].value_counts())
print(df.head())def parseRecord(record):r = zip(names,record)for name,v in r:if name == 'cla':if v == 'Iris-setosa':record['cla'] = 1elif v == 'Iris-versicolor':record['cla'] = 2elif v == 'Iris-virginica':record['cla'] = 3else:record['cla'] = np.nanreturn record### 1. 数据转换为数字以及分割
## 数据转换
datas = df.apply(lambda r: parseRecord(r), axis=1)
## 异常数据删除
datas = datas.dropna(how='any')
## 数据分割
print(datas)
print(datas.shape)
X = datas[names[0:-2]]
Y = datas[names[-1]]
## 数据抽样(训练数据和测试数据分割)
X_train,X_test,Y_train,Y_test = train_test_split(X, Y, test_size=0.4, random_state=0)print ("原始数据条数:%d;训练数据条数:%d;特征个数:%d;测试样本条数:%d" % (len(X), len(X_train), X_train.shape[1], X_test.shape[0]))##### KNN算法实现
# a. 模型构建
# 模型中介绍的K值:n_neighbors
knn = KNeighborsClassifier(n_neighbors=3)
knn.fit(X_train, Y_train)# b. 模型效果输出
## 将正确的数据转换为矩阵形式
y_test_hot = label_binarize(Y_test,classes=(1,2,3))
## 得到预测属于某个类别的概率值
knn_y_score = knn.predict_proba(X_test)
## 计算roc的值
knn_fpr, knn_tpr, knn_threasholds = metrics.roc_curve(y_test_hot.ravel(),knn_y_score.ravel())
## 计算auc的值
knn_auc = metrics.auc(knn_fpr, knn_tpr)
print ("KNN算法R值:", knn.score(X_train, Y_train))
print ("KNN算法AUC值:", knn_auc)# c. 模型预测
knn_y_predict = knn.predict(X_test)## 画图2:预测结果画图
x_test_len = range(len(X_test))
plt.figure(figsize=(12, 9), facecolor='w')
plt.ylim(0.5,3.5)
plt.plot(x_test_len, Y_test, 'ro',markersize = 6, zorder=3, label=u'真实值')
plt.plot(x_test_len, knn_y_predict, 'yo', markersize = 16, zorder=1, label=u'KNN算法预测值,$R^2$=%.3f' % knn.score(X_test, Y_test))
plt.legend(loc = 'lower right')
plt.xlabel(u'数据编号', fontsize=18)
plt.ylabel(u'种类', fontsize=18)
plt.title(u'鸢尾花数据分类', fontsize=20)
plt.show()

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/454275.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Eclipse中安装Ext插件(Spket IDE)

在网上找了很多资料,这里重新整理一下。 Spket IDE是目前支持Ext 2.0最为出色的IDE。 它采用.jsb project file 文件并将继承于基类和所有文档的内容嵌入到生成代码提示的. doc中。由于Spket只是一个单纯的编辑器,没有其它格式的支持(如CSS&a…

职业程序员培养之道

作者:粘新育 任甲林 来源:希赛网  http://www.csai.cn 2004年06月28日软件开发是以人为核心的过程,对人的依赖性远高于传统的硬件生产企业,为了保持开发能力的稳定性,一方面需要定义软件过程,以过程为枢纽…

MongoDB启动

详细见大神链接 链接: https://blog.csdn.net/chenpuzhen/article/details/90642147.

Go 语言编程规范

1. gofmt 命令 大部分的格式问题可以通过 gofmt 来解决,gofmt 自动格式化代码,保证所有的 go 代码与官方推荐的格式保持一致,所有格式有关问题,都以gofmt的结果为准。所以,建议在提交代码库之前先运行一下这个命令。 2…

python去噪音_python中的噪声是什么意思

你的序列均值为零吗? 方差随时间变化吗? 值与延迟值相关吗? 你可以用一些工具来检查你的时间序列是否为白噪音: 创建一个折线图。检查总体特征,如变化的平均值,方差或延迟变量之间的明显关系。 计算汇总统计。对照序列中有意义的连续块的均值和方差&a…

pycharm 离线安装插件

插件离线下载地址: http://plugins.jetbrains.com/ 1、下载插件:http://plugins.jetbrains.com/ 2、安装插件: settings -> plugins -> install plugin from disk,然后重启IDEA即可。

为机器学习占地16

是将若干个学习器(分类器&回归器)组合之后产生一个新学习器。弱分类器(weak learner)指那些分类准确率只稍微好于随机猜测的分类器(errorrate < 0.5)。 集成算法的成功在于保证弱分类器的多样性(Diversity)。而且集成不稳定的算法也能够得到一个比较明显的性能提升。 …

VC DLL学习

1 用VC创建DLL动态链接库1.1 创建dll项目1.2 为dll项目编写源文件头文件dllDemo.hextern"C"_declspec(dllexport) intSum(inta,intb);//加法函数。extern"C"_declspec(dllexport) intMax(inta, intb);//取较大值函数extern"C"_declspec(dllexpor…

mciSendString 多线程播放多首音乐 注意事项

昨天晚上遇到一个问题&#xff1a; 使用 mciSendString 控制播放多首音乐的时候&#xff0c;出现最后一次播放的音乐无法通过 mciSendString ("close mp3") 关闭音乐的播放。 mciSendString 在多个线程中调用。 到23点&#xff0c;问题依然没解决&#xff0c;只好先…

python代码比例_Python如何输出百分比

Python 输出百分比的两种方式 注&#xff1a; 在python3环境下测试。 方式1&#xff1a;直接使用参数格式化&#xff1a;{:.2%} {:.2%}&#xff1a; 显示小数点后2位 显示小数点后2位&#xff1a; >>> print(percent: {:.2%}.format(42/50)) percent: 84.00% 不显示小…

为机器学习占地15

是将若干个学习器(分类器&回归器)组合之后产生一个新学习器。弱分类器(weak learner)指那些分类准确率只稍微好于随机猜测的分类器(errorrat弱分类器的多样性(Diversity)。而且集成不稳定的算法也能够得到一个比较明显的性能提升。 常见的集成学习思想有&#xff1a;Baggi…

编写一个项目开发文档

项目开发过程中为了增加程序的可读性和程序的健壮性&#xff0c; 方便后期程序的调试和维护&#xff0c;所以需要在开发过程中统一技术规范&#xff0c;一般会在项目初期确定好相关文档作为这一统一的规范。不同公司会对文档做不同要求&#xff0c;划不同的分类&#xff0c;但一…

乐在其中设计模式(C#) - 原型模式(Prototype Pattern)

[索引页][源码下载]乐在其中设计模式(C#) - 原型模式(Prototype Pattern)作者&#xff1a;webabcd介绍用原型实例指定创建对象的种类&#xff0c;并且通过拷贝这个原型来创建新的对象。示例有一个Message实体类&#xff0c;现在要克隆它。MessageModelusing System; using Syst…

python123添加列表元素_Python之列表

Python变量没有数据类型&#xff0c;所以Python没有数组。 整数&#xff1b;浮点数&#xff1b;字符串&#xff1b;对象 创建一个列表&#xff1a; 1.member[大鱼,123,3.14,[1,2,3]] 2.empty[] 向列表添加元素&#xff1a; append&#xff08;&#xff09;&#xff1a; member[…

为机器学习占地14

是将若干个学习器(分类器&回归器)组合之后产生一个新学习器。弱分类器(weak learner)指那些分类准确率只稍微好于随机猜测的分类器(errorrate <。 集成算法的成功在于保证弱分类器的多样性(Diversity)。而且集成不稳定的算法也能够得到一个比较明显的性能提升。 常见的…

优秀程序员 分析提高能力 程序进阶

我出生在南方的一个农村。还记得小时候家里是很穷的&#xff0c;那时候上学也很便宜&#xff0c;我已记不清初中以前的学费是多少了。反正从小在家里玩泥巴&#xff0c;有一日村里两个女孩去上学&#xff0c;看到我就说一起去上学吧。当时一想&#xff0c;玩泥巴也厌烦了&#…

html中通过点击button标签实现页面跳转的三种方法

方法1&#xff1a;使用onclick事件 <input type"button" value"按钮"onclick"javascrtpt:window.location.hrefhttp://www.baidu.com/" />或者直接使用button标签 <button onclick"window.location.href https://www.baidu.com…

mybatis调用存储过程

直接贴代码吧 注解式可以调用 但是不能返回结果 所有我就贴配置式的 有知道注解怎么返回结果的请评论 数据库代码 #表 DROP TABLE IF EXISTS p_user; CREATE TABLE p_user (id int(11) NOT NULL AUTO_INCREMENT,name varchar(10) DEFAULT NULL,sex char(2) DEFAULT NULL,PRIMAR…

java dump分析工具_Java 性能分析工具 (2):Java 内置监控工具

引言本文为 Java 性能分析工具系列文章第二篇&#xff0c;第一篇&#xff1a;操作系统工具。在本文中将介绍如何使用 Java 内置监控工具更加深入的了解 Java 应用程序和 JVM 本身。在 JDK 中有许多内置的工具&#xff0c;其中包括&#xff1a;jcmd&#xff1a;打印一个 Java 进…

Linux+php+memcache+APC加速PHP网站

一、前言对于一个站长而言不仅要做好网站内容外&#xff0c;还需要对网站做优化&#xff0c;如果速度访问很慢的&#xff0c;没有人下次再访问你的站点&#xff0c;目前国内使用php的网站不计其数&#xff0c;这里用我的博客为例&#xff1a;http://chinaapp.sinaapp.com 以加速…