【Python机器学习系列】建立KNN模型预测心脏疾病(完整实现过程)

这是Python程序开发系列原创文章,我的第198篇原创文章。

一、问题

 对于表格数据,一套完整的机器学习建模流程如下:

图片

        针对不同的数据集,有些步骤不适用即不需要做,其中橘红色框为必要步骤,由于数据质量较高,本文有些步骤跳过了,跳过的步骤将单独出文章总结!同时欢迎大家关注翻看我之前的一些相关文章。

一文彻底搞懂机器学习中的归一化与反归一化问题

【Python机器学习系列】一文彻底搞懂机器学习中表格数据的输入形式(理论+源码)

【Python特征工程系列】利用随机森林模型分析特征重要性(源码)

【Python特征工程系列】8步教你用决策树模型分析特征重要性(源码)

【Python机器学习系列】拟合和回归傻傻分不清?一文带你彻底搞懂它

【Python机器学习系列】建立决策树模型预测心脏疾病(完整实现过程)

【Python机器学习系列】建立支持向量机模型预测心脏疾病(完整实现过程)

【Python机器学习系列】建立逻辑回归模型预测心脏疾病(完整实现过程)

        K最近邻(K-Nearest Neighbors,KNN)是一种基本的监督学习算法,用于分类和回归问题。KNN算法基于实例之间的相似性度量,通过将新样本与训练集中的最近邻样本进行比较,来进行预测或分类。KNN算法的基本思想是:如果一个样本在特征空间中的K个最近邻中的大多数属于某个类别,那么该样本很可能属于该类别。KNN算法不需要显式的训练过程,而是在预测阶段对每个新样本进行计算和比较。

        KNN算法的关键参数是K值,即选择的最近邻样本的数量。较小的K值会使模型更加敏感,容易受到噪声的影响,而较大的K值会使模型更加平滑,但可能忽略了样本内部的细节。KNN算法的优点包括简单易懂、不需要训练过程(即懒惰学习)和对于非线性问题具有较好的适应性。然而,KNN算法的缺点是计算复杂度高,对于大型数据集和高维数据效果可能不佳,并且对于不平衡数据集和噪声敏感。在实际应用中,可以通过交叉验证或网格搜索等技术来选择合适的K值,并对数据进行预处理(如特征缩放)以提高算法的性能。scikit-learn是一个流行的Python机器学习库,提供了各种机器学习算法的实现,包括K近邻(KNN)算法。在scikit-learn中,KNN算法的实现主要集中在sklearn.neighbors模块中。

        本文将实现基于心脏疾病数据集建立KNN模型对心脏疾病患者进行分类预测的完整过程。

二、实现过程

导入必要的库

import pandas as pd
import matplotlib.pyplot as plt
from sklearn.utils import shuffle
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier
from sklearn.metrics import accuracy_score
from sklearn.metrics import roc_curve
from sklearn.metrics import auc
from sklearn.metrics import confusion_matrix
from sklearn.metrics import classification_report

1、准备数据

data = pd.read_csv(r'Dataset.csv')
df = pd.DataFrame(data)

df:

图片

数据基本信息:

print(df.head())
print(df.info())
print(df.shape)
print(df.columns)
print(df.dtypes)
cat_cols = [col for col in df.columns if df[col].dtype == "object"] # 类别型变量名
num_cols = [col for col in df.columns if df[col].dtype != "object"] # 数值型变量名

2、提取特征变量和目标变量

target = 'target'
features = df.columns.drop(target)
print(data["target"].value_counts()) # 顺便查看一下样本是否平衡

3、数据集划分

df = shuffle(df)
X_train, X_test, y_train, y_test = train_test_split(df[features], df[target], test_size=0.2, random_state=0)

4、模型的构建与训练

# 模型的构建与训练
training_accuracy = []
test_accuracy = []
# try n_neighbors from 1 to 10
neighbors_settings = range(1, 11)
for n_neighbors in neighbors_settings:knn = KNeighborsClassifier(n_neighbors=n_neighbors)  knn.fit(X_train, y_train)  training_accuracy.append(knn.score(X_train, y_train))  test_accuracy.append(knn.score(X_test, y_test))  plt.figure()
plt.plot(neighbors_settings, training_accuracy, label="training accuracy")
plt.plot(neighbors_settings, test_accuracy, label="test accuracy")
plt.ylabel("Accuracy")
plt.xlabel("n_neighbors")
plt.legend()model = KNeighborsClassifier(n_neighbors=5)
model.fit(X_train, y_train)

选择最佳的K=5:

图片

参数详解:

from sklearn.neighbors import KNeighborsClassifier
KNeighborsClassifier(n_neighbors = 5,weights='uniform',algorithm = '',leaf_size = '30',p = 2,metric = 'minkowski',metric_params = None,n_jobs = None)

- n_neighbors:这个值就是指 KNN 中的 “K”了。前面说到过,通过调整 K 值,算法会有不同的效果。

- weights(权重):最普遍的 KNN 算法无论距离如何,权重都一样,但有时候我们想搞点特殊化,比如距离更近的点让它更加重要。这时候就需要 weight 这个参数了,这个参数有三个可选参数的值,决定了如何分配权重。参数选项如下:       

  •  'uniform':不管远近权重都一样,就是最普通的 KNN 算法的形式。       

  • 'distance':权重和距离成反比,距离预测目标越近具有越高的权重。       

  • 自定义函数:自定义一个函数,根据输入的坐标值返回对应的权重,达到自定义权重的目的。

- algorithm:在 sklearn 中,要构建 KNN 模型有三种构建方式,1. 暴力法,就是直接计算距离存储比较的那种放松。2. 使用 kd 树构建 KNN 模型 3. 使用球树构建。其中暴力法适合数据较小的方式,否则效率会比较低。如果数据量比较大一般会选择用 KD 树构建 KNN 模型,而当 KD 树也比较慢的时候,则可以试试球树来构建 KNN。参数选项如下: • 'brute' :蛮力实现 • 'kd_tree':KD 树实现 KNN • 'ball_tree':球树实现 KNN • 'auto':默认参数,自动选择合适的方法构建模型 不过当数据较小或比较稀疏时,无论选择哪个最后都会使用 'brute'

- leaf_size:如果是选择蛮力实现,那么这个值是可以忽略的,当使用KD树或球树,它就是是停止建子树的叶子节点数量的阈值。默认30,但如果数据量增多这个参数需要增大,否则速度过慢不说,还容易过拟合。

- p:和metric结合使用的,当metric参数是"minkowski"的时候,p=1为曼哈顿距离, p=2为欧式距离。默认为p=2。

- metric:指定距离度量方法,一般都是使用欧式距离。

        • 'euclidean' :欧式距离

        • 'manhattan':曼哈顿距离

        • 'chebyshev':切比雪夫距离

        • 'minkowski':闵可夫斯基距离,默认参数

- n_jobs:指定多少个CPU进行运算,默认是-1,也就是全部都算。

5、模型的推理与评价

y_pred = model.predict(X_test)
y_scores = model.predict_proba(X_test)
acc = accuracy_score(y_test, y_pred) # 准确率acc
cm = confusion_matrix(y_test, y_pred) # 混淆矩阵
cr = classification_report(y_test, y_pred) # 分类报告
fpr, tpr, thresholds = roc_curve(y_test, y_scores[:, 1], pos_label=1) # 计算ROC曲线和AUC值,绘制ROC曲线
roc_auc = auc(fpr, tpr)
plt.figure()
plt.plot(fpr, tpr, color='darkorange', lw=2, label='ROC curve (area = %0.2f)' % roc_auc)
plt.plot([0, 1], [0, 1], color='navy', lw=2, linestyle='--')
plt.xlim([0.0, 1.0])
plt.ylim([0.0, 1.05])
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('Receiver Operating Characteristic')
plt.legend(loc="lower right")
plt.show()

cm和cr:

图片

ROC:

图片

三、小结

        本文利用scikit-learn(一个常用的机器学习库)实现了基于心脏疾病数据集建立KNN模型对心脏疾病患者进行分类预测的完整过程。

作者简介:

读研期间发表6篇SCI数据挖掘相关论文,现在某研究院从事数据算法相关科研工作,结合自身科研实践经历不定期分享关于Python、机器学习、深度学习、人工智能系列基础知识与应用案例。致力于只做原创,以最简单的方式理解和学习,关注我一起交流成长。需要数据集和源码的小伙伴可以关注底部公众号添加作者微信!    

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/618358.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

4点优势,昂首资本使用浮动差价不使用固定差价的原因

在交易中,很多投资者和昂首资本一样,会使用浮动点差而不使用固定点差,那是因为投资者和昂首资本一样认为,使用浮动差价交易会比使用固定价差交易更有优势。 首先在大部分交易时段,价差缩小。正如投资者和昂首资本所知…

Pandas实战100例 | 案例 40: 分组并应用多个聚合函数

案例 40: 分组并应用多个聚合函数 知识点讲解 Pandas 的 groupby 和 agg 方法使得对数据分组后应用多个聚合函数成为可能。这在数据分析中非常有用,可以快速得到分组统计数据。 分组聚合: 使用 groupby 方法对数据进行分组。多重聚合: 使用 agg 方法并传递一个包…

用python批量合并word文件并统一调整图片大小

import os,time from docx import Document from docxcompose.composer import Composer import win32com.client as win32 # 获取要处理的文件夹路径 folder_path r"C:\Users\Thinkpad\Desktop\wordoutput" datanames os.listdir(folder_path) list_wordoutname …

6. 逻辑删除

逻辑删除对应的是物理删除,分别介绍一下这两个概念: 物理删除 :指的是真正的删除,即:当执行删除操作时,将数据表中的数据进行删除,之后将无法再查询到该数据逻辑删除 :并不是真正意…

SQL 解析与执行流程

一、前言 在先前的技术博客中,我们已经详细介绍过数据库的 parser 模块与执行流程:用户输入的 SQL 语句通过词法解析器生成 token,再通过语法分析器生成抽象语法树(AST),经过 AST 生成对应的 planNode&…

JavaScript常用事件详解

一、用于form(表单)的事件 在网页中经常会遇到一些表单的验证,是通过事件进行处理的,比如用户输入用户名之后,及时显示用户是否被注册 用于form(表单)的事件 事件名功能 onblur 当元素失…

数据挖掘实战-基于机器学习的电商文本分类模型

🤵‍♂️ 个人主页:艾派森的个人主页 ✍🏻作者简介:Python学习者 🐋 希望大家多多支持,我们一起进步!😄 如果文章对你有帮助的话, 欢迎评论 💬点赞&#x1f4…

go 语言优雅地处理 error

我看到很多 golang 社区的开发者,特别是因为它的简单性而被吸引的开发者,对 golang 中的事情应该如何处理做出了一些快速的判断。 其中一件事就是错误处理。由于目前大多数语言的开发者都来自于 OOP 背景,他们习惯于处理异常,或者…

go最佳实践:如何舒适地编码

什么是 "最佳 "做法? 有很多做法:你可以自己想出来,在互联网上找到,或者从其他语言中拿来,但由于其主观性,并不总是容易说哪一个比另一个好。”最佳”的含义因人而异,也取决于其背景…

数据结构学习之顺序栈应用的案例(有效的括号)

实例要求: 给定一个只包括 (,),{,},[,] 的字符串 s ,判断字符串是否有效; 有效字符串需满足的条件: 1、左括号必须用相同类型的右括号闭合; 2、左括号必须…

CSAPP - 流程化的人工反汇编 string_length, strings_not_equal

文章目录 反汇编的流程string_length 的反汇编,第二次尝试strings_not_equal 反汇编,第二次尝试一些“定式”的整理定式1: cmp 和 je/jne定式2:test A,A 和 je/jne 反汇编的流程 依然是 CSAPP bomblab phase_1 的小白视角的理解。…

c# ref和out参数修饰符

ref:把值类型变成引用类型传递,形参的值改变了实参的值也会改变 public static int findMax(ref int num1, ref int num2){num1 * 2;num2 * 2;return num1 num2;}private static void Main(string[] args){int a1 1; int a2 2;findMax(ref a1, ref a2…

什么是算法的空间复杂度?

一、问题 常常⽤算法的空间复杂度来评价算法的性能,那么什么是算法的空间复杂度呢? 二、解答 算法的空间复杂度是指在算法的执⾏过程中,需要的辅助空间数量。 辅助空间数量指的不是程序指令、常数、指针等所需要的存储空间,也不是…

Pandas实战100例 | 案例 41: 字符串操作

案例 41: 字符串操作 知识点讲解 Pandas 提供了强大的字符串处理功能,这些功能类似于 Python 的标准字符串方法。你可以对 DataFrame 中的字符串数据执行各种操作,如分割、提取、计算长度等。 字符串分割: 使用 str.split() 分割字符串。提取字符串: …

【面试合集】1.说说你对微信小程序的理解?优缺点?

面试官:说说你对微信小程序的理解?优缺点? 一、是什么 2017年,微信正式推出了小程序,允许外部开发者在微信内部运行自己的代码,开展业务 截至目前,小程序已经成为国内前端的一个重要业务&…

NPM进阶知识与用法详解(二)

文章目录 一、NPM高级用法1. NPM模块发布与私有模块管理2. NPM钩子函数3. NPM包管理与优化 二、NPM与现代化前端工具链1. NPM与Yarn、PNPM的比较2. NPM在Webpack、Vite等构建工具中的应用3. NPM与Monorepo架构 三、总结与展望1. 前端包管理工具发展趋势2. 提高NPM使用效率的建议…

从传统到智能:机器视觉检测赋能PCB行业数字化转型!

PCB板在现代电子设备中是一个重要的组成部分,它是用来集成各种电子元器件的信息载体。在电子领域中,PCB板有着广泛的应用,而它的质量直接影响到产品的性能。随着电子科技技术和电子制造业的发展,贴片元器件的体积 变小&#xff0c…

AOSP 编译

AOSP清华镜像站 [2023-11-21 20:44:21] 内存太小导致编译失败,这里通过删除原来的 swap 然后创建更大的 swap 来解决 # 首先关闭并删除现存的 swap sudo swapoff /swapfile sudo rm /swapfile# 创建新 swap sudo dd if/dev/zero of/swapfile bs1G count32 sudo c…

亚马逊怎么防止店铺关联?

亚马逊(Amazon)为了确保公平竞争和防止不当行为,采取了一些措施来防止店铺关联,即通过不同的方式将多个店铺相关联,以获取不正当的竞争优势。以下是一些亚马逊防止店铺关联的主要措施: 同一经营者规定&…

在Anaconda(conda)(命令行/Linux )中新建环境安装python版本,删除环境等

1.在命令行终端新建conda环境 例如新建一个叫love的环境 在Windows的Anaconda Prompt 或 macOS/Linux的终端输入 conda create -n love python3.102.激活环境 conda activate love注:运行conda activate则直接激活anaconda的base环境 3.退出环境 conda deactiva…