L1练习-鸢尾花数据集处理(分类/聚类)

背景

前文(《AI 自学 Lesson1 - Sklearn(开源Python机器学习包)》)以鸢尾花数据集的处理为例,本文将完善其代码,在使用 sklearn 的部分工具包基础上,增加部分数据预处理、数据分析和数据可视化。

由于鸢尾花数据集适用于进行分类和聚类的练习,这里使用多种分类和聚类方式,并验证其准确性。同时在概念部分对分类和聚类的种类、库、用法等进行补充介绍。

并在文首附上跑通资源,便于直接查看处理结果。

一、补充概念

1. 分类

sklearn 中,常见的分类算法涵盖了从简单的线性模型到复杂的非线性模型。以下是一些常见的分类算法及其对应的库名称:

算法名称库名称描述适用场景
1逻辑回归(Logistic Regression)sklearn.linear_model.LogisticRegression基于逻辑函数的线性分类模型,用于二分类或多分类问题。线性可分的二分类或多分类任务。
2支持向量机(SVM)sklearn.svm.SVC, sklearn.svm.LinearSVC高效的分类算法,适用于处理高维空间和非线性分类问题。高维数据、复杂的非线性分类任务。
3K近邻(KNN)sklearn.neighbors.KNeighborsClassifier基于距离测量进行分类,适用于小型数据集。小数据集、特征空间维度较低的分类任务。
4决策树(Decision Tree)sklearn.tree.DecisionTreeClassifier基于树状结构的分类模型,能够处理非线性分类任务。非线性数据的分类,易于解释和可视化。
5随机森林(Random Forest)sklearn.ensemble.RandomForestClassifier集成多个决策树,提升分类的准确性和鲁棒性。处理大规模、高维数据,减少过拟合。
6朴素贝叶斯(Naive Bayes)sklearn.naive_bayes.GaussianNB, sklearn.naive_bayes.MultinomialNB基于贝叶斯定理的概率分类模型,假设特征之间相互独立。文本分类、特征独立的分类任务。
7梯度提升树(Gradient Boosting)sklearn.ensemble.GradientBoostingClassifier通过多个弱分类器的组合逐步提升分类性能,适用于复杂数据。非线性、高维数据的复杂分类任务。
8极限梯度提升(XGBoost)xgboost.XGBClassifier高效的梯度提升算法实现,适合处理大规模数据,性能优异。高性能分类任务,常用于竞赛和大数据处理。
9多层感知器(MLP)sklearn.neural_network.MLPClassifier基于神经网络的多层感知器模型,能够处理复杂的非线性分类问题。深度学习相关的分类任务,非线性数据的分类。

2. 聚类

sklearn 中,常见的聚类算法涵盖了从基本的距离度量方法到更复杂的层次聚类和密度聚类。以下是常用的聚类算法及其对应的库名称:

算法名称库名称描述适用场景
1K均值聚类(K-Means Clustering)sklearn.cluster.KMeans基于质心的聚类算法,通过质心划分数据,适用于线性可分数据。线性可分的数据,聚类数已知的情况下。
2层次聚类(Hierarchical Clustering)sklearn.cluster.AgglomerativeClustering通过构建层次树对数据进行聚类,能够发现数据的层次结构。需要构建层次结构的聚类任务。
3DBSCAN(密度聚类)sklearn.cluster.DBSCAN基于密度的聚类算法,能够发现任意形状的簇,适合带噪声数据。发现任意形状的簇,处理噪声数据。
4均值漂移(Mean Shift Clustering)sklearn.cluster.MeanShift基于核密度估计的非参数聚类算法,能够自动找到簇的数量。高密度区域的聚类,适合未知簇数的情况。
5谱聚类(Spectral Clustering)sklearn.cluster.SpectralClustering基于图论的聚类算法,适合非线性或高维数据。非线性数据或高维空间的聚类任务。
6高斯混合模型(Gaussian Mixture Model, GMM)sklearn.mixture.GaussianMixture基于概率模型的聚类算法,假设数据来自多个高斯分布的混合。处理复杂分布的聚类任务,适合有重叠的簇。
7Birch(平衡迭代减少与聚类)sklearn.cluster.Birch高效的层次聚类算法,适合处理大规模数据集。大规模数据的层次聚类任务。
8亲和传播(Affinity Propagation)sklearn.cluster.AffinityPropagation通过消息传递进行聚类,适用于自动确定簇数。自动发现簇数,适合不需要预设簇数的聚类任务。
9MiniBatch K-Meanssklearn.cluster.MiniBatchKMeansKMeans 的小批量变体,适合处理大规模数据。大规模数据集的聚类任务,提升计算效率。

在后续代码部分,将使用【分类】中的 逻辑回归、k近邻、支持向量机、朴素贝叶斯、决策树 分别对鸢尾花数据集进行处理,并判断各模型算法的准确性;【聚类】中的 K均值聚类、层次聚类、DBSCAN 分别对鸢尾花数据集进行聚类处理,,并判断各模型算法的准确性。


3. 交叉验证

交叉验证是用于评估模型泛化能力的技术,它通过多次划分数据集来减少偶然性,常见的是 K折交叉验证(K-Fold Cross-Validation),即将数据分成K份,每次用其中的一份作为验证集,剩下的作为训练集,重复K次,最后取平均准确率作为模型的性能评估。

通过多次划分数据集,减少模型在某一特定训练集上表现过好的风险,保证模型在未知数据上的性能稳定。

作用

  • 稳定性:通过多次分割数据,确保模型在不同数据集上的表现一致。
  • 评估泛化能力:避免模型过拟合到某一个特定的训练集。
  • 综合评估模型性能:通过平均和标准差的计算,得到模型在多次验证下的表现。

4. F1得分(F1 Score)

  • F1得分 是用于分类任务中的一种综合指标,它是 精确率(Precision)召回率(Recall) 的调和平均数,主要用于不平衡数据集(即某些类别出现的频率较高,另一些类别则较低)。
    • 精确率(Precision):模型预测为正类的样本中,真正为正类的比例。
    • 召回率(Recall):真实为正类的样本中,模型正确预测为正类的比例。
    F1得分的公式为:

F1= 2 \times \frac{Precision \times Recall}{Precision + Recall}


5. 超参数调优

KNN 的一个关键超参数是 K值(近邻个数),不同的 K 值会影响模型的性能。为了找到最合适的 K 值,我们可以使用 网格搜索(Grid Search) 结合交叉验证来进行超参数调优。此外,还可以调优距离度量方法(如 p 值,决定使用欧几里得距离或曼哈顿距离等)。

通过网格搜索或随机搜索选择最优的超参数组合,能够显著提升模型性能,避免欠拟合或过拟合。

作用

  • 优化模型性能:通过选择合适的超参数,可以显著提升模型的表现。
  • 避免过拟合:调整参数如正则化强度、树的深度等,可以防止模型过度拟合训练数据。
  • 增强泛化能力:经过调优后的模型在未知数据上能有更好的预测能力。

二、代码

1. 准备阶段

#导入内置的鸢尾花数据
from sklearn.datasets import load_iris
import pandas as pd
import numpy as npiris = load_iris()
print(iris)#导入所需包
import seaborn as sns #数据可视化
import matplotlib.pyplot as plt #绘图
import pandas as pd #数据分析from sklearn.model_selection import train_test_split #数据划分
from sklearn.preprocessing import StandardScaler #数据标准化from sklearn.linear_model import LogisticRegression #逻辑回归
from sklearn.neighbors import KNeighborsClassifier #K近邻分类
from sklearn.svm import SVC #支持向量机
from sklearn.naive_bayes import GaussianNB #朴素贝叶斯
from sklearn.tree import DecisionTreeClassifier #决策树
from sklearn.metrics import accuracy_score from sklearn.cluster import KMeans, AgglomerativeClustering, DBSCAN #聚类库
from sklearn.metrics import adjusted_rand_score, silhouette_score
from sklearn.preprocessing import StandardScalerfrom sklearn.model_selection import cross_val_score #K折交叉验证
from sklearn.model_selection import GridSearchCV #超参数调优-网格搜索#数据集属性描述
print("特征值:\n",iris.data)
print("目标值:\n",iris["target"])
print("特征值名字:\n",iris.feature_names)
print("目标值名字:\n",iris.target_names)
print("数据集描述:\n",iris.DESCR)iris_d = pd.DataFrame(data=iris.data,columns=['sepal length', 'sepal width', 'petal length', 'petal width'])iris_d#查看数据类型信息
iris_d.info()

2. 数据可视化

iris_d["target"] = iris.target#定义函数iris_plot,定义三个变量
#使用seaborn进行数据可视化,对应函数变量第一位为数据,第二位为横轴名,第三位为纵轴名
def iris_plot(data,col1,col2):sns.lmplot(x=col1,y=col2,data=data,hue="target",fit_reg=False)plt.show()#显示可视化图表#使用数据为iris_d,横轴为名为sepal width,纵轴名为petal length
iris_plot(iris_d,'sepal width','petal length')

3. 数据预处理

分为数据划分和数据转换。

#定义数据、标签
X = iris.data
y = iris.target#进行数据划分
X_train, X_test, y_train, y_test = train_test_split(X,y,random_state=42#,stratify=y,test_size=0.3#,shuffle=True)
#将完整数据集的70%作为训练集,30%作为测试集,
#可通过使得设置 stratify=y 测试集和训练集中各类别数据的比例与原始数据集比例一致(stratify分层策略)
#可通过设置 shuffle=True 提前打乱数据print("训练集的目标值形状:\n",y_train.shape)
print("测试集的目标值形状:\n",y_test.shape)#构建转换器实例
scaler = StandardScaler( )#拟合及转换
scaler.fit_transform(X_train)
X_scaled = scaler.fit_transform(X)

4. 分类

# 1. 逻辑回归
logistic_model = LogisticRegression(max_iter=200)
logistic_model.fit(X_train, y_train)
y_pred_logistic = logistic_model.predict(X_test)
accuracy_logistic = accuracy_score(y_test, y_pred_logistic)
print(f"逻辑回归分类准确率: {accuracy_logistic:.2f}")# 2. K近邻(KNN)
knn_model = KNeighborsClassifier(n_neighbors=5)
knn_model.fit(X_train, y_train)
y_pred_knn = knn_model.predict(X_test)
accuracy_knn = accuracy_score(y_test, y_pred_knn)
print(f"K近邻分类准确率: {accuracy_knn:.2f}")# 3. 支持向量机
svm_model = SVC()
svm_model.fit(X_train, y_train)
y_pred_svm = svm_model.predict(X_test)
accuracy_svm = accuracy_score(y_test, y_pred_svm)
print(f"支持向量机分类准确率: {accuracy_svm:.2f}")# 4. 朴素贝叶斯
nb_model = GaussianNB()
nb_model.fit(X_train, y_train)
y_pred_nb = nb_model.predict(X_test)
accuracy_nb = accuracy_score(y_test, y_pred_nb)
print(f"朴素贝叶斯分类准确率: {accuracy_nb:.2f}")# 5. 决策树
tree_model = DecisionTreeClassifier()
tree_model.fit(X_train, y_train)
y_pred_tree = tree_model.predict(X_test)
accuracy_tree = accuracy_score(y_test, y_pred_tree)
print(f"决策树分类准确率: {accuracy_tree:.2f}")

输出结果

逻辑回归分类准确率: 1.00

K近邻分类准确率: 1.00

支持向量机分类准确率: 1.00

朴素贝叶斯分类准确率: 0.98

决策树分类准确率: 1.00

分析

  1. 在鸢尾花数据集上,逻辑回归K近邻支持向量机决策树 都能达到 100% 的分类准确率,这说明这些模型在处理这个简单的三分类问题时表现非常好。
  2. 朴素贝叶斯 的准确率稍微低一点,约为 98%,这可能是由于鸢尾花数据集中的特征分布并非完全符合朴素贝叶斯的独立性假设,但仍然是一个较好的结果。

5. 聚类

# 1. K均值聚类
kmeans = KMeans(n_clusters=3, random_state=42)
y_pred_kmeans = kmeans.fit_predict(X_scaled)
ari_kmeans = adjusted_rand_score(y, y_pred_kmeans)
silhouette_kmeans = silhouette_score(X_scaled, y_pred_kmeans)
print(f"K均值 - Adjusted Rand Index: {ari_kmeans:.2f}, Silhouette Score: {silhouette_kmeans:.2f}")# 2. 层次聚类
hierarchical = AgglomerativeClustering(n_clusters=3)
y_pred_hierarchical = hierarchical.fit_predict(X_scaled)
ari_hierarchical = adjusted_rand_score(y, y_pred_hierarchical)
silhouette_hierarchical = silhouette_score(X_scaled, y_pred_hierarchical)
print(f"层次聚类 - Adjusted Rand Index: {ari_hierarchical:.2f}, Silhouette Score: {silhouette_hierarchical:.2f}")# 3. DBSCAN
dbscan = DBSCAN(eps=0.5, min_samples=5)
y_pred_dbscan = dbscan.fit_predict(X_scaled)
# 由于DBSCAN的标签中可能有-1(表示噪声),需过滤掉噪声点计算ARI和轮廓系数
ari_dbscan = adjusted_rand_score(y, y_pred_dbscan)
if len(set(y_pred_dbscan)) > 1:  # 如果存在多个簇silhouette_dbscan = silhouette_score(X_scaled, y_pred_dbscan)
else:silhouette_dbscan = -1  # 如果只有一个簇或噪声
print(f"DBSCAN - Adjusted Rand Index: {ari_dbscan:.2f}, Silhouette Score: {silhouette_dbscan:.2f}")

代码说明

  1. K均值:我们设置簇的数量为3(因为鸢尾花数据集包含3类标签),并使用 Adjusted Rand Index (ARI)Silhouette Score 来评估聚类效果。
  2. 层次聚类:我们同样设定簇数量为3,使用凝聚层次聚类(自底向上)。
  3. DBSCAN:使用基于密度的聚类方法,不需要指定簇的数量,但我们设置 eps=0.5min_samples=5 来控制聚类的密度参数。该方法对噪声点(标记为-1)进行自动处理。

输出结果

K均值 - Adjusted Rand Index: 0.62, Silhouette Score: 0.46
层次聚类 - Adjusted Rand Index: 0.62, Silhouette Score: 0.45
DBSCAN - Adjusted Rand Index: 0.44, Silhouette Score: 0.36

分析:

  1. K均值聚类层次聚类 在鸢尾花数据集上的表现相似,ARI 均为 0.62,Silhouette Score 也接近,这表明它们能够较好地将数据聚成三类,且与真实标签有较高的一致性。
  2. DBSCANARISilhouette Score 较低(如 0.44 和 0.36),这表明它在该数据集上的效果不如前两种算法。由于鸢尾花数据集的分布较为规则,DBSCAN 的密度聚类特性并不适合这个数据集。

6. 交叉验证

# 使用准确率作为评估标准
scores = cross_val_score(knn_model, X, y, cv=5, scoring='accuracy')# 输出交叉验证的平均准确率和标准差
print(f"KNN - 交叉验证准确率: {scores.mean():.2f} ± {scores.std():.2f}")# 使用加权F1得分作为评估标准
scores = cross_val_score(knn_model, X, y, cv=5, scoring='f1_weighted')# 输出加权F1得分的平均值和标准差
print(f"KNN - 加权F1得分: {scores.mean():.2f} ± {scores.std():.2f}")

代码说明

  • scores.mean():计算5次交叉验证的平均准确率。
    • 交叉验证返回的是5次验证的准确率数组,scores.mean() 对这些值取平均,作为模型在不同划分下的总体表现。均值代表模型的总体准确率水平
  • scores.std():计算5次交叉验证准确率的标准差。
    • 标准差用于衡量模型准确率的波动程度。标准差越小,说明模型在不同数据划分下的表现越稳定;反之,如果标准差较大,表示模型的性能在不同数据集划分上差异较大,可能不够稳定。

7. 超参数调优

# 定义需要调优的超参数范围
param_grid = {'n_neighbors': [3, 5, 7, 9, 11],  # K值(邻居数)'weights': ['uniform', 'distance'],  # 权重'p': [1, 2]  # p=1 曼哈顿距离, p=2 欧几里得距离
}# 使用网格搜索与K折交叉验证结合
grid_search = GridSearchCV(KNeighborsClassifier(), param_grid, cv=5, scoring='accuracy')
grid_search.fit(X, y)# 输出最佳参数和对应的交叉验证得分
print(f"最佳超参数组合: {grid_search.best_params_}")
print(f"最佳交叉验证准确率: {grid_search.best_score_:.2f}")

简单来说就是通过字典给超参数不同维度的设置选择,使用搜索即是将所有组合的正确率都进行验证,并通过 grid_search.best_params_ 返回出最优组合。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/55673.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

QUIC 协议的优势

QUIC 协议的优势包括: 快速建立连接:将传输层和加密层的握手合并,减少了连接建立的延迟。QUIC 建连时间大约为 0~1RTT,相比 HTTPS 的 3RTT 建连,具有极大的优势。客户端第一次建连的握手协商需 1RTT,而已建…

Linux 和Windows创建共享文件夹实现文件共享

直接开整 1.Windows下创建共享文件夹share右击-》属性—》共享-》选择所有人-》点击共享 2.共享创建完成后可以使他的共享网络地址或者Windows ip地址-推荐使用Windows ip地址有时候 不知道什么原因他Linux解析不了网络地址 共享网络地址 —共享文件夹share 右击-》属性—》共…

扫普通链接二维码打开小程序

1. 2.新增规则(注意下载文件到跟目录下,需要建个文件夹放下载的校验文件) 3.发布 ps:发布后,只能访问正式版本。体验版本如果加了 测试链接http://xxx/xsc/10 那么http://xxx/xsc/aa.....应该都能访问 例如aa101 aa…

CMOS晶体管的串联与并联

CMOS晶体管的串联与并联 前言 对于mos管的串联和并联,一直没有整明白,特别是设计到EDA软件中,关于MOS的M和F参数,就更困惑了,今天看了许多资料以及在EDA软件上验证了电路结构与版图的对应关系,总算有点收…

VScode中CMake无高亮(就是没有补全的提示)

在我学的过程中我发现我的CMake是这样的,如下图 但在教学视频里是这样的(如下图) 这非常的难受,所以疯狂的找,最后是CMake报错有 原因就是:本地没有配置环境变量,解决方法是下一个cmake然后直接…

STM32-CubeIDE用串口通讯

USART串口通讯 一、轮询模式 1.设置所接引脚为UART异步模式 选择完成CTRLS保存。 2.编写测试代码(自动发送hello world) 在mian函数里面编写代码 原函数 调用函数,需要数据类型一致,使用函数通过串口发送数组里面的数据 打开串…

延迟队列实现及其原理详解

1.绪论 本文主要讲解常见的几种延迟队列的实现方式,以及其原理。 2.延迟队列的使用场景 延迟队列主要用于解决每个被调度的任务开始执行的时间不一致的场景,主要包含如下场景: 1.比如订单超过15分钟后,关闭未关闭的订单。 2.比如用户可以…

基于springboot+微信小程序校园自助打印管理系统(打印1)

👉文末查看项目功能视频演示获取源码sql脚本视频导入教程视频 1、项目介绍 基于springboot微信小程序校园自助打印管理系统实现了管理员、店长和用户。管理员实现了用户管理、店长管理、打印店管理、打印服务管理、服务类型管理、预约打印管理和系统管理。店长实现…

vue3中报has no default export错误

原因 在同时使用Vetur和Volar插件的Vue2与Vue3项目中,遇到Module has no default export错误。通过在VSCode设置中将vetur.validation.script设为false,可以消除该报错,不影响实际运行。 解决办法 "vetur.validation.script": fa…

【Linux线程】Linux线程编程基础:概念、创建与管理

📝个人主页🌹:Eternity._ ⏩收录专栏⏪:Linux “ 登神长阶 ” 🌹🌹期待您的关注 🌹🌹 ❀Linux多线程 📒1. 线程概念📜2. 进程VS线程📚3. 线程控制…

算法魅力-双指针的实战

目录 1.双指针的介绍 1. 左右指针(对撞指针) 2. 快慢指针 2.题目练习讲解 2.1 移动零 算法思路 代码展示 画图效果效果 2.2 复写零 算法思路 代码展示 2.3 快乐数 算法思路 代码展示 2.4 盛最多水的容器 算法思路 代码展示 结束语 1.双指针的…

大模型带来新安全机遇

当前网络空间安全面临攻击隐蔽难发现、数据泄露风险高和违法信息审核难等挑战。大模型展现出强大的信息理解、知识抽取、意图和任务编排等能力,为网络空间安全瓶颈问题提供了新的解决思路和方法。与此同时,大模型发展也催生了恶意软件自动生成、深度伪造…

架构师之路-学渣到学霸历程-22

NFS文件共享服务器 今天开始了云计算-SRE架构师的第二个阶段, 第二阶段就是服务阶段了;第一个分享的就是NFS服务; 文件共享服务; 早上就了解一下NFS原理; 1、NFS文件共享服务器 NFS:就是network file sy…

【YOLO学习】YOLOv5详解

文章目录 1. 网络结构2. 结构整体描述2.1 输入端2.2 Backbone2.3 Neck2.4 Head 3. 模块细节3.1 Focus模块3.2 SPPF3.3 Bounding Box损失函数 4. 训练策略 1. 网络结构 1. 目标检测的模型框架大体都是以下图示这样的结构: 2. 关于 YOLOv5 的网络结构其实网上相关的讲…

数据结构 - 队列

队列也是一种操作受限的线性数据结构,与栈很相似。 01定义 栈的操作受限表现为只允许在队列的一端进行元素插入操作,在队列的另一端只允许删除操作。这一特性可以总结为先进先出(First In First Out,简称FIFO)。这意味…

R语言机器学习算法实战系列(八)逻辑回归算法 (logistic regression)

禁止商业或二改转载,仅供自学使用,侵权必究,如需截取部分内容请后台联系作者! 文章目录 介绍教程下载数据加载R包导入数据数据预处理数据描述数据切割构建模型预测测试数据评估模型模型准确性混淆矩阵模型评估指标ROC CurvePRC Curve特征的重要性保存模型总结系统信息介绍 …

MySQL数据库和表的基本操作

文章目录 一、数据库的基础知识 背景知识数据库的基本操作二、数据类型 字符串类型数值类型日期类型三、表的基本操作 创建表查看表结构查看所有表删除表 一、数据库的基础知识 背景知识 MySQL是一个客户端服务器结构的程序 主动发送数据的这一方,客户端(client…

“智改数转”转了什么?

万界星空科技专门针对数字化改造申报的MES系统具有显著的技术优势和实施效果,能够为制造型企业提供全方位、高效、可靠的数字化转型支持。项目合作可以私信或者百度上海万界星空科技官网。 “智改数转”是一个综合性的过程,涉及企业多个方面的转型和升…

【python实战】利用代理ip爬取Alibaba海外版数据

引言 在跨境电商的业务场景中,数据采集是分析市场、了解竞争对手以及优化经营策略的重要环节。然而,随着越来越多企业依赖数据驱动决策,许多跨境电商平台为了保护自身数据,采取了更严格的防护措施。这些平台通过屏蔽大陆IP地址或部…

【Spring声明式事务失效的12种场景测试】

文章目录 一.Spring声明式事务是什么?二.Spring事务失效的12种场景1.访问权限问题 小结 一.Spring声明式事务是什么? Spring声明式事务是一种通过配置的方式管理事务的方法,它通过注解或XML配置来声明哪些方法需要事务管理,从而将…