机器学习:数据处理基操

在处理完数据之后,选择好模型,就可以用训练集训练模型,用测试集输入模型 然后输出需要预测的结果啦~

一、模块导入

import numpy as np
import pandas as pd #读入数据

二、pandas数据

一、dataframe基础

一、dataframe的创建

  • 通过字典来创建DataFrame

字典的键值表示列号,value用列表格式,表示该列的行数据。

外层key做列索引,内层key做行索引

persons = {'name': ['小睿', '小丽', '小明', '小红'],'age': [19, 18, 18, 17],'sex': ['男', '男', '女', '男'],
}
# 字典的key作为列索引
data_frame1 =pd.DataFrame(persons)

b9ddbe3b48a64ec4bf319e262a4a4863.png

二、从csv中读入

pd.read_csv()有很多参数

raw_data=pd.read_csv(path,names=names,header=None,delim_whitespace=True)

path指定文件路径,names指定列名,header指明csv文件中是否有列名,delim_whitespace、sep可以用来将同一列的数据分割成多列,usecols 可以选择数据中的列放入dataframe

names=['CRIM','ZN','INDUS','CHAS','NOX','RM','AGE','DIS',
'RAD','TAX','PRTATIO','B','LSTAT','MEDV']
path='E:\Python项目程序\人工智能企业实训\housing.csv'
raw_data=pd.read_csv(path,names=names,header=None,delim_whitespace=True)
print(raw_df.head(3))#head用于读取多少行print(raw_df.describe())#按一列的来算
print(raw_df.info())#查看数据类型,如果有obj需要编码,最好用32类型的;也可以看是否存在空值

三、数据探索

我们可以查看数据是否有空值,数据的均值方差等来查看数据的特征,如果数据存在空值,我们可能需要进行缺失值处理。查看数据特征和异常值还可以通过画图来观察到。

使用dataframe的数据基本信息

方法:

  • head()
  • describe()
  • info()52565033a4b94668accf9838bbb59bb1.png1c93cb3a5cb54551b460c8e431ee4e20.png

由于数据集在同一列中,并且没有列名,因此我们需要使用sep将一列中的多个数据拆开,由于没有列名,需要使用header=None:

import pandas as pd
names=['CRIM','ZN','INDUS','CHAS','NOX','RM','AGE','DIS','RAD','TAX','PRTATIO','B','LSTAT','MEDV']
df=pd.read_csv('./dataset.csv',names=names,header=None,delim_whitespace=True)#默认是当前路径下的文件,如果没有names=names,则列名默认从0开始编号
print(df.head())

注意:接下来的df全是这里用pd.read_csv()得到的。

一、head方法(查看前n行)

  • 输出dataframe中的前n行,标识出列名和行号
print(df.head())#默认输出数据前五行

ab6f88fbaa8f4f438f4488d32023fc9b.png

print(df.head(10))#输出数据前10行

ec6fd369528f4e9580750ff29cb54a01.png

二、describe方法(查看列的数学统计)

  • 输出dataframe中每一列的数学统计值。
print(df.describe())

b547414f92474565a9a8a5c27f06a036.png

它将打印每一列特征的个数,平均数,方差,最小值,最大值,以及箱型图中的25%、50%、75%。

三、info方法(查看空值和数据类型)

  • 输出每一列是否存在空值,以及类型
print(df.info())

5490df666b954918a0bc83834a3913c0.png

None被认为是空值

四、isnull方法(转换数据为是否为空)

  • 对每一个数据判断是否为空,不为空值为False(和notnull()方法相反)
  • 搭配sum()方法可以直接找到空值个数
  • df.isnull().sum() 每一列空值个数
  • df.isnull().sum().sum()数据中存在空值的个数
print(df.isnull())

05bc8edbfb454fcfa96a059e6a0920f1.png

print(df.isnull().sum())

4fec587b4f494bd0b9993fa14113999b.png

sum()方法类似于数据库中的聚集函数,对每一列求总和,输出出来,返回的是一个Series类型。还可以再使用一次sum(),求出series中元素的总和。

print(df.isnull().sum().sum())

c1e9ff79410e4fba9412e8895dcaaa4c.png

五、查看是否有空值

path='./data.csv'
df=pd.read_csv(path)print(df.isnull().sum())#输入每一列的空值个数
print(df.isnull().sum().sum())#输入总共的空值个数

四、数据预处理

我们要将需要预测的数据,和训练数据合并之后再进行一起处理,因为输入模型的数据格式要相同。之前在查看空值时,也应该合并。

train_data = pd.read_csv( "./data./train.csv")
test_data = pd.read_csv( "./data./test.csv")
# 合并train, test
data = pd.concat([train_data, test_data], axis=0)#因为要对列进行统一处理
'''axis=0是指在y轴上合并,即按行合并'''

一、缺失值处理

3cc57ac5e87e4511acc17c3e4262a022.png

缺失值处理有很多种方式,这里只写两个。将这些方法当做类调用即可,不需要关注实现。调用之后直接使用被填充后的数据。

IterativeImputer多变量缺失值填补

2336c04d719d4a6c87d8cbaf3aa44977.png

#df是df=pd.read_csv(path),从csv中读取到的文件,Dataframe格式
from sklearn.experimental import enable_iterative_imputer
from sklearn.impute import IterativeImputerimp_mean = IterativeImputer(random_state=0)#random_state是随机种子
imp_mean.fit(df)
filled_data =imp_mean.transform(df)
'''filled_data和df的区别就是 filled_data是数据已经被填充了的,并且filled_data不是Dataframe类型'''save_df=pd.DataFrame(filled_data)#保存填充后的文件
csv_path='./IterativeImputer.csv'
save_df.to_csv(csv_path,index=False)

②KNNImputer K近邻缺失值填补

该方法是借助 包含缺失值数据附近的 其他特征和它最像的 n_neighbors个数据的 该特征值的平均值来填补缺失值的。

from sklearn.impute import KNNImputerimputer=KNNImputer(n_neighbors=2)
df=pd.Dataframe(imputer.fit_transform(df))

解释:

'''使用具有缺失值的样本的两个最近邻居的平均特征值替换编码为np.nan的缺失值:'''
from sklearn.impute import KNNImputer
data = [[2, 4, 8], [3, np.nan, 7], [5, 8, 3], [4, 3, 8]]
imputer = KNNImputer(n_neighbors=1)
imputer.fit_transform(data)
'''可以看到,因为第二个样本的第一列特征3和第三列特征7,与第一行样本的第一列特征2和第三列特征8的欧氏距离最近,所以缺失值按照第一个样本来填充,填充值为4。那么n_neighbors=2呢?'''
imputer = KNNImputer(n_neighbors=2)
imputer.fit_transform(data)
'''此时根据欧氏距离算出最近相邻的是第一行样本与第四行样本,此时的填充值就是这两个样本第二列特征4和3的均值:3.5。'''

二、数据标准化

一、最大最小值缩放

from sklearn.preprocessing import MinMaxScaler
scaler=MinMaxScaler(feature_range=(0,1))
X1=scaler.fit_transform(df)

二、正态化数据

from sklearn.preprocessing import StandardScaler
scaler=StandardScaler().fit(df)
X1=scaler.transform(df)

三、标准化数据(归一化)

Normalize Data 处理是将每一行数据的距离处理成1的数据,又叫归一化 适合处理稀疏数据(有很多0), 归一处理的数据对使用权重输入的神经网络和使用距离的K近邻准确度有显著提升

from sklearn.preprocessing import Normalizer
scaler=Normalizer().fit(df)
X1=transformer.transform(df)

三、数据编码、异常值处理

部分处理方式。日期需要特殊处理,对于一些值也可能需要进行数据清洗。

一、one-hot编码

data=data[['Survived','Pclass','Sex','Age','Fare','Embarked','Title','TicketGroup']]
#上面
data=pd.get_dummies(data)#ont-hot编码

 二、标签编码

from sklearn.preprocessing import LabelEncoder
cat_columns = data.select_dtypes(include='O').columns
for col in cat_columns:le = LabelEncoder()data[col] = le.fit_transform(data[col])
'''对非数值特征进行标签编码,即非数值编码成0,1,2,3,4'''
'''A,B,C变成0,1,2这种'''
'''one-hot编码需要大量存储空间'''

data.drop(['id'], axis=1, inplace=True)
train = data[data['label'].notnull()]
test = data[data['label'].isnull()].drop(['label'], axis=1)

五、特征选择

PCA主成分分析法、递归特征消除RFE、多维标度法MDS等等。

一、随机森林重要性得分(有很多种方式)

from sklearn.ensemble import ExtraTreesClassifier
model=ExtraTreesClassifier()
fit=model.fit(X,y) #X是从train中抽出的特征,y是标签
print(fit.feature_importances_)

二、递归特征消除RFE

from sklearn.feature_selection import RFE
from sklearn.linear_model import LogisticRegression
model=LogisticRegression()
rfe=RFE(model,3)
fit=rfe.fit(X,y)
print('被选定的特征',fit.support_)
print('特征排名:',fit.ranking_)

六、划分训练测试集

正确做法:先划分数据集,再分别进行同样的特征选择,防止数据泄露。

        因为测试集对于模型来说应该是“看不见”的,而对于计算特征得分,或者主成分分析,递归下降法等特征选择算法都需要对整个数据集进行考虑,因此为了使得测试集对于模型而言是完全未知的,就需要我们先将训练集和测试集分离之后,再分别用同样的方式进行特征选择。

        注意这样即使是使用降维的特征选择也是不会有问题的。因为我们在划分出测试集时,是进行随机抽取的,换句话说,由于随机性,测试集也具有数据的代表性。

from sklearn.model_selection import train_test_split'''-----------------选出特征和标签------------------------'''
#X选择特征列(一般不包含id号), Y选择标签列
X=raw_data.iloc[:,0:13]#dataframe 可以用iloc[行范围,列范围]选择特征列
Y=raw_data.iloc[:,13]#选择标签列'''----------划分训练集和测试集(如果没有可以测试模型得分的测试集时)------------'''
x_train,x_test,y_train,y_test=train_test_split(X,Y,test_size=0.1,random_state=11)
#按照test:train=0.1进行随机划分训练集和测试集 ,这里随机种子=11
#x_train -- y_train  ; x_test -- y_test
#将训练集进一步划分成训练集和验证集
x_train,x_val,y_train,y_val=train_test_split(x_train,y_train,test_size=0.1,random_state=11)#x_train 和 y_train作为输入用来进行模型训练。

七、绘图常用模块

import matplotlib.pyplot as plt
import seaborn as sns

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/717261.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【代码】Android|判断asserts下的文件存在与否,以及普通文件存在与否

作者版本:Android 11及以上 主要是发现网上没有完整的、能跑的代码,不知道怎么回事,GPT给我重写的。我只能保证这个代码尊嘟能跑,不像其他的缺胳膊少腿的。 asserts 贴一下结果: boolean isAssertFileExists(String …

kafka消费者接收不到消息

背景: 对kafka消息进行监听,生产者发了消息,但是消费端没有接到消息,监听代码 消费端,kafka配置 spring.kafka.bootstrap-serverskafka.cestc.dmp:9591 spring.kafka.properties.sasl.jaas.configorg.apache.kafka.…

29.HarmonyOS App(JAVA)通知

普通通知: 通知渠道,弹出消息后,自动消失 长文本通知 //多行文本通知 //图片通知 //社交通知 //媒体通知--经测试,图片无法显示,文字不显示 场景介绍 HarmonyOS提供了通知功能,即在一个应用的UI界面之外显示的消息,主…

C++之结构体以及通讯录管理系统

1,结构体基本概念 结构体属于自定义的数据概念,允许用户存储不同的数据类型 2,结构体的定义和使用 语法:struct 结构体名{ 结构体成员列表}; 通过结构体创建变量的方式有三种: 1,struct …

设计模式学习笔记 - 设计原则 - 8.迪米特法则(LOD)

前言 迪米特法则,是一个非常实用的原则。利用这个原则,可以帮我们实现代码的 “高内聚、松耦合”。 围绕下面几个问题,来学习迪米特原则。 什么是 “高内聚、松耦合”?如何利用迪米特法则来实现 高内聚、松耦合?哪些…

技术实践|百度安全「大模型内容安全」高级攻击风险评测

1、引子 2023年10月16日,OWASP发布了《OWASP Top 10 for LLM Applications》,这对于新兴的大语言模型安全领域,可谓一份纲领性的重要报告。 OWASP是开放式Web应用程序安全项目(Open Web Application Security Project&#xff0…

【Linux网络命令系列】ping curl telnet三剑客

💝💝💝欢迎来到我的博客,很高兴能够在这里和您见面!希望您在这里可以感受到一份轻松愉快的氛围,不仅可以获得有趣的内容和知识,也可以畅所欲言、分享您的想法和见解。 推荐:kwan 的首页,持续学…

【C++】vector的使用和模拟实现(超级详解!!!!)

文章目录 前言1.vector的介绍及使用1.1 vector的介绍1.2 vector的使用1.2.1 vector的定义1.2.2 vector iterator 的使用1.2.3 vector 空间增长问题1.2.3 vector 增删查改1.2.4 vector 迭代器失效问题。(重点!!!!!!)1.2.5 vector 在OJ中有关的练习题 2.ve…

C++入门和基础

目录 文章目录 前言 一、C关键字 二、命名空间 2.1 命名空间的定义 2.2 命名空间的使用 2.3 标准命名空间 三、C输入&输出 四、缺省参数 4.1 缺省参数的概念 4.2 缺省参数的分类 五、函数重载 5.1 函数重载的简介 5.2 函数重载的分类 六、引用 6.1 引用的…

搭建个人IC_EDA服务器(物理机)一:安装Centos7

1.准备 大于8G的U盘;待装的电脑,我使用淘汰的在大学时候使用的笔记本;U盘启动器制作工具:UltralSo;官网下载的在没有付费的情况下,即使试用期,安装的时候会有莫名的问题,建议使用这…

【接口测试】常见HTTP面试题

目录 HTTP GET 和 POST 的区别 GET 和 POST 方法都是安全和幂等的吗 接口幂等实现方式 说说 post 请求的几种参数格式是什么样的? HTTP特性 HTTP(1.1) 的优点有哪些? HTTP(1.1) 的缺点有哪些&#x…

Puzzles

题目链接:Submit - Codeforces​​​​​​ 解题思路: 题目大概意思就是在一个数组里找n个数里的最大值减最小值的最小值,先排序,然后将第i n - 1项减去第i项与最小值作比较,输出最小值即可,注意循环结束…

YOLOv应用开发与实现

一、背景与简介 YOLO(You Only Look Once)是一种流行的实时目标检测系统,其核心思想是将目标检测视为回归问题,从而可以在单个网络中进行端到端的训练。YOLOv作为该系列的最新版本,带来了更高的检测精度和更快的处理速…

【框架】MyBatis 框架重点解析

MyBatis 框架重点解析 1. MyBatis 执行流程 会话工厂生产的 SqlSession 对象提供了对数据库执行SQL命令所需的所有方法,包括但不限于以下功能: 数据库操作:SqlSession可以执行查询(select)、插入(insert&a…

腾讯云幻兽帕鲁游戏存档迁移教程,本地单人房迁移/四人世界怎么迁移存档?

腾讯云幻兽帕鲁游戏存档迁移的方法主要包括以下几个步骤: 登录轻量云控制台:首先,需要登录到轻量云控制台,这是进行存档迁移的前提条件。在轻量云控制台中,可以找到接收存档的服务器卡片,并点击进入实例详情…

Jmeter 安装

JMeter是Java的框架,因此在安装Jmeter前需要先安装JDK,此处安装以Windows版为例 1. 安装jdk:Java Downloads | Oracle 安装完成后设置环境变量 将环境变量JAVA_HOME设置为 C:\Program Files\Java\jdk1.7.0_25 在系统变量Path中添加 C:\Pro…

股票技术指标(包含贪婪指数)

股票技术指标是用于分析股票价格和成交量数据,以便预测未来市场走势的工具。技术分析师使用这些指标来识别市场趋势、价格模式、交易信号和投资机会。技术指标通常基于数学公式,并通常在股票价格图表上以图形形式表示。 技术指标主要分为以下几类&#x…

A Brief Introduction of the Tqdm Module in Python

DateAuthorVersionNote2024.02.28Dog TaoV1.0Release the note. 文章目录 A Brief Introduction of the Tqdm Module in PythonIntroductionKey FeaturesInstallation Usage ExamplesBasic UsageAdvanced Usage A Brief Introduction of the Tqdm Module in Python Introducti…

力扣hot100:42.接雨水

什么时候能用双指针? (1)对撞指针: ①两数和问题中可以使用双指针,先将两数和升序排序,可以发现规律,如果当前两数和大于target,则右指针向左走。 ②接雨水问题中,左边最…

【算法集训】基础算法:枚举

一、基本理解 枚举的概念就是把满足题目条件的所有情况都列举出来,然后一一判定,找到最优解的过程。 枚举虽然看起来麻烦,但是有时效率上比排序高,也是一个不错的方法、 二、最值问题 1、两个数的最值问题 两个数的最小值&…