Datawhale组队-Pandas(下)分类数据(打卡)

Categoricals是pandas的一种数据类型,对应于统计学中的Categorical variables(分类变量),分类变量是有限且固定的可能值,例如:gender(性别)、血型、国籍等,与统计学的Categorical variables相比,Categorical类型的数据可以具有特定的顺序,例如:按程度来设定:‘强烈同意’与‘同意’,‘首次观察’与‘二次观察’,但是不能按数值来进行排序操作。

Categorical data的值要么是预设好的类型中的某一个,要么是空值(np.nan)。顺序是由Categories来决定的,而不是按照Categories中各个元素的字母顺序排序的。categories 实例的内部是由类型名字集合和一个整数组成的数组构成的,后者标明了类型集合真正的值。

类别数据型适用于以下场景:

  • 仅由几个不同值组成的字符串变量。将这样的字符串变量转换成分类变量将节省一些内存;
  • 变量的词汇顺序不同于逻辑顺序。通过转换为类别并指定类别的顺序,排序和最小/最大值将使用逻辑顺序替代词汇顺序;
  • 作为对其他python库的一个信号,这个列应该被视为一个分类变量。

一、category的创建及其性质

1.分类变量的创建

(a)用Series创建

pd.Series(["a", "b", "c", "a"], dtype="category")

(b)用dataframe创建

temp_df = pd.DataFrame({'A':pd.Series(["a", "b", "c", "a"], dtype="category"),'B':list('abcd')})
temp_df.dtypes

(c)用内置Categorical类型创建

cat = pd.Categorical(["a", "b", "c", "a"], categories=['a','b','c'])
pd.Series(cat)

(d)用cut函数创建

默认使用区间类型为标签

pd.cut(np.random.randint(0,60,5), [0,10,30,60])

可指定字符为标签

pd.cut(np.random.randint(0,60,5), [0,10,30,60], right=False, labels=['0-10','10-30','30-60'])

2.分类变量的结构

一个分类变量包括三个部分,元素值(values)、分类类别(categories)、是否有序(order),使用cut函数创建的分类变量默认为有序分类变量。

(a)describe方法

描述了一个分类序列的情况,包括非缺失值个数,元素值类别数(不是分类类别数)、最多出现的元素及其频数

s = pd.Series(pd.Categorical(["a", "b", "c", "a",np.nan], categories=['a','b','c','d']))
s.describe()

(b)categories和ordered属性

查看分类类别和是否排序

#查看分类类别
print(s.cat.categories)
#查看是否排序
print(s.cat.ordered)

3.类别的修改

(a)利用set_categories修改

修改分类,但本身值不会变化

s = pd.Series(pd.Categorical(["a", "b", "c", "a",np.nan], categories=['a','b','c','d']))
s.cat.set_categories(['new_a','c'])

(b)利用rename_categories修改

该方法是会把值和分类同时修改

s = pd.Series(pd.Categorical(["a", "b", "c", "a",np.nan], categories=['a','b','c','d']))
s.cat.rename_categories(['new_%s'%i for i in s.cat.categories])

利用字典修改值

s.cat.rename_categories({'a':'new_a','b':'new_b'})

(c)利用add_categories添加

s = pd.Series(pd.Categorical(["a", "b", "c", "a",np.nan], categories=['a','b','c','d']))
s.cat.add_categories(['e'])

(d)利用remove_categories移除

s = pd.Series(pd.Categorical(["a", "b", "c", "a",np.nan], categories=['a','b','c','d']))
s.cat.remove_categories(['d'])

(e)删除元素值未出现的分类类型

s = pd.Series(pd.Categorical(["a", "b", "c", "a",np.nan], categories=['a','b','c','d']))
s.cat.remove_unused_categories()

二、分类变量的排序

分类数据类型分为有序和无序,

1.序的建立

(a)一般来说会将一个序列转为有序变量,可以利用as_ordered方法

s = pd.Series(["a", "d", "c", "a"]).astype('category').cat.as_ordered()

退化为无序变量,只需使用as_unordered

s.cat.as_unordered()

(b)利用set_categories方法中的order参数

pd.Series(["a","d","c","a"]).astype('category').cat.set_categories(['a','c','d'],ordered=True)

(c)利用reorder_categories方法

特点在于:新设置的分类必须与原分类为统一集合

s = pd.Series(["a", "d", "c", "a"]).astype('category')
s.cat.reorder_categories(['a','c','d'],ordered=True)
#s.cat.reorder_categories(['a','c'],ordered=True) #报错
#s.cat.reorder_categories(['a','c','d','e'],ordered=True) #报错

2.排序

(a)值排序

s=pd.Series(np.random.choice(['perfect','good','fair','bad','awful'],50)).astype('category')
s.cat.set_categories(['perfect','good','fair','bad','awful'][::-1],ordered=True).head()
s.sort_values(ascending=False).head()

(b)索引排序

df_sort = pd.DataFrame({'cat':s.values,'value':np.random.randn(50)}).set_index('cat')
df_sort.sort_index().head()

三、分类变量的比较操作

1.与标量或等长序列的比较

(a)标量比较

s = pd.Series(["a", "d", "c", "a"]).astype('category')
s == 'a'

(b)等长序列比较

s == list('abcd')

2.与另一分类变量的比较

(a)等式判别(包含等号和不等号)

两个分类变量的等式判别需要满足分类完全相同

s = pd.Series(["a", "d", "c", "a"]).astype('category')
#等号
s == s
#不等于
s != s
#s == s_new #报错
s_new = s.cat.set_categories(['a','d','e'])

(b)不等式判别(包含>=,<=,<,>)

两个分类变量的不等式判别需要满足两个条件:① 分类完全相同 ② 排序完全相同

s = pd.Series(["a", "d", "c", "a"]).astype('category')
#s >= s #报错s=pd.Series(["a","d","c","a"]).astype('category').cat.reorder_categories(['a','c','d'],ordered=True)
s >= s

练习1:

(a)现在将深度分为七个等级:[0,5,10,15,20,30,50,np.inf],请以深度等级Ⅰ,Ⅱ,Ⅲ,Ⅳ,Ⅴ,Ⅵ,Ⅶ为索引并按照由浅到深的顺序进行排序。

df['new_深度'] = pd.cut(df['深度'],[0,5,10,15,20,30,50,np.inf],labels=['Ⅰ','Ⅱ','Ⅲ','Ⅳ','Ⅴ','Ⅵ','Ⅶ'])
df.set_index('new_深度').sort_index().head()

(b)在(a)的基础上,将烈度分为4个等级:[0,3,4,5,np.inf],依次对南部地区的深度和烈度等级建立多级索引排序。

df['new_深度'] = pd.cut(df['深度'],[0,5,10,15,20,30,50,np.inf],labels=['Ⅰ','Ⅱ','Ⅲ','Ⅳ','Ⅴ','Ⅵ','Ⅶ'])
df['new_烈度'] = pd.cut(df['烈度'],[0,3,4,5,np.inf],labels=['Ⅰ','Ⅱ','Ⅲ','Ⅳ'])
df.set_index(['new_深度','new_烈度']).sort_index().head()

可以看到按烈度排序的话,直接从Ⅱ开始的,所以,更改一下数据范围:

df['new_深度'] = pd.cut(df['深度'],[0,5,10,15,20,30,50,np.inf],labels=['Ⅰ','Ⅱ','Ⅲ','Ⅳ','Ⅴ','Ⅵ','Ⅶ'])
df['new_烈度'] = pd.cut(df['烈度'],[-1e-10,3,4,5,np.inf],labels=['Ⅰ','Ⅱ','Ⅲ','Ⅳ'])
df.set_index(['new_深度','new_烈度']).sort_index().head()

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/466796.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【分享】一个集成tracert和ping的网络监测工具

最近接到一个需求&#xff0c;需求背景是这样的&#xff1a;目前Windows平台下本身都有tracert和ping的实现&#xff0c;而且可以直接在cmd下使用。 需求中有两个要求&#xff1a; 1. Windows平台中的tracert执行速度太慢&#xff0c;一次tracert可能要花十几分钟。所以&#x…

秀操作 | 函数宏的三种封装方式

作者&#xff1a;☆星轨★ 链接&#xff1a;https://blog.csdn.net/qq_35692077/article/details/1029949591. 函数宏介绍函数宏&#xff0c;即包含多条语句的宏定义&#xff0c;其通常为某一被频繁调用的功能的语句封装&#xff0c;且不想通过函数方式封装来降低额外的弹栈压…

Sun为何一掷千金拿下MySQL?

标题&#xff1a;深度解析 Sun为何一掷千金拿下MySQL&#xff1f;作者&#xff1a;IT168 东方蜘蛛链接&#xff1a;[url]http://tech.it168.com/j/2008-01-21/200801211529940.shtml[/url]摘要&#xff1a;近日美国著名软件开发商Sun宣布&#xff0c;将以10亿美元的天价收购开源…

Datawhale组队-Pandas(下)时序数据(打卡)

Pandas可以处理任何领域的时序数据&#xff08;time series&#xff09;&#xff0c;使用Numpy的datetime64 和timedelta64 类型&#xff0c;Pandas整合了来自其他Python库的大量功能&#xff0c;如Scikits.TimeSeries&#xff0c;并为处理时间序列数据创建了大量新功能。 一、…

Linux C高级编程——文件操作之系统调用

Linux C高级编程文件操作之系统调用 宗旨&#xff1a;技术的学习是有限的&#xff0c;分享的精神是无限的&#xff01; 库函数是一些完成特定功能的函数&#xff0c;一般由某个标准组织制作发布&#xff0c;并形成一定的标准。使用库函数编写的函数一般可以应用于不同的平台而…

解析一个C语言俄罗斯方块游戏,包你看了就会

最近在看俄罗斯方块的游戏&#xff0c;看到一个大神写的俄罗斯方块代码&#xff0c;非常非常优秀&#xff0c;拿出来解析给大家看看&#xff0c;也希望大家自己尝试运行试试&#xff0c;从中能得到一些启发。#先了解下俄罗斯方块的几个形状一共分成 7 形状&#xff0c;有的形状…

认识星座、八大行星的观察

1. 北斗七星 北斗七星属于大熊座&#xff0c;春夏可见&#xff1b;2. 八大行星 太阳系的八大行星基本位于同一轨道面&#xff0c;如以地球轨道面为基准&#xff0c;相互间轨道倾角的差距甚至不到5度&#xff08;不包括水星&#xff09;。太阳系各大行星公转平面与地球黄道平面的…

ERP项目需要持续的呵护

ERP项目需要持续的呵护<?xml:namespace prefix o ns "urn:schemas-microsoft-com:office:office" />众所周知&#xff0c;实施ERP是一持续优化的过程&#xff0c;而在这优化完善的过程中&#xff0c;单靠一次实施上线是不够的&#xff0c;尤其是在ERP上线后…

Datawha组队——Pandas(下)综合练习(打卡)

import pandas as pd import numpy as np import missingno as msno import matplotlib.pyplot as plt plt.rcParams[font.sans-serif][SimHei] #用来正常显示中文标签 plt.rcParams[axes.unicode_minus]False #用来正常显示负号#读取数据 df pd.read_csv(端午粽子数据.csv) d…

Linux C高级编程——文件操作之库函数

Linux C高级编程——文件操作之库函数 宗旨&#xff1a;技术的学习是有限的&#xff0c;分享的精神是无限的 ——为什么要设计标准I/O库&#xff1f; 直接使用API进行文件访问时&#xff0c;需要考虑许多细节问题 例如&#xff1a;read、write时&#xff0c;缓冲区的大小该如…

【转】spring之任务调度

由于现在大部分的系统都是采用了spring&#xff0c;所以所有的例子都结合spring来构建&#xff0c;目前主要的任务调度分为三种&#xff1a; Java自带的java.util.Timer类&#xff0c;这个类允许你调度一个java.util.TimerTask任务。使用这种方式可以让你的程序按照某一个频度执…

测试内存对齐对运行速度的影响

我们知道内存对齐是为了方便CPU工作&#xff0c;但是对齐和不对齐差异有多大呢&#xff1f;我自己也没有实际测试过&#xff0c;今天就运行个代码测试看看。1、1字节对齐的时候#include "stdio.h"#pragma pack(1) struct test { char x1; short x2; float x3; …

连接池的问题

看到关于连接池的问题&#xff0c;觉得很有用&#xff0c;摘录到自己博客上 NET 连接池救生员 防止可淹没应用程序的池溢出 William Vaughn 大多数 ADO.NET 数据提供程序使用连接池&#xff0c;以提高围绕 Microsoft 断开连接的 .NET 结构构建的应用程序的性能。应用程序首先打…

Datawhale-零基础入门NLP-新闻文本分类Task01

参考&#xff1a; https://www.jianshu.com/p/56061b8f463a 统计自然语言处理 宗成庆&#xff08;第二版&#xff09; 文本自动分类简称文本分类(text categorization),是模式识别与自然语言处理密切结合的研究课题.传统的文本分类是基于文本内容的,研究如何将文本自动划分为…

fprintf/fscanf函数分析

fprintf/fscanf函数分析 宗旨&#xff1a;技术的学习是有限的&#xff0c;分享的精神是无限的。 fprintf/fscanf函数与printf/scanf区别&#xff1a;printf/scanf专门针对标准输入输出流&#xff0c;fprintf/fscanf函数可用于任意流&#xff0c;包括输入输出流。 1、fprintf …

华为海选开发者状元?还送14件豪礼?

华为云全年最大 最大 最大开发者庆典活动来啦&#xff01;这次庆典没别的&#xff0c;就是&#xff1a;好玩&#xff01;刺激&#xff01;让你拿奖拿到怀疑人生&#xff01;贺岁就要有贺岁的样子~赶紧来看看华为云为开发者们准备了怎样的新年惊喜好玩的在这里&#xff01;上学的…

国际:如何识别真正的程序员

如何识别优秀的程序员&#xff1f;并不是像听起来那么容易。在这儿工作经验的作用是很有限的&#xff0c;因为伟大的程序员不一定要‘正式’的工作经历来证明他们的伟大。 1&#xff0c;激情。 我曾经遇到许多“职业程序员”&#xff0c;他们从事IT是因为觉得这是一种职业&…

Datawhale-零基础入门NLP-新闻文本分类Task02

Task01里边对赛题进行了分析,接下来进行数据读取与数据分析&#xff0c;通过使用Pandas库完成数据读取和分析操作。 1 数据读取 由赛题数据格式可知&#xff0c;可通过read_csv读取train_set.csv数据&#xff1a; import pandas as pd import numpy as np import matplotlib…

一步步分析-C语言如何面向对象编程

这是道哥的第009篇原创一、前言在嵌入式开发中&#xff0c;C/C语言是使用最普及的&#xff0c;在C11版本之前&#xff0c;它们的语法是比较相似的&#xff0c;只不过C提供了面向对象的编程方式。虽然C语言是从C语言发展而来的&#xff0c;但是今天的C已经不是当年的C语言的扩展…

Linux C高级编程——目录操作

Linux C目录操作 宗旨&#xff1a;技术的学习是有限的&#xff0c;分享的精神是无限的。 Linux思想“一切皆文件”&#xff0c;目录也是文件&#xff0c;只是存储的内容有别于普通文件。目录文件中存储的该目录下所有的文件及子目录文件的信息&#xff0c;inode节点。 一、打开…