thinkcmf 横向排列数据_利用python进行数据分析之数据清洗规整

1.处理缺失值数据

使用dropna()时,注意里面参数axis、how、thresh的用法

使用fillna()时,注意里面参数value、method、inplace、limit的用法

6dcd5ede238fd8f043864ae955b06b00.png

2.数据转换

去重

data.drop_duplicates(keep='last')#注意keep的用法

映射

map()针对的是一维数组series,后面跟函数表示对整个一维数组执行的操作

apply()在针对一维数组时作用与map相同,在针对DataFrame数组时是对某一行或某一列进行操作,输出的是一列或一行的结果

applymap()是针对DataFrame的整个数据的操作

替换值

replace()

重命名轴索引

rename()注意rename对列名的修改,后面跟上字典实现

astype()转换数据类型

离散化和面元划分

cats=pd.cut(data,bins,right=False,labels=name)#按照bins里面的区间,把data数据集里面的数据划分到不同的区间,实现离散化,right修改闭端位置
pd.cut(data,4,precision=2)#传入数字则根据数据分位数进行几等分,precision保留小数个数
pd.value_counts(cats)#划分结果计数
pd.qcut()

检测和过滤异常值

data.describe()#数据现行,无处可逃
data[2][np.abs(data[2])>3]#选出2这一列中绝对值大于3的数
data[(np.abs(data)>3).any(1)]#选出绝对值大于3的数所在的行
np.sign(data)#根据数值的正负生成1或-1

排列和随机采样

sampler=np.random.permutation(5)
df.take(sampler)
#实现对df的重新排列,相当于按轴索引随机排列

计算指标、哑变量

get_dummies()#没看太懂,研究中

3.字符串的操作

val.split(',')#把字符串val按‘,’分成数段
pieces=[x.strip() for x in val.split(',')]#可去除空格和换行
'::'.join(pieces)#拼接
val.index('a')     val.find('a')#查找字符串
val.count('a')#统计出现次数
val.replace()#替换

e3946d9e5015153cb1015ad569d9616d.png

还有一些关于正则表达式的方法

3940b2640572303835b6c7f6ec448eca.png

矢量化字符串的方法

6ec0206dd85161d8a19415d65cabb5d5.png

4.连接数据

横向连接

pd.mager(data1,data2,on='key',how='left')#jion也可以实现

f550f76a20ef4ae38262900ca5fff99a.png

轴向连接

pd.concat()

33ddb7ce1dd58e210295cd3552cbc769.png

5.重塑

stack:将数据的列旋转成行

unstack:将数据的行旋转成列

pivot与melt也互为相反操作,作用类似

6.时间序列

0c69e3c9185aab93bc6ab9330918bd93.png

datetime.strptime可以⽤这些格式化编码将字符串转换为⽇期:

2d0ee637f3a7f16bed4fcf9d395947f9.png

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/394288.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

v$asm_diskgroup中state的说明

1.使用oracle账号连接数据库,查看v$asm_diskgroup 2.使用grid账号连接ASM实例,查看v$asm_diskgroup 3.官方v$asm_diskgroup关于state的解释 https://docs.oracle.com/en/database/oracle/oracle-database/19/refrn/V-ASM_DISKGROUP.html#GUID-5CF77719-7…

Python笔记 【无序】 【五】

描述符 将某种特殊类型的类【只要实现了以下或其中一个】的实例指派给另一个类的属性 1.__get__(self,instance,owner)//访问属性,返回属性的值 2.__set__(self,instance,value)//将在属性分配【即赋值】中调用,不返回任何内容 3.__delete__(…

化工图纸中LISP_化工设备厂参展模型设计制作

最近这个案子是受某化工设备企业委托做四套设备模型 用来参加展会在模型制作过程中,这类案例经常遇到。但是客户所提供的CAD图纸,往往是实物尺寸在进行缩放的过程中常会造成过薄和过于精细的情况出现眼下技术小哥就遇到这类情况让我们先看看客户提供的C…

社交大佬们的数据“大”在哪里?

文章讲的是社交大佬们的数据“大”在哪里,“别说忙,没工夫看书,你那刷FB/朋友圈的工夫腾出来,保证每周啃下一本”,小编身边总充斥着这样的“训话”。 额,奈何我每天的工作离不开从社交媒体中获取信息&#…

mysql 多数据源访问_通过Spring Boot配置动态数据源访问多个数据库的实现代码

之前写过一篇博客《SpringMybatisMysql搭建分布式数据库访问框架》描述如何通过SpringMybatis配置动态数据源访问多个数据库。但是之前的方案有一些限制(原博客中也描述了):只适用于数据库数量不多且固定的情况。针对数据库动态增加的情况无能为力。下面讲的方案能支…

菜鸟postman接口测试_postman 接口测试(转)

本文转载自testerhome;作者:xinxi1990 ;原文链接:https://testerhome.com/topics/18719;转载以分享知识为目的,著作权归原作者所有,如有侵权,请联系删除。postman使用创建用例集启动…

vb 数组属性_VB中菜单编辑器的使用讲解及实际应用

大家好,今天我们共同来学习VB中菜单方面的知识。VB中菜单的基本作用有两个:1、提供人机对话的界面,以便让使用者选择应用系统的各种功能;2、管理应用系统,控制各种功能模块的运行。在实际应用中,菜单可分为…

《JAVA程序设计》_第七周学习总结

一、学习内容 1.String类——8,1知识 Java专门提供了用来处理字符序列的String类。String类在java.lang包中,由于java.lang包中的类被默认引入,因此程序可以直接使用String类。需要注意的是Java把String类声明为final类,因此用户不能扩展Stri…

NeHe OpenGL教程 第三十七课:卡通映射

转自【翻译】NeHe OpenGL 教程 前言 声明,此 NeHe OpenGL教程系列文章由51博客yarin翻译(2010-08-19),本博客为转载并稍加整理与修改。对NeHe的OpenGL管线教程的编写,以及yarn的翻译整理表示感谢。 NeHe OpenGL第三十七…

SDN交换机在云计算网络中的应用场景

SDN的技术已经发展了好几年了,而云计算的历史更长,两者的结合更是作为SDN的一个杀手级应用在近两年炒得火热,一些知名咨询公司的关于SDN逐年增加的市场份额的论断,也主要是指SDN在云计算网络中的应用。 关于SDN在云计算网络中的应…

sql server 里面怎么支持数字使用双引号_国查:用中文编写SQL

这两天被 文言(wenyan-lang)刷屏了,这个项目在于使用文言文进行编程,我打算蹭个热度,把年初的作品再捞一捞,即中文SQL。1. 文言Wenyan:吾有一數。曰三。名之曰「甲」。為是「甲」遍。吾有一言。曰「「問天地好在。」」…

革新以太网交换机架构 全光网络的风刮进园区

全光网络的风正在刮进园区网,众所周知,光纤入户发展迅速,随着PON(无源光纤网络)技术在运营商通信网络的大规模使用,PON相关产业链逐步成熟,这也使得PON技术逐步在企业园区网得到应用。 基于铜线…

漫谈单点登录(SSO)(淘宝天猫)(转载)

1. 摘要 ( 注意:请仔细看下摘要,留心此文是否是您的菜,若浪费宝贵时间,深感歉意!!!) SSO这一概念由来已久,网络上对应不同场景的成熟SSO解决方案比比皆是&…

越狱第一至五季/全集迅雷下载

越狱 第一季 Prison Break Season 1 (2005) 本季看点:迈克尔斯科菲尔德是一头陷于绝境欲拼死一搏的怒狮——他的哥哥林肯巴罗斯被认定犯有谋杀罪被投入了福克斯河监狱的死囚牢。虽然所有的证据都指出林肯就是凶手,迈克尔坚信兄长是无辜的。林肯的死刑执行…

java -jar 默认参数_JAVA入门学习指南,建议收藏

如果你不懂Java 并且想认真学习接触了解一下Java的语法,建议把这篇文章收藏了,多看几遍,应该可以初步掌握Java 大部分基础的语法 。 让我们出发吧!ps:本文有点长,耐心阅读 。〇,编程环境工程项目推荐使用ID…

【RabbitMQ】 WorkQueues

消息分发 在【RabbitMQ】 HelloWorld中我们写了发送/接收消息的程序。这次我们将创建一个Work Queue用来在多个消费者之间分配耗时任务。 Work Queues(又称为:Task Queues)的主要思想是:尽可能的减少执行资源密集型任务时的等待时…

笑看职场什么程序员才抢手,什么样的程序员涨薪多?

​程序员,怎么才算合格,不好说吧;他就像销售一样,一名销售员,比如网络销售卖茶叶,他卖茶叶很厉害呀,可是你让他去销售房地产,就算他有点销售的基础,也要重新去学怎么销售…

Android画布Canvas裁剪clipRect,Kotlin

Android画布Canvas裁剪clipRect,Kotlin private fun mydraw() {val originBmp BitmapFactory.decodeResource(resources, R.mipmap.pic).copy(Bitmap.Config.ARGB_8888, true)val newBmp Bitmap.createBitmap(originBmp.width, originBmp.height, Bitmap.Config.A…

调查|73%的公司正使用存在漏洞的超期服役设备

本文讲的是调查|73%的公司正使用存在漏洞的超期服役设备,一份新近的调查覆盖了北美350家机构的212000台思科设备。结果显示,73%的企业正在使用存在漏洞、超期服役的网络设备。该数字在上一年仅为60%。 Softchoice公司思科部门业务主管大卫魏格…

深度装机大师一键重装_笔记本怎么重装系统?笔记本自己如何重装系统?

如何给笔记本重装系统呢?笔记本系统使用时间长了难免会运行缓慢,我们第一反应就是重装系统笔记本了。但是很多小白用户们就惆怅了,不知道笔记本怎么重装系统,怎么进行重装系统笔记本呢?首先,笔记本电脑可以重置系统,…