mysql 数据分析的步骤_数据分析8个主要步骤

# 在对数据进行分析时,主要细分为明确目标、应用思维和如下8个具体步骤:

1、读取数据

2、清洗数据

3、操作数据

4、转换数据

5、整理数据

6、分析数据

7、展现数据

8、总结报告

接下来将介绍使用python来具体处理数据,包括上面几个步骤的实现,以及给出具体的操作例子。

需要记住的是使用python处理数据所用到的 具体函数、方法。

#一、python读取数据

''''''

1、简要

2、如何从Excel文件中读取数据

3、如何从MySQL数据库中读取数据

4、如何从网页中读取数据

''''''

1、简要

读取数据时数据分析的第一步,相对来说比较简单,读取数据类型可以大致分为几类,一般用到的都是从 excel表、数据库、网页中进行读取。

我们使用python中的pandas库来实现读取操作。

2、如何从Excel文件中读取数据

Python代码如下:

读取数据之前需要导入pandas库

#导入pandas库

import pandas as pd

#导入Excel文件

df = pd.read_excel('文件名.xlsx')

3、如何从MySQL数据库中读取数据

读取数据之前需要安装pymysql模块

# 安装pymysql模块(在终端操作)

pip install pymysql

#安装后,读取操作代码如下:

import pandas as pd

import pymysql

# 创建数据库连接

conn = pymysql.connect(host='', user='', passwd='', database='')

# 创建游标

cursor = conn.cursor()

# 写SQL语句

sql = "select * from 表名"

#读取数据

df = pd.read_sql(sql,conn)

df.head()

# 关闭游标

cursor.close()

# 关闭连接

conn.close()

4、如何从网页中读取数据

访问网页时需要用到ssl模块,解决证书不受信任问题

import ssl

ssl._create_default_https_context = ssl._create_unverified_context

# 网址

url = 'http://s.askci.com/stock/a/?reportTime=2019-03-31&pageNum=1'

#读取网页中表格数据

dfs = pd.read_html(url)

#二、python清洗数据

'''

1、如何查找异常

2、如何排除重复

3、如何删除缺失

4、如何补全缺失

5、应用案例

'''

下面使用待清洗的扑克牌作为示例,来完成以上操作。

import numpy as np

import andas as pd

pd.set_option('max_rows',10)

df = df.read_excel("待清洗的扑克牌.xlsx")

df

返回结果如下:

bff7e14a0418de198398fa04d0b2cc6e.png

41215e0109e7b1aefe4f158ae6341f8a.png

1、如何查找异常

在清洗数据之前需要把异常的数据查找出来,观察异常数据特征,然后确定清洗方法。

一般查找数据异常方式:

查找某一列缺失

查找重复的行列

查找某一列的唯一值

#查找花色缺失的行

df[df.花色.isnull()]

d72bf5e22c0f2bc6d8b0612bc792707e.png

# 查找完全重复的行

df[df.duplicated()]

55e98f5b5239b1c0e1088deec48bc262.png

# 查找某一列重复的行

df[df.编号.duplicated()]

6d6b8ae67bd7510a9ec27ac1d12bcd62.png

#查找牌面所有唯一值

df.牌面.unique()

返回结果如下:

a6ec84cc02611b130aa020da37b0444a.png

根据常识可以得出,'30'为异常值。

#查找牌面包含30的异常值

df[df.牌面.isin(['30'])]

8cf2d95d6897482eaef341e48c0df90e.png

2、如何排除重复

使用drop_duplicates()函数,在排除重复后会得到新的返回值。

#排除完全重复的行,默认保留第一行

df.drop_duplicates()

189dcadd9481e757ddbe3623ab6ceb38.png

# 按照莫一列排除重复,默认保留第一行

df.drop_duplicates(['花色'])

# 按照莫一列排除重复,默认保留最后一行

df.drop_duplicates(['花色'],keep = 'last')

3、如何删除缺失

使用dropna()默认删除包含缺失的行

使用扑克牌中不重复的花色为例

color =  df.drop_duplicates(['花色'])

dcb9196aee5ab6fed6640724217866ab.png

#删除花色缺失的行

color.dropna()

#删除整行全部为空的行,需要指定how参数

color.dropna(how='all')

#删除包含缺失值的列

color.dropna(axis = 1)

4、如何补全缺失

# 使用fillna()函数可以将缺失值填充成制定的值。

color.fillna('joker')

c8c01fbfbd4e60295f8d9849e6673c28.png

# 使用临近值填充需要指定method参数

#用后面的值填充

color.fillna(method= 'bfill')

3cd81930f791e5285c18f1dcebd99eb7.png

# 按字典填充

# 先制定一个缺失值

color.loc[2,'牌面'] = np.nan

color

1f6399ca71751841c634b66215394de2.png

7251a7e071e1f22a8c2348b03057ae8d.png

#按列自定义补全缺失值

color.fillna({'花色':0,'牌面':1})

d8cebda50c3aa9a048ee2688f7a256f6.png

5、应用案例

import numpy as np

import pandas as pd

# 设置最多显示10行

pd.set_option('max_rows',10)

#从Excel文件中读取原始数据

df = pd.read_excel('待清洗的扑克牌'.xlsx)

#补全缺失值

df = pd.fillna('joker')

#排除重复值

df = pd.drop_duplicates()

# 修改异常值

df.loc[4,'牌面'] = 3

# 增加一张缺少的牌

df = df.append({'编号':4,'花色':'黑桃♠','牌面':2},ignore_index = True)

#按编号排序

df = df.sort_values('编号')

# 重置索引

df = df.reset_index()

# 删除多余的列

df = df.drop(['index'],axis = 1)

#清洗好的数据保存到excel文件中

df.to_excel('清洗好的扑克牌'.xlsx,index = False)

df

9fb109e99509bde0f1a7f528e680a1b6.png

上图为完整的扑克牌数据。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/396507.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

python学习的一个定位_python学习之——selenium元素定位

web自动化测试按步骤拆分,可以分为四步操作:定位元素,操作元素,获取返回结果,断言(返回结果与期望结果是否一致),最后自动出测试报告。其中定位元素尤为关键,此篇是使用webdriver通过页面各个元…

Invoker

Invoker 是实体,dubbo外其他对象的转化。转载于:https://www.cnblogs.com/gtaxmjld/p/9786894.html

如何在开源社区贡献代码_如何在15分钟内从浏览器获得您的第一个开源贡献

如何在开源社区贡献代码Matt Mullenweg, founder of Automattic, recently offered this advice to aspiring developers: “Contribute to open source.”Automattic的创始人Matt Mullenweg最近向有抱负的开发人员提供了以下建议 :“ 致力于开源。 ” Mullenweg —…

小心情。

从一开始学习html到现在的nodejs,也有段时间了,那个时候什么都不知道,记得一两年之前还沉迷在一些网络技术的圈子里面,每天看着那些大牛,感觉都很是厉害,每一项技术总是那样的让我着迷,从易语言…

一、win7下安装yii2

作者:PHP学习网 出处:http://www.viphper.com/?p1159 本文版权归作者,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利。 之前在liunx上安装过yii…

js获取浏览器滚动条距离顶端的距离

js获取浏览器滚动条距离顶端的距离 一、jQuery获取的相关方法 jquery 获取滚动条高度获取浏览器显示区域的高度 :$(window).height(); 获取浏览器显示区域的宽度 :$(window).width(); 获取页面的文档高度 :$(document).height(); 获取页面的文…

vs dll必须和exe在同一个目录_Win10系统丢失 .dll 文件的三种解决方案教程

有时候开机或打开一个软件时,系统会提示无法启动程序,这是怎么回事呢?这是因为计算机丢失某个或某些dll文件,由于系统本身不存在这些运行库文件,需要进行添加才能使用该软件。方法一:下载丢失的.dll文件&am…

datagrid页面获取表单一条数据的例子

【问题背景】 最近在做ITOO考评的时候想从页面获取表单选中的数据: 【代码】 在数据网格(datagrid)组件包含两种方法来检索选中行数据: getSelected:取得第一个选中行数据,如果没有选中行,则返回…

utf-8转换gbk代码_将代码转换为现金-如何以Web开发人员的身份赚钱并讲述故事。...

utf-8转换gbk代码by Kurt由库尔特 将代码转换为现金-如何以Web开发人员的身份赚钱并讲述故事。 (Turning code to cash — How to make money as a Web Developer and live to tell the tale.) So you just learnt to code. You’re eager and anyone who can’t code thinks …

Spring+SpringMVC+MyBatis+easyUI整合基础篇(十)SVN搭建

前言 前面一篇文章讲了一下版本控制,但其实这一篇并没有打算讲细节的,感觉应该自己去动手弄一下,后来考虑了一下,版本控制真的挺重要的,如果自己实在搭建不好反而不去使用的话,真的有点可惜,当然…

AHK-UMSS框架 (AHK通用修饰键解决方案,任何键都是修饰键)

AHK-UMSS框架 (AHK通用修饰键解决方案,任何键都是修饰键) 1 #Warn2 #NoEnv ; # 禁用环境变量检查:不检查空变量是否为"环境变量",可以极大地提高效率3 #Hotstring EndChars ◎ ; # 热字串终止符号设置:只把空格作为终止符,(文档上所说是不能单独用空格的…

flask-sqlalchemy mysql_Flask SQLAlchemy连接到MySQL数据库

设置代码:我正在构建一个带有AngularJS前端的基本Flask应用程序,目前我需要连接到我用Godaddy phpmyadmin托管的MySQL数据库。这是我的一部分__init__.pyfrom flask import Flaskfrom flask.ext.sqlalchemy import SQLAlchemy# Create instnace called a…

有没有编码的知识图谱_没有人告诉您关于学习编码的知识-以及为什么如此困难...

有没有编码的知识图谱by Joyce Akiko通过乔伊斯明子 没有人告诉您关于学习编码的知识-以及为什么如此困难 (What Nobody Tells You About Learning To Code — And Why That Makes It So Hard) Are you familiar with the article Why Learning to Code is So Damn Hard?您是…

Node.js之HTPP URL

几乎每门编程语言都会包括网络这块,Node.js也不例外。今天主要是熟悉下Node.js中HTTP服务。其实HTTP模块是相当低层次的,它不提供路由、cookie、缓存等,像Web开发中不会直接使用,但还是要熟悉下,这样也方便以后的学习。 一、统一资源标识符URL 这个是非常…

串口数据波形显示_【专题教程第6期】SEGGER的J-Scope波形上位机软件,RTT模式波形上传可飙到500KB/S...

【专题教程第6期】SEGGER的J-Scope波形上位机软件,RTT模式波形上传速度可狂飙到500KB/S左右说明:1、在实际项目中,很多时候,我们需要将传感器或者ADC的数值以波形的形式显示。通常的解决办法是用串口上位机,USB接口上位…

JavaScript-基础入门.0014.JavaScript内置对象

2019独角兽企业重金招聘Python工程师标准>>> 简单介绍: 说明: 内置对象就是不依赖宿主环境在程序执行之前已经存在的对象,不必显式的实例化内置对象,前面已经介绍了大部分内置对象,而Global和Math两个单体内置对象比较特殊,所以单独讲. Global对象: 说明: Js中不属于…

Java中字符串连接符(+)和append的区别

参考链接:https://www.jianshu.com/p/849f1d443b3a 文章结构: 第一部分:对的原理进行分析 第二部分: 和 append 循环对比(贴出代码,以及分别循环后的反编译字节码,来对两者进行对比)…

百度seo排名点击器_SEO整站优化思路 - 百度seo排名点击

原出处:超级排名系统原文链接:SEO整站优化思路 - 超级排名系统整站优化的大体思路包括哪些?下面超级排名系统小编详细给大家讲解下:一、建站优化我们在建立网站之前与建立网站的时候需要做的优化,包括标题优化、描述关…

unity 天空盒_Unity自定义可编程渲染管线(SRP)(二)——编写第一个自定义SRP

一句话描述,我们可以把SRP分解成两个部分,分别是SRP Asset,SRP Instance。SRP AssetSRP Asset是一个Unity Asset文件,用来存储渲染管线的特定配置信息,包含的信息有:游戏物体是否应该投射阴影;使…

构建node.js基础镜像_在Android上构建Node.js应用程序

构建node.js基础镜像by Aurlien Giraud通过AurlienGiraud 在Android上构建Node.js应用程序 (Building a Node.js application on Android) 第2部分:Express和NeDB (Part 2: Express and NeDB) In Part 1 we saw how to use Termux, a Terminal emulator and Linux …