python获取mysql数据为excel中的sheet_python 从excel、csv、mysql、txt获取数据源

使用python进行数据分析工作的第一步是获取数据源,数据源来可能来自于excel、txt、csv文件、mysql数据库。

分别看看这些数据源怎么导入到python中。

1. Excel 数据源导入python

首先导入pandas 模块

import pandas as pd

excel 导入格式为:

pd.read_excel( 路径,sheet_name=’’ ,header=0,name=’’, dtype= )

参数说明如下:

sheet_name为字符串、数字或者列表形式。0 表示 读取第一个sheet,得到一个DataFrame

1 表示 读取第二个sheet,得到一个DataFrame

‘sheet1’ 表示 读取名字为sheet1的sheet ,得到一个DataFrame

[0,1,’sheet1’] 表示读取 第一个、第二个、‘sheet1’ 名字的 sheet,得到一个字典,字典里面有3个DataFrame。

sheet_name参数可以省略,默认读取第一个sheet。

header 参数表示数据中是否包含表头0表示数据源中包含表头

None 表示数据源中不包含表头

names 参数表示表的列名称,格式为列表(list)得到的DataFrame的列名称是names的值.

如果header的值是None,但是names没有值,得到的DataFrame的列名称是0,1,2这样的值.

dtype 列数据格式的设置,采用字典形式进行配置比如:{‘a’: np.float64, ‘b’: np.int32}

read_excel 还有其他的参数,但使用比较少,有兴趣可以看点下面的链接看。pandas.read_excel - pandas 1.0.3 documentation​pandas.pydata.org

示例代码:

df=pd.read_excel('C:\\Users\\Administrator\\Desktop\\好友关系.xlsx',sheet_name='Sheet1')

df2=pd.read_excel('C:\\Users\\Administrator\\Desktop\\好友关系.xlsx',sheet_name=[0,1])

df3=pd.read_excel('C:\\Users\\Administrator\\Desktop\\好友关系.xlsx',sheet_name=0)

df4=pd.read_excel('C:\\Users\\Administrator\\Desktop\\好友关系.xlsx',sheet_name='Sheet1',header=0,names=[1,2],dtype={1:str,2:np.int})

得到的结果,在变量浏览框里面看到的是这样的:

可以看到,df2 是一个字典(dict),字典里面有两个数据框(DataFrame). df4的列名称变成了1,2.

2. csv数据源导入python

excel 导入格式为:

df=pd.read_csv(路径,sep=',',header=0 ,names=,dtype=,encoding=)

一般情况下,df=pd.read_csv(路径) 就可以了。

参数解读:

sep参数表示数据分隔的字符,默认是’,’,一般csv分隔符也是逗号。

header 同pd.read_excel

names 同pd.read_excel

dtype 同pd.read_excel

encoding 表示csv的编码方式,有时候读取报错是因为编码问题,需要进行特别的配置。

read_csv 还有其他的参数,但使用比较少,有兴趣可以看点下面的链接看。

3. mysql数据源导入python

需要 pymysql 模块,可以通过cmd 使用pip install pymysql 进行模块安装。

以下写了一个连接mysql 的通用方法,使用的时候调用方法进行啦。

def get_data(host='',port='',user='',password='',db='',cahrset='',sql ,file_path,file_name,column=['姓名','身份证号码','电话号码','所属企业']):

#建立连接

conn=pymysql.Connect(host=host##mysql数据库的地址

, port=port##端口

, user=user#用户名

, passwd=password#密码

, db=db ##访问哪个数据库

, charset='utf8'

)

#建立游标

cursor = conn.cursor()

##执行sql

cursor.execute(sql)

#获取数据

sql_repayinfo = cursor.fetchall()

##数据写入dataframe

df_report=pd.DataFrame(list(sql_repayinfo),columns=column)

conn.close()

###储存数据到本地电脑

file_paths =file_path+' _%s.xlsx' %(file_name) ##储存路径

writer_obj_bc = pd.ExcelWriter(file_paths) ##建立数据写入目标

df_report.to_excel(writer_obj_bc, 'data') ##写入数据,sheetname的名字为data

writer_obj_bc.save()#保存数据

return df_report ##返回数据

4. txt数据源导入python

有两种方法可以选择。

pd.read_table()方法:此方法适合格式统一的txt文件,比如用逗号分隔的数据文件,直接生成DataFrame.

open()方法:此方式格式统一、格式不统一的txt文件均可以,可以实现按行读取数据,并进行数据处理,比如去掉特殊字符串、进行文本处理等。

pd.read_table()方法:

####代码格式

df=pd.read_table('路径',sep='分隔符')

pd.read_table() 有其他的参数,官方参考文档地址。

open()方法:

以下代码实现读取txt文件,按行读取,并存入dt变量中,

with open('路径','r',encoding='utf-8') as f:

dt=[]

for line in f:

dt+=[line.strip().split(',

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/533587.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

我的世界seus光影java版下载_我的世界0.17SEUS PE光影材质包(水反高清)下载

我的世界0.17SEUS PE光影材质包已经震撼发布,随着我的世界pe0.17系列版本疯狂的出现,很多玩家都有点开始不适应了,毕竟这个更新的频率和速度太快了,0.16.0版本还没有玩够了,下面给大家提供我的世界0.17SEUS PE光影材质…

针式打印机风格英文字体_可爱漂亮的圣诞节和新年贺卡艺术字体推荐!

圣诞节即将到来,各种相应的促销活动和宴会搞起来,今天macz小编为您带来几款风格可爱漂亮的圣诞节和新年贺卡艺术字体推荐!可以用于卡片、海报、邀请函、徽标、产品介绍、T恤等,效果魅力非常哦!可爱漂亮的圣诞节和新年贺…

golang mysql curd_用 golang 造了个 curd api 的轮子

最近需要写个接口的项目 准备顺便熟悉一下 golang在 github 找了下 golang 的 resetful 接口项目 大部分需要对每张表定义一个 model 文件所以就造了个轮子 不需要定义 model 类型的 curd 接口基于 gin 框架 只支持 mysql只需要改下 config/db.go 数据库配置文件就能直接 go ru…

miniui展示日历能点击_2020年日历设计,除了366天有新字体,还有新形式

点击上方蓝字,把我设置为星标☆吧今天是12月1日,距离2020年还有最后一个月。在我们度过的日子中,我们应该铭记每一天,每一个日子。讲究仪式感的人,才是生活真正的智者。那么,对于2020年的日历,应…

fopen php 读取_PHP使用fopen与file_get_contents读取文件实例分享

php中读取文件可以使用fopen和file_get_contents这两个函数,二者之间没有本质区别,只是前者读取文件的php代码相比后者要复杂一点。本文章通过实例向大家讲解fopen和file_get_contents读取文件的实现代码。需要的码农可以参考一下。fopen读取文件的代码如…

php外部对象如何使用方法,php面向对象全攻略 (三)特殊的引用“$this”的使用...

7.特殊的引用“$this”的使用现在我们知道了如何访问对象中的成员,是通过“对象->成员”的方式访问的,这是在对象的外部去访问对象中成员的形式,那么如果我想在对象的内部,让对象里的方法访问本对象的属性,或是对象…

python编程制作接金币游戏_一个简单的pygame接金币游戏

左右键控制小人移动去接空中下来的金币,接住金币得5分,接不住游戏结束,金币速度会随着level的关数而越来越快import pygame,sys,os,randompygame.init()class rect():#画出小人def __init__(self,filename,initial_position):self.imagepygam…

php 126怎么设置发送邮箱验证码,phpmailer发送网易126邮箱的例子

本文介绍下,使用phpmailer发送网易126.com邮件的例子,有需要的朋友参考下。使用PHPMailer类发邮件的例子:IsSMTP();//邮件服务器$mail->Host "smtp.126.com";$mail->SMTPDebug 0;//使用SMPT验证$mail->SMTPAuth true;/…

容器中apscheduler不执行_APScheduler:定时任务框架

APScheduler:定时任务框架安装文档: https://apscheduler.readthedocs.io/en/stable/userguide.html安装$ pip install apscheduler>>> import apscheduler>>> apscheduler.version3.6.3组件APScheduler由一下四部分组成triggers:触发器,指定定时任务执行的时…

nginx php image,[Docker]应该把 nginx 和 PHP 放在一个 image 里还是分开?

因为老板想搞 K8S,但是我连 Docker 都不懂,就觉得还是要学一点点 Docker 的,之前还是看了一点点的,甚至折腾过一个开发环境的方案,但是,很长时间不弄了以后,就全都还回去了。这次我又想自己搭建…

python pep8模块_读懂PEP8,让你的Python代码更加优雅

PEP8《8 号 Python 增强规范》(Python Enhacement Proposal #8),简称PEP8通俗的来讲 PEP8 是针对 python 代码格式而编订的风格指南,令代码更加易读易懂。像谷歌这样的大公司是有自己内部的风格规范Google Style,目的就是为了提高开发效率。据…

python数值模拟教程_数值模拟必备random模块

该模块实现了各种分布的伪随机数生成器。可以在区间内抽取一个随机数,可以在列表中抽取一个元素,可以从分布中抽取样本 。random模块不能直接访问,需要导入 random 模块,然后通过 random 静态对象调用该方法。import random1 生成…

php版本哪个没有面向对象,php面向对象的方法重载两种版本比较

多个函数用同一个名字,但参数表,即参数的个数或(和)数据类型可以不同,调用的时候,虽然方法名字相同,但根据参数表可以自动调用对应的函数。PHP4 中仅仅实现了面向对象的部分的、简单的功能,而 PHP5 以后对对…

python实现录音小程序 界面_小程序如何实现录音 播放功能

第二步:编辑文件首先在src下创建一个test包并在test包下新建一个类MyRecord具体步骤代码如下所示:package test;import java.awt.*;import javax.swing.*;import java.awt.event.*;import java.io.*;import javax.sound.sampled.*;public class MyRecord…

织梦php网站修改教程,织梦DEDEcms织梦软件模型增加图集功能教程(含修改文件下载)...

这篇文章主要为大家详细介绍了织梦DEDEcms织梦软件模型增加图集功能教程(含修改文件下载),具有一定的参考价值,感兴趣的小伙伴们可以参考一下,有需要的朋友可以收藏方便以后借鉴。织梦DEDEcms织梦软件模型增加图集功能,这是今天361模板要给大家分享的。下…

python自动截图发送邮件_PhantomJS按尺寸截取页面,并用python发送邮件

前言:当前有个任务是要把几个网站的日志返回状态码进行汇总,用饼图展示,并每天发送邮件。一、分析问题画出饼图,这个我用kibana给画出来了,下面不做讲解;截取饼图,因为kibana是用js展示出来的&a…

nikita popov php,PHP中对performance的考虑点

Nikita Popov 在他的演讲中谈了几个PHP 程序中和performance相关的point。1.PHP使用shared memory, preload的方式事先分配,而只有在所有的处理结束之后,share memory 才会断开和所有进程或者thread之间的联系。光是opcode,FPM的设定还不足以…

python建模仿真 matlab_清华大学出版社-图书详情-《仿真建模与MATLAB实用教程》

MATLAB语言是目前世界上最为流行的科学计算语言之一,它的特点是能够快速地完成诸如矩阵运算、微分、寻优等计算任务。由于它配备了很多应用领域的专业工具箱,诸如金融、信号处理、图像处理、神经网络、嵌入式系统、仿真建模等,而且每个工具箱都包含了该应…

java web使用jquery,JAVA_Web_JQuery

简介:jquery 全称 javaScript Query.是js的一个框架。本质上仍然是js。特点:支持各种主流的浏览器、使用特别简单、拥有便捷的插件扩展机制和丰富的插件。一、JQuery内部封装原理介绍:匿名闭包。下面这两行代码是jquery包下的已经封装的代码&…

python语法学习_Python学习1——语法

Python语法包括了行、缩进、注释、标识符、保留关键字等方面。打印语句:>>> print(hello,world!)hello,world!输入语句:>>> input(请输入你的名字:)请输入你的名字:哈哈#”哈哈”是你自己输入的名字哈哈 #打印出…