使用Python插入100万条数据到MySQL数据库并将数据逐步写出到多个Excel

Python插入100万条数据到MySQL数据库

步骤一:导入所需模块和库

首先,我们需要导入 MySQL 连接器模块和 Faker 模块。MySQL 连接器模块用于连接到 MySQL 数据库,而 Faker 模块用于生成虚假数据。

import mysql.connector  # 导入 MySQL 连接器模块
from faker import Faker  # 导入 Faker 模块,用于生成虚假数据

步骤二:创建 Faker 实例

然后,我们创建一个 Faker 实例,以便使用其功能生成虚假数据。

faker = Faker() # 创建 Faker 实例

步骤三:连接到 MySQL 数据库

接下来,我们使用 MySQL 连接器模块连接到 MySQL 数据库。需要提供主机地址、用户名、密码和数据库名称。

conn = mysql.connector.connect(host='localhost',  # 数据库主机地址user='root',       # 数据库用户名password='123456', # 数据库密码database='test2'   # 数据库名称
)

步骤四:创建游标对象

然后,我们创建一个游标对象,用于执行 SQL 语句。

cursor = conn.cursor()  # 创建游标对象,用于执行 SQL 语句

步骤五:插入虚假数据

现在,我们准备开始插入虚假数据到数据库中。我们使用循环生成多条数据,并将其插入到数据库表中。

for _ in range(1000000):  # 循环100万次,插入100万条数据# 使用 Faker 实例生成虚假数据name = faker.name()                   # 姓名address = faker.address()             # 地址email = faker.email()                 # 电子邮件phone_number = faker.phone_number()   # 电话号码job_title = faker.job()               # 职位company = faker.company()             # 公司date_of_birth = faker.date_of_birth() # 出生日期credit_card_number = faker.credit_card_number()  # 信用卡号# 定义 SQL 插入语句sql = "INSERT INTO fake_data (name, address, email, phone_number, job_title, company, date_of_birth, credit_card_number) VALUES (%s, %s, %s, %s, %s, %s, %s, %s)"# 设置参数值val = (name, address, email, phone_number, job_title, company, date_of_birth, credit_card_number)# 执行 SQL 插入语句cursor.execute(sql, val)

步骤六:提交事务和关闭连接

最后,我们提交事务以保存更改,并关闭游标和数据库连接。

conn.commit()   # 提交事务,保存更改
cursor.close()  # 关闭游标
conn.close()    # 关闭数据库连接

使用 Python 将 MySQL 数据库中的数据逐步查询并写入多个 Excel 文件

步骤一:导入所需模块和库

首先,我们需要导入 os 模块用于文件和目录操作,pandas 库用于数据处理,以及 mysql.connector 模块用于连接 MySQL 数据库。

import os  # 导入 os 模块,用于文件和目录操作
import pandas as pd  # 导入 pandas 库并使用 pd 别名,用于数据处理
import mysql.connector  # 导入 mysql.connector 模块,用于连接 MySQL 数据库

步骤二:连接到 MySQL 数据库

conn = mysql.connector.connect(host='localhost',  # 数据库主机地址user='root',       # 数据库用户名password='123456', # 数据库密码database='test2'   # 数据库名称
)

步骤三:设置每个 Excel 文件的行数限制和输出文件夹

chunk_size = 50000  # 每个 Excel 文件的行数限制
output_folder = "output_data"  # 输出文件夹名称
if not os.path.exists(output_folder):  # 如果文件夹不存在,则创建os.makedirs(output_folder)

步骤四:逐步查询数据库并写入 Excel 文件

offset = 0  # 查询偏移量初始值为0
while True:  # 使用循环查询数据库,直到数据查询完毕query = f"SELECT * FROM fake_data LIMIT {offset}, {chunk_size}"  # 构造 SQL 查询语句df = pd.read_sql(query, conn)  # 使用 pandas 读取 SQL 查询结果为 DataFrameif df.empty:  # 如果查询结果为空,则退出循环breakoutput_file = os.path.join(output_folder, f"output_{offset // chunk_size + 1}.xlsx")  # 构造输出文件路径df.to_excel(output_file, index=False)  # 将 DataFrame 写入 Excel 文件,不写入索引列offset += chunk_size  # 更新查询偏移量,准备下一次查询

步骤五:关闭数据库连接

conn.close()  # 关闭数据库连接

最后,我们关闭数据库连接,释放资源。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/823769.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

PostgreSQL的学习心得和知识总结(一百三十八)|深入理解PostgreSQL数据库之Protocol message构造和解析逻辑

目录结构 注:提前言明 本文借鉴了以下博主、书籍或网站的内容,其列表如下: 1、参考书籍:《PostgreSQL数据库内核分析》 2、参考书籍:《数据库事务处理的艺术:事务管理与并发控制》 3、PostgreSQL数据库仓库…

【Java开发指南 | 第十一篇】Java运算符

读者可订阅专栏:Java开发指南 |【CSDN秋说】 文章目录 算术运算符关系运算符位运算符逻辑运算符赋值运算符条件运算符(?:)instanceof 运算符Java运算符优先级 Java运算符包括:算术运算符、关系运算符、位运算符、逻辑运算符、赋值…

关于ContentProvider这一遍就够了

ContentProvider是什么? ContentProvider是Android四大组件之一,主要用于不同应用程序之间或者同一个应用程序的不同部分之间共享数据。它是Android系统中用于存储和检索数据的抽象层,允许不同的应用程序通过统一的接口访问数据,…

java实现请求缓冲合并

业务背景: 我们对外提供了一个rest接口给第三方业务进行调用,但是由于第三方框架限制,导致会发送大量相似无效请求,例如:接口入参json包含两个字段,createBy和receiverList,完整的入参json示例…

Postman之版本信息查看

Postman之版本信息查看 一、为何需要查看版本信息?二、查看Postman的版本信息的步骤 一、为何需要查看版本信息? 不同的版本之间可能存在功能和界面的差异。 二、查看Postman的版本信息的步骤 1、打开 Postman 2、打开设置项 点击页面右上角的 “Set…

Java中的容器

Java中的容器主要包括以下几类: Collection接口及其子接口/实现类: List 接口及其实现类: ArrayList:基于动态数组实现的列表,支持随机访问,插入和删除元素可能导致大量元素移动。LinkedList:基…

只用键盘的技巧

技巧一:将常用软件固定在任务栏使用winnum/winT(shift)打开 技巧二:winX快捷键(显示快捷键的快捷键) ALT F4    关闭当前应用程序 技巧三:使用好Chrome快键键 ctrl h;历史纪录。 ctrl shift esc&am…

充电桩--OCPP 充电通讯协议介绍

一、OCPP协议介绍 OCPP的全称是 Open Charge Point Protocol 即开放充电点协议, 它是免费开放的协议,该协议由位于荷兰的组织 OCA(开放充电联盟)进行制定。Open Charge Point Protocol (OCPP) 开放充电点协议用于充电站(CS)和任何…

大模型开发轻松入门——(1)从搭建自己的环境开始

pip install openai import openai import osfrom dotenv import load_dotenv, find_dotenv _ load_dotenv(find_dotenv())openai.api_key os.getenv(OPENAI_API_KEY)

mac IDEA激活 亲测有效

1、官网下载mac版本IDEA并安装 2、打开激活页面 3、下载脚本文件 链接: https://pan.baidu.com/s/1I2BqdfxSJv1A96422rflnA?pwdm494 提取码: m494 4、命令行到该界面,执行 sudo bash idea.sh 可能出现的问题: 查看sh文件,targetFilePath…

vue快速入门(十六)事件修饰符

注释很详细&#xff0c;直接上代码 上一篇 新增内容 事件修饰符之阻止冒泡事件修饰符之阻止默认行为 源码 <!DOCTYPE html> <html lang"en"><head><meta charset"UTF-8"><meta name"viewport" content"widthdev…

重定向原理和缓冲区

文章目录 重定向缓冲区 正文开始前给大家推荐个网站&#xff0c;前些天发现了一个巨牛的 人工智能学习网站&#xff0c; 通俗易懂&#xff0c;风趣幽默&#xff0c;忍不住分享一下给大家。 点击跳转到网站。 重定向 内核中为了管理被打开的文件&#xff0c;一定会存在描述一…

ESP8266闪存文件系统(SPIFFS)

开发环境&#xff1a; 1、安装ESP8266的开发环境&#xff0c;如Arduino IDE。 2、下载并安装ESP8266的相关开发库和工具。 我们使用的是Arduino IDE。 基本介绍&#xff1a; 每一个ESP8266都配有一个闪存&#xff0c;这个闪存很像是一个小硬盘&#xff0c;我们上传的文件就被…

FFMPEG C++封装(三)

4 详细设计 这章是FFMPEG C封装库的详细设计。 4.3 Packet 该模块是编码后数据包类型。 4.3.1 Packet定义 namespace media { namespace sdk { typedef int PacketType;PacketType const PacketType_Audio 0; PacketType const PacketType_Video 1; PacketType co…

MCU最小系统晶振模块设计

单片机的心脏&#xff1a;晶振 晶振模块 单片机有两个心脏&#xff0c;一个是8M的心脏&#xff0c;一个是32.768的心脏 8M的精度较低&#xff0c;所以需要外接一个32.768khz 为什么是8MHZ呢&#xff0c;因为内部自带的 频率越高&#xff0c;精度越高&#xff0c;功耗越大&am…

[Java EE] 多线程(二): 线程的创建与常用方法(下)

2.3 启动一个线程–>start() 之前我们已经看到了如何通过重写run()方法来创建一个线程对象,但是线程对象被创建出来并不意味着线程就开始运行了. 覆写run方法是给线程提供了所要做的事情的指令清单创建线程对象就是把干活的人叫了过来.而调用start方法,就是喊一声"行…

贪心法确定补水地点

贪心算法是一个简单有趣的算法&#xff0c;它总是做出当前看来最好的选择&#xff0c;每次的局部最优选择最终可以产生整体最优解或整体最优解的近似。本文将介绍如何用贪心法解决补水问题。 1. 补水问题 2升水可以走 k k k英里&#xff0c;水站可以把水补满为2升&#xff0c…

【五十四】【算法分析与设计】Manacher算法,Manacher算法作用,Manacher算法流程,Manacher算法证明,Manacher算法代码

Manacher算法作用 1. 给你一个字符串str&#xff0c;要你求这个字符串的最长回文子串的长度&#xff0c;或者求这个字符串的最长回文子串在str中开始位置的下标。 2. 暴力解法&#xff0c;中心扩散算法&#xff0c;时间复杂度O(N*2)。Manacher算法可以用O(N)解决这个问题。…

鸿蒙相关岗位需求突增!你具体知道都有哪些岗位吗?

1 月 18 日&#xff0c;鸿蒙 Next 预览版面向开发者正式开放申请。至此&#xff0c;鸿蒙原生应用版图已成型&#xff0c;这个中国自主研发的操作系统&#xff0c;正式走上了独立之路。 随后迎来了不少互联网公司与华为鸿蒙原生应用达成了合作&#xff0c;像我们常见的阿里、京…

【Android GUI】FramebufferNativeWindow与Surface

文章目录 显示整体体系FramebufferNativeWindowFramebufferNativeWindow构造函数 dequeueBufferSurface总结参考 显示整体体系 native window为OpenGL与本地窗口系统之间搭建了桥梁。 这个窗口系统中&#xff0c;有两类本地窗口&#xff0c;nativewindow1是能直接显示在屏幕的…