【Flask开发实战】通过python将csv数据导入mysql数据库

一、前言

在前面章节介绍过,我们处理的防火墙规则数据,数据清洗处理后,会产生几类表,以csv形式保存。在接下来的开发测试中,前台页面开始需要用到一些数据,此时我们就需要将csv中数据添加到mysql数据库中。在真实生产环境下,我们的防火墙规则可能数以万计,同时展开后的规则条数会更多,导入数据时间一般很长。这种情况下我们可以通过使用python脚本,放在后台自动导入。

二、python导入数据库示例

1、安装必要的库: 首先,确保已经安装了 pandas 和 mysql-connector-python 这两个库,可以使用 pip 进行安装:

pip install pandas mysql-connector-python

2、连接到 MySQL 数据库: 在 Python 中,使用 mysql-connector-python 库连接到 MySQL 数据库:

import mysql.connector

# 连接到 MySQL 数据库
mydb = mysql.connector.connect(
    host="localhost",
    user="yourusername",
    password="yourpassword",
    database="yourdatabase"
)

# 创建游标对象
cursor = mydb.cursor()

这里需要替换 localhost、yourusername、yourpassword 和 yourdatabase 为你的 MySQL 服务器地址、用户名、密码和数据库名称。

3、读取 CSV 文件: 使用 pandas 库读取 CSV 文件:
import pandas as pd

# 读取 CSV 文件
df = pd.read_csv("data.csv")

4、将数据插入到 MySQL 数据库中:

# 遍历 DataFrame 中的每一行,并将数据插入到 MySQL 数据库中

for index, row in df.iterrows():
    sql = "INSERT INTO your_table_name (column1, column2, column3, ...) VALUES (%s, %s, %s, ...)"
    values = (row['column1'], row['column2'], row['column3'], ...)
    cursor.execute(sql, values)

# 提交更改
mydb.commit()

your_table_name 需要替换为目标表的名称, column1、column2、column3 等与 CSV 文件中的列名相对应。根据数据量,可以调整 SQL 查询和值的数量。

5、关闭连接: 在完成数据插入后,记得关闭连接:

# 关闭游标和数据库连接
cursor.close()
mydb.close()

这样,就可以使用 Python 将 CSV 数据成功导入到 MySQL 数据库中了。确保在操作之前备份数据库以及 CSV 文件,以避免意外数据丢失。

三、防火墙查询页面数据导入脚本示例

sql.py

# -*- coding: UTF-8 -*
import pymysql 
import time, datetimelocaldatetime= time.strftime('%Y-%m-%d %H:%M:%S',time.localtime(time.time()))
print(localdatetime)
print('开始导入数据!')def netfw_SQL():sql_conn = pymysql.connect(host='127.0.0.1', port=3306, user='root',password='XXXXX', db='fwtest', charset='utf8', connect_timeout=1000)#创建数据库对象cursor = sql_conn.cursor()with open('netfirewalls.csv', encoding='utf-8') as line_1:#依次读取CSV文件的每一行for line_2 in line_1.readlines():#strip() 方法用于移除字符串头尾指定的字符(默认为空格或换行符)或字符序列line_2 = line_2.strip()#split() 通过指定分隔符对字符串进行切片,这里指定',',而“-1”表示分隔所有list_1 = line_2.split(',', -1)#执行插入表数据语句sql_2 = 'INSERT INTO netfirewalls (fwname, rulename, rulenum, description, action, disable, sourcezone, destzone, sourceip, destip, service) VALUE(%s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s)' cursor.execute(sql_2, (list_1[0], list_1[1], list_1[2], list_1[3], list_1[4], list_1[5], list_1[6], list_1[7], list_1[8], list_1[9], list_1[10]))sql_conn.commit() #提交事务sql_conn.close() #关闭连接localdatetime= time.strftime('%Y-%m-%d %H:%M:%S',time.localtime(time.time()))print(localdatetime)print('网络防火墙原规则数据导入完毕!')#执行自定义函数CSV_SQL()
if __name__ == '__main__':netfw_SQL()

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/5752.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

fdfs安装启动及性能优化

fsatDFS安装 1、使用 wget 命令下载压缩包,如果没有 wget 命令使用 yum 命令安装 yum install wget 2、下载 fastdfs wget -c “https://github.com/happyfish100/fastdfs/archive/V6.06.tar.gz” 3、下载 libfastcommon wget -c “https://github.com/happyfish10…

ELK Stack 8 接入ElasticFlow

介绍 Netflow v5 / v9 / v10(IPFIX),支持大部分网络厂商及VMware的分布式交换机。 NetFlow是一种数据交换方式。Netflow提供网络流量的会话级视图,记录下每个TCP/IP事务的信息。当汇集起来时,它更加易于管理和易读。…

什么是红队?

美国国家安全数据遭到攻击数据泄露数据检测和响应:增强威胁情报和事件响应美国国际开发署进行的全球互联网审查人工智能战争的杀戮问题 微信搜索关注公众号:网络研究观,了解获取更多信息。 红队由安全专业人员组成,他们充当克服网…

Linux procinfo命令教程:如何查看和理解系统信息(附案例详解和注意事项)

Linux procinfo命令介绍 procinfo(process information)是一个简单的命令行工具,用于查看从/proc目录收集的系统信息,并将其美观地格式化输出到标准输出设备。 Linux procinfo命令适用的Linux版本 procinfo命令在大多数Linux发…

Linux 第十八章

🐶博主主页:ᰔᩚ. 一怀明月ꦿ ❤️‍🔥专栏系列:线性代数,C初学者入门训练,题解C,C的使用文章,「初学」C,linux 🔥座右铭:“不要等到什么都没有了…

React 之 Suspense

Suspense Suspense 组件我们并不陌生,中文名可以理解为暂停or悬停 , 在 React16 中我们通常在路由懒加载中配合 Lazy 组件一起使用 ,当然这也是官方早起版本推荐的唯一用法。 那它暂停了什么? 进行异步网络请求,然后再拿到请求…

2024-05-02 问AI: 介绍一下IMDB数据集

文心一言 IMDB数据集是一个在自然语言处理(NLP)和机器学习领域广泛使用的数据集,主要用于文本情感分析任务。以下是对IMDB数据集的详细介绍: 数据来源:IMDB数据集来源于全球最大的电影资料库和评分网站——Internet …

CentOS 7 SSH 升级修复漏洞操作文档

CentOS 7 最新版(CentOS 7.9 2009) 默认 OpenSSH 版本为 7.4p1,OpenSSH 9.3p2 之前版本存在安全漏洞,需升级 OpenSSH 到安全版本避免漏洞。 本文将介绍 OpenSSH 升级到 9.7p1 版本,依赖的 OpenSSL 版本升级到 1.1.1 版…

基于EBAZ4205矿板的图像处理:01简介

基于EBAZ4205矿板的图像处理:01简介 flag 最近入手了性价比超强的ebaz矿板,决定把之前掌握的知识融汇贯通,将各种图像处理算法部署其中,专门写这个帖子,也是想激励自己,所以,在此立贴为证&…

瑞_23种设计模式_解释器模式

文章目录 1 解释器模式(Interpreter Pattern)1.1 介绍1.2 概述1.2.1 文法(语法)规则1.2.2 抽象语法树 1.3 解释器模式的结构1.4 解释器模式的优缺点1.5 解释器模式的使用场景 2 案例一2.1 需求2.2 代码实现 3 案例二3.1 需求3.2 代…

STM32 DMA直接存储器存取

单片机学习! 目录 文章目录 前言 一、DMA简介 1.1 DMA是什么 1.2 DMA作用 1.3 DMA通道 1.4 软硬件触发 1.5 芯片资源 二、存储器映像 2.1 存储器 2.2 STM32存储器 三、DMA框图 3.1 内核与存储器 3.2 寄存器 3.3 DMA数据转运 3.4 DMA总线作用 3.5 DMA请求 3.6 DMA结构…

上位机图像处理和嵌入式模块部署(树莓派4b读写json数据)

【 声明:版权所有,欢迎转载,请勿用于商业用途。 联系信箱:feixiaoxing 163.com】 前面我们说过,ini文件是用来进行配置的,数据库是用来进行数据存储的。那json是用来做什么的呢,json一般是用来做…

【JavaEE】线程的概念

文章目录 1、什么是线程2、进程和线程的区别3、多线程的概述4、在Java中实现多线程的方法1.继承Thread类2.实现Runnable接口3.使用匿名内部类来继承Thread类,实现run方法4.使用匿名内部类来实现Runnable接口,实现run方法5.使用 lambda表达式 1、什么是线…

【R语言数据分析】数据类型与数据结构

目录 对数据框的基本操作 创建矩阵 列表 字符串 日期变量与时间变量 缺失值NA 缺失值NA的处理 重新编码 R的数据类型有数值型num,字符型chr,逻辑型logi等等。 R最常处理的数据结构是:向量,数据框,矩阵&#x…

MySQL如何设计库表结构

一、引言 在设计数据库时,表结构的设计是至关重要的。合理的表结构设计不仅可以提高数据库的性能,还可以使数据更加清晰、易于维护。MySQL作为一种流行的关系型数据库管理系统,其表结构设计也遵循一定的原则和最佳实践。本文将介绍MySQL表结…

JAVA第二周学习笔记

文章目录 JAVA第二周学习笔记IDEA方法格式带参数及返回值的方法方法的重载方法的内存 二维数组静态初始化动态初始化 面向对象类和对象如何定义类如何得到对象注意 封装封装的优点private关键字成员变量和局部变量 this关键字构造方法作用类型特点执行时机定义重载 标准javabea…

docker-compose 网络

自定义网络 - HOST 与宿主机共享网络 version: "3" services:web:image: nginx:1.21.6restart: alwaysports:- 80:80network_mode: host自定义网络 - 固定ip version: "3" services:web:image: nginx:1.21.6restart: alwaysports:- 80:80networks:app&am…

目标检测YOLO实战应用案例100讲-基于FPGA的目标检测硬件加速技术及其应用研究(下)

目录 基于异构FPGA的硬件加速器设计及优化 3.1 硬件平台 3.2 系统架构设计

neo4j 的插入速度为什么越来越慢,可能是使用了过多图谱查询操作

文章目录 背景描述分析解决代码参考neo4j 工具类Neo4jDriver知识图谱构建效果GuihuaNeo4jClass 背景描述 使用 tqdm 显示,处理的速度; 笔者使用 py2neo库,调用 neo4j 的API 完成节点插入; 有80万条数据需要插入到neo4j图数据中&am…

企微SCRM:私域流量的高效管理与转化工具

在数字化营销时代,企业微信SCRM(Social Customer Relationship Management,社会化客户关系管理)系统正逐渐成为企业私域流量运营的核心工具。它集客户管理、营销自动化、数据分析等功能于一身,助力企业实现客户关系的精…