MySQL 中快速插入大量数据

在 MySQL 中快速插入大量数据(例如 20 万条记录)可以通过多种方法实现。以下是一些优化技巧和步骤,可以帮助你高效地插入大量数据:

1. 禁用索引和约束(如果可能)


在插入大量数据之前,禁用索引和外键约束可以显著提高插入速度。在插入完成后,再重新启用它们并重建索引。

sql
-- 禁用外键约束
SET foreign_key_checks = 0;
 
-- 禁用唯一性检查
SET unique_checks = 0;
 
-- 禁用自动提交
SET autocommit = 0;
 
-- 禁用索引更新(对于MyISAM)
-- ALTER TABLE your_table DISABLE KEYS;


2. 使用批量插入


批量插入可以显著减少插入操作的开销。例如,使用 INSERT INTO ... VALUES (...), (...), ... 语法。

sql
INSERT INTO your_table (column1, column2, column3)
VALUES
    (value1_1, value1_2, value1_3),
    (value2_1, value2_2, value2_3),
    -- 继续添加更多行,直到达到合理的批量大小(如几千行)
    (valueN_1, valueN_2, valueN_3);


3. 使用事务


在事务中执行批量插入可以减少每次提交的开销。

sql
START TRANSACTION;
 
-- 批量插入语句
INSERT INTO your_table (column1, column2, column3)
VALUES
    (value1_1, value1_2, value1_3),
    -- 继续添加更多行
    (valueN_1, valueN_2, valueN_3);
 
COMMIT;


4. 禁用二进制日志(如果不需要复制或恢复点)


如果你的数据库不需要复制或增量备份,可以临时禁用二进制日志。

sql
SET sql_log_bin = 0;
注意: 禁用二进制日志后,数据库将无法进行增量备份或复制操作,请谨慎使用。

5. 调整 MySQL 配置


根据需要调整 MySQL 配置,以提高插入性能。例如,增加 innodb_buffer_pool_size、innodb_log_file_size 和 innodb_flush_log_at_trx_commit。

6. 使用 LOAD DATA INFILE


对于非常大的数据集,使用 LOAD DATA INFILE 可以比 INSERT 语句快得多。

sql
LOAD DATA INFILE '/path/to/your/file.csv'
INTO TABLE your_table
FIELDS TERMINATED BY ','
ENCLOSED BY '"'
LINES TERMINATED BY '\n'
IGNORE 1 ROWS;


7. 重新启用索引和约束


在插入完成后,重新启用之前禁用的索引和外键约束。

sql
-- 启用外键约束
SET foreign_key_checks = 1;
 
-- 启用唯一性检查
SET unique_checks = 1;
 
-- 启用自动提交
SET autocommit = 1;
 
-- 启用索引更新(对于MyISAM)
-- ALTER TABLE your_table ENABLE KEYS;
示例脚本
以下是一个综合示例脚本,用于快速插入 20 万条数据:

sql
-- 禁用外键约束、唯一性检查和自动提交
SET foreign_key_checks = 0;
SET unique_checks = 0;
SET autocommit = 0;
 
-- 开始事务
START TRANSACTION;
 
-- 批量插入(示例,这里只展示少量数据,实际应扩展到 20 万条)
INSERT INTO your_table (column1, column2, column3)
VALUES
    (value1_1, value1_2, value1_3),
    (value2_1, value2_2, value2_3),
    -- 重复插入直到达到 20 万条数据
    -- ...
    (value200000_1, value200000_2, value200000_3);
 
-- 提交事务
COMMIT;
 
-- 启用外键约束、唯一性检查和自动提交
SET foreign_key_checks = 1;
SET unique_checks = 1;
SET autocommit = 1;
注意事项
备份数据:在进行批量插入之前,务必备份你的数据,以防数据丢失或损坏。
测试环境:先在测试环境中验证这些操作,以确保它们不会影响生产环境的性能和稳定性。
监控性能:监控数据库的性能,确保批量插入操作不会对数据库服务器造成过大的负载。
通过这些优化技巧,你应该能够高效地插入 20 万条数据到 MySQL 数据库中。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/64520.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Chrome 浏览器原生功能截长屏

我偶尔需要截取一些网页内容作为素材,但偶尔内容很长无法截全,需要多次截屏再拼接,过于麻烦。所以记录下这个通过浏览器原生功能截长屏的方案。 注意 这种方案并不是百分百完美,如果涉及到一些需要滚动加载的数据或者悬浮区块&am…

Python+OpenCV系列:AI看图识人、识车、识万物

在人工智能风靡全球的今天,用 Python 和 OpenCV 结合机器学习实现物体识别,不仅是酷炫技能,更是掌握未来的敲门砖。本篇博文手把手教你如何通过摄像头或图片输入,识别人、动物、车辆及其他物品,让你的程序瞬间具备 AI …

关于如何正确在测试用例中mock静态方法的问题

文章目录 情况一:希望在测试用例中直接执行静态方法的逻辑情况二:不希望在测试用例中执行静态方法的逻辑插桩方法坑1: 报错SubclassByteBuddyMockMaker原因与解决方案坑2:报错 the existing static mock registration must be deregistered原…

Shell自定义(二)

1.Shell自定义 1.初始化 定义全局变量environ,把g_env的内容用memset初始化为0,这里用malloc开辟的空间为对应环境变量的长度1,多1位置是最后结束符0,strcpy把此时的对应的环境变量拷贝到g_env里面,下面是新增一个环…

PHPstudy中的数据库启动不了

法一 netstat -ano |findstr "3306" 查看占用该端口的进程号 taskkill /f /pid 6720 杀死进程 法二 sc delete mysql

安装与配置MongoDB 6.0以支持远程连接

安装与配置MongoDB 6.0以支持远程连接 目录 安装curl工具下载并导入MongoDB 6.0 PGP密钥向APT导入MongoDB 6.0版软件包的资源链接安装MongoDB依赖libssl1.1安装MongoDB启动并检查MongoDB服务状态进入MongoDB Shell交互式执行环境设置MongoDB开机自启配置MongoDB允许远程连接 …

Hive其一,简介、体系结构和内嵌模式、本地模式的安装

目录 一、Hive简介 二、体系结构 三、安装 1、内嵌模式 2、测试内嵌模式 3、本地模式--最常使用的模式 一、Hive简介 Hive 是一个框架,可以通过编写sql的方式,自动的编译为MR任务的一个工具。 在这个世界上,会写SQL的人远远大于会写ja…

百度智能云千帆AppBuilder升级,百度AI搜索组件上线,RAG支持无限容量向量存储!

百度智能云千帆 AppBuilder 发版升级! 进一步降低开发门槛,落地大模型到应用的最后一公里。在千帆 AppBuilder 最新升级的 V1.1版本中,企业级 RAG 和 Agent 能力再度提升,同时组件生态与应用集成分发更加优化。 • 企业级 RAG&am…

解决Ubuntu 20.04上编译OpenCV 3.2时遇到的stdlib.h缺失错误

解决Ubuntu 20.04上编译OpenCV 3.2时遇到的stdlib.h缺失错误 您在 Ubuntu 20.04 上编译 OpenCV 3.2 时遇到的错误与 C 标准库的头文件配置问题有关。错误消息指出系统无法找到 <stdlib.h>&#xff0c;这通常与预编译头文件的处理、GCC 版本或者头文件搜索路径有关。下面…

Swagger自动文档工具以及gin-swagger的使用

什么是 Swagger&#xff1f; Swagger 是一个开源的 API 设计和文档工具&#xff0c;旨在帮助开发者更高效地设计、构建、记录和测试 RESTful API。它基于 OpenAPI 规范&#xff08;前身为 Swagger 规范&#xff09;&#xff0c;通过自动化的方式生成交互式 API 文档、客户端 S…

网络视频监控平台/安防监控/视频综合管理Liveweb视频汇聚平台解决方案

一、当前现状分析 当前视频资源面临以下问题&#xff1a; 1&#xff09;不同单位在视频平台建设中以所属领域为单位&#xff0c;设备品牌众多&#xff0c;存在的标准不一&#xff0c;各系统之间也没有统一标准&#xff1b; 2&#xff09;各单位视频平台建设分散、统筹性差&am…

为什么要用单例模式?

‌单例模式是一种创建型设计模式&#xff0c;用于确保某个类只有一个实例&#xff0c;并提供一个全局访问点&#xff0c;使得其他类可以轻松访问该实例‌。 使用单例模式的主要原因包括以下几点&#xff1a;‌ ‌确保唯一性‌&#xff1a;在某些情况下&#xff0c;我们需要确…

c语言——数据结构【链表:单向链表】

上篇→快速掌握C语言——数据结构【创建顺序表】多文件编译-CSDN博客 一、链表 二、单向链表 2.1 概念 2.2 单向链表的组成 2.3 单向链表节点的结构体原型 //类型重定义,表示存放的数据类型 typedef int DataType;//定义节点的结构体类型 typedef struct node {union{int l…

在Linux中使用`scp`进行远程目录文件复制

在Linux系统中&#xff0c;scp&#xff08;安全复制协议&#xff09;是一个使用SSH&#xff08;安全外壳协议&#xff09;进行文件和目录安全传输的命令。它允许在远程主机之间复制文件和目录&#xff0c;具有很强的安全性&#xff0c;是一种常用的文件传输工具。以下是如何使用…

【AI图像生成网站Golang】项目测试与优化

AI图像生成网站 目录 一、项目介绍 二、雪花算法 三、JWT认证与令牌桶算法 四、项目架构 五、图床上传与图像生成API搭建 六、项目测试与优化 六、项目测试与优化 在开发过程中&#xff0c;性能优化是保证项目可扩展性和用户体验的关键步骤。本文将详细介绍我如何使用一…

Mybatis映射关系

目录 多对一 方式一&#xff1a;一条sql语句&#xff08;级连属性映射&#xff09; 方式二&#xff1a;一条sql语句&#xff08;association&#xff09; 方式三&#xff1a;两条sql语句&#xff0c;分步查询 一对多 方式一&#xff1a;collection 方式二&#xff1a;分…

单片机:实现计数器(附带源码)

一、单片机计数器功能概述 单片机中的计数器一般是由硬件定时器模块实现的&#xff0c;计数器可以被配置为不同的模式&#xff0c;例如&#xff1a; 普通计数模式&#xff1a;计数器从零开始增加&#xff0c;直到某个最大值后清零或中断。事件计数模式&#xff1a;计数器根据…

隐私清理工具Goversoft Privazer

PrivaZer 是一款专为隐私保护而生的 Windows 系统清理工具&#xff0c;支持深度扫描、清除无用文件和隐私痕迹。 PrivaZer - 深度扫描磁盘&#xff0c;自动清理上网痕迹&#xff0c;全面保护 Windows 的网络隐私 释放磁盘空间 硬盘空间告急&#xff0c;想清理却又无从下手&…

基于Spring Boot的医院质控上报系统

一、系统背景与意义 医院质控上报系统旨在通过信息化手段&#xff0c;实现医院质量控制的标准化、流程化和自动化管理。该系统能够帮助医院实时监控医疗质量数据&#xff0c;及时发现和处理潜在的质量问题&#xff0c;从而确保医疗服务的安全性和有效性。同时&#xff0c;系统…

Java-30 深入浅出 Spring - IoC 基础 启动IoC 纯XML启动 Bean、DI注入

点一下关注吧&#xff01;&#xff01;&#xff01;非常感谢&#xff01;&#xff01;持续更新&#xff01;&#xff01;&#xff01; 大数据篇正在更新&#xff01;https://blog.csdn.net/w776341482/category_12713819.html 目前已经更新到了&#xff1a; MyBatis&#xff…