超大cvs文件导入MySQL

1 XXX.cvs 太大
   使用cvs拆分HugeCSVSplitter_jb51工具进行拆分,Line Count 设置为1,000,000
   
   注意:1 拆分后除第一个子cvs文件含有标题外,其他的子文档都不含有标题行;
             2 后一个文档的第一行为前一个文档的最后一行,所以需要删除掉;
2 使用Excel导入
   1 打开Excel;
   2 数据->自文本

3 选择简体中文(GB2312)

4 分隔符选择

5 设置列数据格式,如果超长数字串不设置,导入到Excel中使用的是科学计数法。


3 使用Excel另存为cvs文档;
    保存前,先检查下标题是否存在;然后再删掉第一行;删除原因,在上一个文档中存在;如果不存在,则不需要删除。
4 使用“记事本”另存为,修改编码格式
 
5 使用 LOAD DATA INFILE 命令导入到数据库中;使用Navicat导入向导1百万需要20多分钟
 1 打开cmd;
 2 mysql -uroot -p 登录上mysql;
 
3 切换到相应的数据库中;
use 数据库

4 执行导入
LOAD DATA INFILE 'C:/Users/XXXXX/Downloads/test/XXXXXX_20230425_16.CSV' INTO TABLE 表名 FIELDS TERMINATED BY ',' ignore 1 lines;

#ENCLOSED BY '"' cvs中包含“"”,则导入失败处理下;

LOAD DATA INFILE 'C:/Users/XXXXX/Downloads/test/XXXX_20240419_0.CSV' INTO TABLE  表名 FIELDS TERMINATED BY ','  ENCLOSED BY '"' LINES TERMINATED BY '\n' ignore 1 lines;

   注意:1 导入的目标表中的数据越多,导入速度越慢,尽量控制在1千万之内;
             2 导入的cvs字段与数据表的字段必须一一对应;
             3 cvs文件中不能包含“"”字符串

6 使用 命令SELECT * FROM information_schema.INNODB_TRX; 查看导入进度
   trx_weight 可以当做是当前的导入进度
   
   导入不成功会整体Roll Back,所以导入前一定要确保数据的正确性。
   


 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/31904.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Automa 插件

插件下载 (Version:1.18.1):https://download.csdn.net/download/code_stream/89467293视频教程1:https://www.bilibili.com/video/BV19VTueJESA/视频教程2:https://www.bilibili.com/list/36751867

小抄 20240618

1 有些人只要看到一件事有难度,内心就会觉得自己做不到,很容易放弃。 有难度和做不到,是两回事。 让你不做任何改变,银行卡凭空多出一百万,这个做不到。 让你定个十年计划,凭个人能力存到一百万&#xf…

MyBatis系列六: 映射关系多对一

动态SQL语句-更复杂的查询业务需求 官方文档基本介绍映射方式配置Mapper.xml的方式-应用实例注解的方式实现-应用实例课后练习 官方文档 文档地址: https://mybatis.org/mybatis-3/zh_CN/sqlmap-xml.html 基本介绍 ●基本介绍 1.项目中多对1的关系是一个基本的映射关系, 也可…

ITSS信息技术服务标准是什么?

ITSS运维模型规定了各级运维服务能力成熟度在管理、人员、过程、技术和资源方面应满足的要求。适用于运维服务供方建立、保持和改进运维服务能力,也适用于评价供方运维服务能力。 运维服务能力成熟度模型按运维服务组织能力建设和管理定义了逐步进化的四个等级&…

领先GPT-4o:Anthropic 推出新一代模型 Claude 3.5 Sonnet|TodayAI

Anthropic,全球领先的人工智能实验室之一,近日发布了其最新的人工智能模型——Claude 3.5 Sonnet。该模型不仅速度更快,成本更低,而且在多个关键任务上的表现超过了其前代模型 Claude 3 Opus。 更强的视觉功能与幽默感 Claude 3…

Python基础教程(二十九):operator模块

💝💝💝首先,欢迎各位来到我的博客,很高兴能够在这里和您见面!希望您在这里不仅可以有所收获,同时也能感受到一份轻松欢乐的氛围,祝你生活愉快! 💝&#x1f49…

Upload-Labs-Linux1 使用 一句话木马

解题步骤&#xff1a; 1.新建一个php文件&#xff0c;编写内容&#xff1a; <?php eval($_REQUEST[123]) ?> 2.将编写好的php文件上传&#xff0c;但是发现被阻止&#xff0c;网站只能上传图片文件。 3.解决方法&#xff1a; 将php文件改为图片文件&#xff08;例…

【代码随想录算法训练Day42】LeetCode 1049.最后一块石头的重量II、LeetCode 494.目标和、LeetCode 474.一和零

Day42 动态规划第四天 LeetCode 1049.最后一块石头的重量II dp数组的含义&#xff1a;容量为j的背包能装的物品的最大价值&#xff08;最大重量&#xff09;为dp[j]。 递推公式&#xff1a;dp[j]max(dp[j],dp[j-weight[i]]value[i]) 初始化&#xff1a;dp[0]0,dp[j]0。 遍历顺…

白嫖游戏指南,Epic喜加二:《Freshly Frosted》《Rumble Club》

前言 Epic喜加二&#xff1a;《Freshly Frosted》《Rumble Club》《Freshly Frosted》简介&#xff1a; 《Rumble Club》简介&#xff1a; 前言 接下来有时间会分享一些游戏相关可以白嫖的资源&#xff0c;包括游戏本体、游戏素材资源等等。 有需要的小伙伴可以关注这个专栏&…

IP SSL证书使用率大幅度提升

IP SSL证书的使用人数在增长&#xff0c;这一趋势背后有几个推动因素&#xff1a; 1.网络安全意识提升&#xff1a;随着网络安全事件频发&#xff0c;用户和企业对数据保护的重视程度日益增加。IP SSL证书能为基于IP地址直接访问的网站或服务提供加密&#xff0c;有助于防止数据…

等保测评练习卷5

等级保护初级测评师试题5 姓名&#xff1a; 成绩&#xff1a; 判断题&#xff08;10110分&#xff09; 启用安全增强型Linux的permissive模式&#xff0c;违反SElinux规则的行为只会被记录到日志中 (T ) p106 除管理员用户外&…

没等来百度惊艳的All in AI,却等来了国产之光的盘古大模型 5.0

6月21日&#xff0c;华为开发者大会&#xff08;HDC 2024&#xff09;在广东东莞正式开幕。盘古大模型5.0的更新&#xff0c;也是此次HDC2024的另一项重头戏。在过去的一年中&#xff0c;盘古大模型正在疯狂向各行各业渗透。 此次&#xff0c;华为方面展示了他们在具身智能、医…

七连发吴谨言专访揭秘

七连发&#xff01;吴谨言专访揭秘&#xff0c;薛芳菲魅力再升级在娱乐圈的繁星中&#xff0c;总有那么一些独特的光芒&#xff0c;她们用才华和魅力照亮前行的道路。近日&#xff0c;备受瞩目的“六公主”平台连续发布了七条关于吴谨言的专访&#xff0c;引发了广大网友的热烈…

Java正则魔法:解锁语法深处的奥秘

1. 引言 深入理解Java正则表达式的语法是提升编程效率和文本处理能力的关键。下面将详细探讨Java正则表达式的语法,并揭示其背后的奥秘。 2. 元字符与特殊字符 .:匹配除了换行符之外的任何单个字符。\d:匹配任何数字,等价于[0-9]。\D:匹配任何非数字字符。\w:匹配任何字…

Java学习笔记(一)Java内容介绍、程序举例、DOS命令、Java跨平台特性的本质、课后练习

Hi i,m JinXiang ⭐ 前言 ⭐ 本篇文章主要介绍Java内容介绍、程序举例、DOS命令、Java跨平台特性的本质还有几道课后练习详细介绍以及部分理论知识 🍉欢迎点赞 👍 收藏 ⭐留言评论 📝私信必回哟😁 🍉博主收将持续更新学习记录获,友友们有任何问题可以在评论区留言 …

【C++】平衡二叉树(AVL树)的实现

目录 一、AVL树的概念二、AVL树的实现1、AVL树的定义2. 平衡二叉树的插入2.1 按照二叉排序树的方式插入并更新平衡因子2.2 AVL树的旋转2.2.1 新节点插入较高左子树的左侧&#xff08;LL平衡旋转&#xff09;2.2.2 新节点插入较高右子树的右侧&#xff08;RR平衡旋转&#xff09…

leetcode 二分查找·系统掌握 猜数字大小

题目&#xff1a; 题解&#xff1a; 使用最经典普通二分即可 int guessNumber(int n) {long l0,rn,mid;while(l<r){mid(rl)>>1;if(guess(mid)0)return mid;else if(guess(mid)-1)rmid-1;else lmid1;}return 0;}

计算机基础学习有多重要?学哪些?如何学?

计算机基础是我们计算机生涯的开始&#xff0c;而对大学生来说&#xff0c;基础是一方面&#xff0c;更重要的是应对面试。这样说吧&#xff0c;校招&#xff1a;计算机基础占90%&#xff0c;专业知识占10%&#xff0c;社招&#xff1a;计算机基础占20%&#xff0c;专业知识占8…

华为HCIP Datacom H12-821 卷9

1.单选题 下面哪些策略工具不能够应用于 OSPF A、as-path filter B、access-list C、route policy D、prefix-list 正确答案: A 解析: ip as-path-filter命令用来创建AS路径过滤器,AS-Path属性是BGP的私有属性,所以该过滤器主要应用于BGP路由的过滤: 2.单选题

全流程FVCOM水环境、污染物迁移、水交换、水质、潮流、温盐、波浪及泥沙数值模拟

近年来&#xff0c;随着计算技术的发展和对海洋、水环境问题认识的加深&#xff0c;数值模拟技术在海洋、水环境等科学研究中的应用越来越广泛。FVCOM因其独特的优点&#xff0c;成为研究海洋动力过程、污染物扩散、水质变化等问题的重要工具。作为一种基于有限体积法的数值模型…