mongodb 导入 mysql_将mongodb 数据指定字段导出,然后指定字段导入mysql 实例 及相关问题解决...

需求:将mongodb 数据指定字段导出,然后再指定字段导入mysql  表中

直接上图吧,

最后 会将遇到几个问题及解决方案贴出,以便遇到类似问题可以迅速解决(期间所用命令具体用法不在本文详解之内)

将mongodb 数据指定字段导出,所用命令Mongoexport ,具体查阅官方文档;

27748e8a3a0215adf39e624f4fc3cf4a.png

导出指定二级字段 Mongodb

/opt/mongodb/bin/mongoexport  --host yourip  --port yourport   -d app_form -c application_data  --csv  --out export2.csv  --fields   applicant.name,applicant.id_card_num,applicant.cell_phone_num,applicant.home_addr

2f330441de62f5e37c0f5f104897c246.png

2. 在mysql 机器上 rsync 传输过来,rysnc 用法就不讲了,带过rsync -chavzP --stats yourusername@yourip:/home/mongodata/export.csv   /data/mysql/

3.导入mysql,这里有两种情况,一种是导入全新的表,另一种则是导入已存在的表,但是需要指定该表具体字段

新表:

LOAD DATA INFILE '/data/mysql/export2.csv'  INTO TABLE temp_test  CHARACTER SET utf8  FIELDS TERMINATED BY ',' ENCLOSED BY '"';

老表指定字段:

LOAD DATA INFILE '/data/mysql/export2.csv'  INTO TABLE temp_test2  CHARACTER SET utf8mb4 FIELDS TERMINATED BY ',' ENCLOSED BY '"' (name,idcard,tellnumber, address);

结果验证:

13ac2694530d1ccdd9368c966e1dd4fd.png

导入成功;

4.疑难杂症1:mongo 导出时二级字段的正确导出方法

02ae6a0f60e746232220173f4fccc4ee.png

4.疑难杂症2:mysql导入时 ERROR 1366 (HY000): Incorrect string value: '\xF0\xA5\x8C\x93\xE5\x85...' for column 'address' at row 45293 解决 方法

这个问题很难解决,一般是认为utf8mb4 所导致,具体原因看下面,需要修改表的默认字符集,并以指定utf8mb4 导入;

7f86bb80c4ab7c7394c621b6c89a7d38.png

5bbd48364693824a8a7d3340357ca4d0.png

ALTER TABLE temp_test2  CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;  修改即可1

4.疑难杂症3:mongo 导入时ERROR 1262 (01000): Row 1066659 was truncated; it contained more data than there were input columns 解决方法,sql_mode 的问题,需要修改;

b47b2c82b605e7700b08e895191662d8.png

5.其他问题,比如主键重复,字段大小不满足要求,等等小问题自行琢磨解决

最后正常的结果显示:

42252e0859fcedeb683f77a1ee840409.png

百度内搜到的帖子能解决此类问题的很少,并且都不是完整的实例,这里贴出完整的整个操作实例,希望对大家有帮助;

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/530588.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

mysql外部排序_深入浅出MySQL优先队列(你一定会踩到的order by limit 问题)

0.先抛问题假设字段category无索引且有重复值,order by category 和 limit 组合使用的结果会和预期不符。问题复现:表结构(就是两个字段)CREATE TABLE ratings (id int(11) NOT NULL AUTO_INCREMENT,category int(11) DEFAULT NULL,PRIMARY KEY (id)) EN…

int signed in mysql_【转】mysql 中int类型字段unsigned和signed的区别

转自https://www.cnblogs.com/wangzhongqiu/p/6424827.html用法:mysql> CREATE TABLE t ( a INT UNSIGNED, b INT UNSIGNED )探索一:正负数问题拿tinyint字段来举例,unsigned后,字段的取值范围是0-255,而signed的范…

navicat fo mysql 教程_Navicat For MySQL的简单使用教程

1.前提是必须先安装好MySQL数据库(Mac下安装MySQL数据库见前一篇)2.安装Navicat3.点击navicate左上角:连接->MySQL->先测链接下,如果提示连接成功,就可以填写连接名,点击连接即可。双击刚创建的连接下面会有四个数据库用naV…

mysql linux32_Linux 配置 mysql 5.7.32 实操记录

下载环节官网自行获取检查环境环节1. 检测自带mysql#rpm -qa | grep mysql2.删除 “1” 找到的 所有#rpm -e --nodeps 名称3.查询所有mysql文件夹#whereis mysql#find / -name mysql删除所有结果 (rm -rf 文件路径)安装环节1. 切换路径#cd /usr/local2.拷贝mysql安装包到此目录…

mysql8.0 tar安装_CentOS7安装MySQL8.0 tar包

CentOS7安装MySQL8.0 tar包一、卸载1. 查看有没有安装mysqlrpm -qa | grep mysql删除#rpm -e --nodeps mysql-libs-5.1.71-1.el6.i686 或# for i in $(rpm -qa|grep mysql);do rpm -e $i --nodeps;done2. 使用 find / -name mysql 命令查找原有mysql的相关配置文件,…

mysql官网 ab_MySQLAB同步

MySQL 支持单向、异步复制,复制过程中一个服务器充当主服务器,而一个或多个其它服务器充当从服务器。主服务器将更新写入二进制日1 . 介绍MySQL 支持单向、异步复制,复制过程中一个服务器充当主服务器,而一个或多个其它服务器充当从服务器。主服务器将更新写入二进制日志文件,并…

jtree和mysql_java 已经获取某个mysql数据库的所有表名 创建JTree

展开全部那只e68a843231313335323631343130323136353331333335303530能创建一层的JTree ?import java.sql.Connection;import java.sql.DriverManager;import java.sql.ResultSet;import java.sql.SQLException;import java.sql.Statement;import javax.swing.JFram…

mvc json 乱码_你了解JSON吗?——Jackson、FastJson在SpringMVC中的简单使用

原文参考分享自CSDN:你了解JSON吗?--Jackson、FastJson在SpringMVC中的简单使用_欢迎来到 Baret~H 的博客-CSDN博客1. 什么是 JSONJSON(JavaScript Object Notation, JS 对象标记)是一种轻量级的数据交换格式采用完全独立于编程语…

format 函数包含_Python成为专业人士笔记-高级对象Format格式化

“专业人士笔记”系列目录:创帆云:Python成为专业人士笔记--强烈建议收藏!每日持续更新!​zhuanlan.zhihu.com在存储和转换数据输出供查看时,字符串格式可能变得非常重要。Python提供了本文概述的各种字符串格式化方法…

python 预测算法_Python 与金融数据使用机器学习算法预测交易策略

记得 关注、分享、点在看呀~ 这样您就能持续收到优质的推送啦这一期,我们将使用上一期处理好的数据特征和标签训练机器,然后预测交易策略。我们将分别使用 K近邻算法和集成学习两种方法分别完成模型的训练和预测。FinTech HistoryPython 与金…

mysql主从表结构差异_mysqldiff对比主从表结构是否一致

mysqldiff该工具是官方mysql-utilities工具集的一个脚本,可以实现主从服务器表结构是否一致。数据校验需要使用Percona的pt-table-checksum工具。安装:# tar zxvf mysql-utilities-1.5.4.tar.gz# cd mysql-utilities-1.5.4# python setup.py install使用…

mysql 存储过程插入慢_mysql存储过程太慢怎么办

mysql存储过程太慢的解决方法:首先打开my.cnf配置文件;然后添加配置【long_query_time1】;接着通过【tail -f /tmp/logs/mysqld.log】命令监控sql;最后进行针对性的优化即可。解决方法:第一步:修改/etc/my.…

mongoose换成mysql_Package - tms-koa

tms-koa基于koa的轻量级快速开发框架,包含 MVC 中的 M 和 C 两部分,适合于实现 API 服务和前后端彻底分离的应用。内置基于 access_token 的访问鉴权机制,更容易实现 API 调用的负载分担。内置通过连接池访问 MySQL 数据库,支持进…

导出远程mysql数据库中的表_shell脚本实现导出远程mysql数据库表数据至本地

bin/main.sh脚本内容 #!/bin/bash#作用:用于同步远程mysql数据库表数据至本地#作者:丁艺博source /etc/profilesource ~/.bash_profileexport LANGen_US.UTF-8export RUN_HOME$(cd "$(dirname "$0")"; echo "${PWD%/*}")s…

商业智能解决方案_格至智能开关:简单便捷的商业智能照明解决方案

美莱恩智能照明推出的格至智能调光开关,是一款便捷、可轻松实现扩展的智能照明系统。它能够节约能源,并在为各种空间工作或者学习的人们,营造最舒适的照明环境。借助美莱恩SLT单火线传输技术,在新建或者改造项目中,你将…

vue 安装 less_解决旧Vue项目升级less-loader 6.0.0报错

作为一个爱折腾的主,我的package随时都是ncu -u! 何为ncu,就是检查nodejs npm/yarn项目依赖最新版本package.json一个插件! 这不,前几天less-loader 升级了最新版,我也迫不及待升级。 升级最新版软件依赖有很多好处,总之作为一个开发者你发布新版本肯定是升级改造的工作…

php读取mysql数据无法修改时间_php设置mysql查询读取数据的超时时间

php可以设置mysql查询的超时时间估计大家不知道吧,一般都直接在mysql中进行设置了,下面我们来为各位介绍一下php设置mysql查询读取数据的超时时间吧。现象:php能通过代理正常连接到mysql。但是,执行query后,一直等待&a…

mysql无序id怎么优化limit_MYSQL分页limit速度太慢优化方法

原标题:MYSQL分页limit速度太慢优化方法在mysql中limit可以实现快速分页,但是如果数据到了几百万时我们的limit必须优化才能有效的合理的实现分页了,否则可能卡死你的服务器哦。当一个表数据有几百万的数据的时候成了问题!如 * fr…

反积分饱和 程序_用抗积分饱和PID控制传递函数为G(s)的被控对象

题目:用抗积分饱和PID控制传递函数为G(s)的被控对象G(s)523500/(s^387.35s^210470s)二、抗积分饱和原理积分饱和现象是在系统存在一个方向的偏差,PID控制器的输出由于积分作用的不断加大而加大,从而导致执行器达到极限位置,如果控…

mysql top 1效率_TOP 1比不加TOP慢的疑惑

问题描述: 有一个查询如下,去掉 TOP 1 的时候,很快就出来结果了,但加上 TOP 1 的时候,一般要 2~3 秒才出数据,何解? SELECT TOP 1 ??? A . INVNO FROM A , B WHERE A . Item B . ItemNumber…