mysql导入数据比原来多_Oracle和MySQL的数据导入,差别为什么这么大

经常会有一些朋友咨询我一些数据库的问题,我注意到一个很有意思的现象,凡是数据导入的问题,基本上都是Oracle类的,MySQL类的问题脑子里想了下竟然一次都没有。

我禁不住开始思考这个未曾注意的问题:

为什么Oracle导入数据会碰到很多的问题?

我们来梳理一下这个问题,分别从导出导入的方式来聊聊。

首先Oracle导出的文件格式就没打算让你拿来即用,导出文件叫做dump,换句话说可以理解这是一个二进制文件。当然实际上这个文件还是有很多的方式去抓取一些关键的信息,比如dump头部的信息可以通过strings来解析得到,我甚至在多年前碰到一个比较棘手的问题,DBA直接vim修改dump文件,这个操作风险和成本是比较高的。

导出有哪些工具呢,主要有exp,expdp这两个工具,expdp的导出性能相对来说可以更加充分利用系统资源,导出的效率更高。exp相对来说对于一些小表还是比较省事的,expdp的导出是基于服务端模式的,也就是你需要做一些数据库层的配置才可以,这无疑增加了一些技术门槛。

不知道大家注意到一个问题没有,那就是Oracle提供了SQL*Loader的工具导入,但是却没有一直提供一种简单有效的导出csv的工具,在导出的时候算是各路英雄汉使尽各种技艺,结合数据字典,结合文本过滤来完成。

MySQL的导出方法相对比较简单,设计思路很有意思,导出的文件就是可以直接打开,可以直接修改的SQL文件。这个设计在很多应用场景中简直绝了,对于开发同学是非常友好的。

导出工具原生的有mysqldump,新版本的是mysqlpump(总体感觉性价比不是很高),当然还有一些补充的第三方工具,比如mydumper之类的。

所以导出这件事情,对于开发同学本身是有一个门槛的,而且在隔行如隔山的情况下,很多同学使用expdp导出的时候都一头雾水。从安全性来看,这个二进制文件是原汁原味的,从灵活性来看,MySQL基于SQL文本的方式是比较便捷。

导出的部分其实不是最主要的,产生隔阂最大的是导入的部分,也是提出问题最多的。

MySQL有什么数据导入工具,可以理解没有,就是SQL文本,你想怎么执行都可以。包括工具mysqldump,mysqlpump导出的文件都是如此,mydump有个配套的myloader算是一个小小的例外。

Oracle有什么导入工具,有,而且是配套的,exp对应imp,expdp对应impdp

常见的数据导入问题有:

1)提示用户创建失败,导入失败

2)提示表空间不存在,导入失败

3)导入时如果创建的数据文件空间不足,导入失败

4)导入时的用户权限不足,导入失败

所以我要导入一个dump文件,如果是exp导出的,解析成本还算低一些。

而如果是expdp导出的,通常很多开发同学都会一脸懵逼。

1)导入要输入一个目录,什么是目录,不是系统目录吗?

2)如果数据库用户已经存在,已经存在10张表,导入的时候默认会直接忽略这10章表,除非你手工删除或者选择额外的选项,比如replace或者truncate等。

3)表空间源端和目标端环境不一致,要想知道到底有哪些表空间不一致,解析dump文件实话说不是很方便,有一个高级选项是remap_tablespaces

4)数据导入之后,业务同学发现有些表还是访问不了,不好,需要重新分配下权限。

通常来说,如果要导入一个dump,在Oracle侧其实是一件很严肃的事情,我们需要创建目录:

create directory dump_data as '/data/dump_data';

grant read,write on directory dump_data to xxxx;

配置表空间存储,有哪些表空间,哪些表空间需要映射,在数据导入之前,这些信息其实是不好提取的。我通常采用的方式是做下预导入,就是找个干净的环境,然后默认选项导入,看看哪些表空间报错,哪些用户报错,把这些信息提取出来,然后重新拼接一个导入命令。

在这个基础上我去构建相关的表空间和数据文件的细节。

对于数据文件,我不大喜欢自动扩展的方式,而是喜欢预创建出来,然后加上自动扩展。

最后就是文件导入

impdp system/xxxx directory=dump_data dumpfile=test.DMP logfile=impdp_test.log remap_tablespace=TEST_DATA1:DATA,TEST_DATA2:DATA,TEST_INDEX1:IDX,TEST_INDEX2:IDX

对于Oracle DBA来说,这应该是再正常不过的事情了,而且有很多地方要做到细致周到的多,但是这样一个过程对于一个外行来说,成本就很高了。

总是有一种感觉,Oracle就像汽车里面的宝马一样,操控性很好,提供了很多专业有效的管理方式。

而Oracle的角色通常都是百GB起,TB上下,这样的数据量管理,就得适配出各种工具特点和特性。我觉得这些工具一直在追求的是更加高效和安全,可能从这个角度理解,Oracle的维护管理模式是需要专人来完成的。

MySQL的管理方式很适合互联网这种变化快,而且数据量相对要小一些的环境。在易用性和学习门槛方便简直是做到了极致,比如你要到处一些有特色的insert语句(比如按照主键排序,显示完全列名等),都可以通过mysqldump很容易实现。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/245723.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

mysql5.7.17配置_mysql-5.7.17-winx64的安装配置

第一步:下载mysql-5.7.17-winx64解压版本:http://dev.mysql.com/downloads/mysql/第二步:解压到安装目录,如:C:\myprogram\mysql-5.7.17-winx64第三步:设置环境变量操作如下:1)右键单击我的电脑…

mysql 8核16g参数优化_问个 MySql 优化问题, 16G, 8 核服务器??

服务器配置:处理器:Xeon E3-1230 V2内存:16G DDR3 1600Mhz硬盘:1TB 企业级硬盘我现在的配置[mysqld]port xxxxsocket xxxdatadir xxxxdefault_storage_engine MyISAM#skip-external-locking#loose-skip-innodbkey_buffer_size …

mysql zero fill_mysql zerofill 的使用

mysql zerofill的使用:那这个int[M]中M是什么意义喃,在定义数值型数据类型的时候,可以在关键字括号内指定整数值(如:int(M),M的最大值为255)显示最大显示宽度,显示宽度M与数据所占用空间,数值的…

mysql第四项_mysql数据库的基本介绍与操作(第四篇-mysql索引篇)

索引概述:索引(也就是mysql中常说的键值key)是存储引擎用户快速找到记录的一种数据结构,这是索引的基本功能,索引对于良好的性能非常关键,尤其是当表中数据量越来越大的时候,索引对性能的影响就越重要,在数据量较小且负载较低时,不恰当的索引对性能的影响可能不明显,但当数据量…

openstack实例控制台显示响应时间过长_监控OpenStack的技巧

如果你以前曾在云平台上工作过,你一定熟悉这些系统的分布式和解耦性质。解耦的分布式系统依赖于微服务来执行特定的任务,每个微服务都会暴露自己的REST(表示状态转移)API。这些微服务通常以诸如RabbitMQ或QPID等消息中间件的形式通过轻量级消息层相互通信…

java8 创建list方式_Java 8 创建 Stream 的 10 种方式,我保证你受益无穷!

今天来分享下在 Java 8 中创建 Stream 的 10 种方式,我就整理了 10 种,其实还有更多,仅供大家参考学习下。 1、Stream.of 可变参数 Stream<String> stream1 = Stream.of("A", "B", "C"); System.out.println("stream1:" + st…

apache php mysql 整合_PHP+Apache+MySQL整合

整合PHPApacheMySQL非常郁闷&#xff0c;抗战到凌晨1&#xff1a;50分&#xff0c;终于胜利了。分享一下配置过程错误处理的历程&#xff0c;希望对后来人有所帮助。一、文件安装PHP下载&#xff1a;http://windows.php.net/downloads/qa/php-5.4.0alpha2-Win32-VC9-x86.zipMyS…

js map满足条件跳出循环_js.es5 map循环一大坑:循环遍历竟然出现逗号!

一、mapmap大法好作为当今程序界最好用的循环方法之一map, 在我的项目里基本替代了for循环map循环常用的一些方法/********* ES6 **********///一行代码可以省略returnarray.map( item > console.log(item))>array.map( item > {return console.log(item)})//多行代码…

logstash grok mysql_【Logstash系列】使用Redis并自定义Grok匹配

之前提到&#xff0c;用RabbitMQ作为消息队列。但是这个东西实在太过高精尖&#xff0c;不懂erlang不会调优的情况下&#xff0c;很容易挂掉——基本上我这里试验结果跑不了半小时日志传输就断了。所以改用简单易行的redis来干这个活。 之前的lib里&#xff0c;有inputs/redis.…

micropython按键控制流水灯_【micro:bit Micropython】The LED Display(1)控制像素点

使用DFrobot研发的micropython编程软件uPyCraft&#xff0c;下载固件(Firmware)和下载程序都非常方便。可以在DFrobot论坛中进行下载。uPyCraft软件运行界面官网中的micro:bit Micropython API介绍得非常详细&#xff0c;为开发人员提供了详细的文字说明和参照。micro:bit Micr…

php mysql 写法_php 类的写法

php 类的写法//Db.class.phpclass Db {private $_dblink;public $result;public function __construct($host, $user, $password, $dbname, $charset utf8) {try{if($this->_dblink mysql_connect($host, $user, $password)) {if(mysql_select_db($dbname)) {$this->qu…

python中exp_python中的exp是什么

Python exp() 函数描述exp() 函数返回 x 的指数&#xff0c;。语法import mathmath.exp(x)注意&#xff1a;exp() 是不能直接访问的&#xff0c;需导入 math 模块&#xff0c;通过静态对象调用该方法。参数x -- 数值表达式。返回值返回 x 的指数&#xff0c;。实例# -*- coding…

python干货_python 基础干货 02

list 与 tuplelist 类似 数组tuple 跟 list 一样, 只是一旦定义, 里边的内容不可以改变.这样, 上边的内容就不可以改变了."可变的" tuple, 不是说 tuple 是不可以改变的么?想内存dict 与 setdict 是 python内置字典, 其他语言中称为 map, 使用键-值(key-value)存储&…

在centOS7中装mysql_在 CentOS7 上安装 MySQL5.7

在 CentOS7 上安装 MySQL5.71 通过 SecureCRT 连接到阿里云 CentOS7 服务器&#xff1b;2 进入到目录 /usr/local/ 中&#xff1a;cd /usr/local/3 创建目录 /usr/local/tools&#xff0c;如果有则忽略&#xff1a;mkdir -p tools4 创建 /usr/local/mysql 目录&#xff0c;如果…

asp mysql insert_用asp把表单数据插入数据库的2种常用方法

用asp把表单数据插入数据库的2种常用方法&#xff1a;1.直接使用sql语句的优点:速度快,不耗资源缺点:不能传递太长的字段内容,字段比较多时不易排错.推荐有经验的编程者优先考虑.具体操作:假设表单中有以下字段:username,password,sex,age对应的,在程序中有username,password,s…

mysql min怎么用_MySQL中MIN()函数的使用教程

MySQL的MIN函数是用来找出一个记录集最小值的记录。要了解MIN函数考虑的EMPLOYEE_TBL表具有以下记录&#xff1a;mysql> SELECT * FROM employee_tbl;--------------------------------------------| id | name | work_date | daily_typing_pages |------------------------…

mysql安装目录问题_Windows下MySQL的安装目录问题

今天发现一个MySQL的问题&#xff0c;当把MySQL的文件目录安放在t字母打头的目录下时&#xff0c;比如d:/test目录&#xff0c;mysql服务就起不来了&#xff0c;报告找不到文件:D:/test/mysql>bin/mysqld-nt.exe --console090811 10:09:55 [ERROR] Cant find messagefile D:…

python pandas 行数_Python Pandas:增加最大行数

我正在处理一个大文本文件(500k行),格式如下&#xff1a;S1_A160.141,0.0093402216497486760.141,4.192618196894668E-50.11,0.014122135626540204S1_A170.188,2.3292323316081486E-60.469,0.0079287068567941380.172,3.726771730573038E-5我正在使用下面的代码返回每个系列的相…

python中rim的用法_Python并发开发简介

Python的并发程序可以使用multiprocessing库、threading库、asyncio库、concurrent.futures库以及selectors库等等协助编写&#xff1a;multiprocessing库可以创建多个进程&#xff0c;由系统协调调度各个任务&#xff1b;threading库则是创建多个线程&#xff0c;由Python解释…

大学考试分数越高学分越多吗_大学的绩点和学分有什么用?影响学生毕业吗

原标题&#xff1a;大学的绩点和学分有什么用&#xff1f;影响学生毕业吗网友一&#xff1a;读大学也要关心成绩&#xff0c;绩点和学分是两个重要指标&#xff0c;到底是什么&#xff0c;怎么计算&#xff1f;有什么用处&#xff1f;为什么很重要&#xff1f;面试官最看重哪些…