大文本导入mysql_大文本数据,导入导出到数据库

大文本数据,导入到数据库

240w的数据,利用plsql的文本导入器,导了一个半小时,且数据出现缺失。

两种方式导入到数据库

一,使用sql load

创建表

create table ext_gv_tmp_amazon_sku

(

skucode varchar2(255 char),

eancode varchar2(255 char)

)

配置控制文件

more  input.ctl

load data

infile input.txt

badfile  t.bad

discardfile t.dsc

append into table ext_gv_tmp_amazon_sku   ----导入的表

fields terminated by "|"     ---分割符

trailing nullcols      ---允许列有空值

(skucode,eancode)      ---导入的字段

导入命令

先设置导入客户端字符集,不然中文会乱码

export NLS_LANG=AMERICAN_AMERICA.UTF8

同时看看系统的字符集是否设置正确

[oracle@rac-test1 pandump]$ cat /etc/sysconfig/i18n

LANG="en_US.UTF-8"

SYSFONT="latarcyrheb-sun16"

最后导入数据

[oracle@rac-test1 pandump]$ sqlldr panhf/oracle control=input.ctl

SQL> select count(*) from ext_gv_tmp_amazon_sku;

COUNT(*)

----------

2409530

二,使用外部表

利用外部表的方式来导入数据

1,创建oracle目录,并授权给相关账号

CREATE OR REPLACE DIRECTORY pandump

AS '/oradata/pandump';

grant read,write on DIRECTORY pandump to panhf;

2,创建外部表,注意这里的字符集设置,如果不设置中文会无法读取导致数据丢失

create table ext_gv_tmp_amazon_sku

(

skucode varchar2(255 char),

eancode varchar2(255 char)

)

organization external (

type oracle_loader

default directory pandump

access parameters

(

records delimited by newline

logfile pandump:'ext_gv_tmp_amazon_sku.log'

badfile pandump:'ext_gv_tmp_amazon_sku.bad'

discardfile pandump:'ext_gv_tmp_amazon_sku.disc'

characterset 'AL32UTF8'

fields terminated by "|" lrtrim

missing field values are null

(

skucode,

eancode

)

)

location ('ext_ids_1.txt')

)

reject limit unlimited

/

3,将数据cts的方式拷贝到另外的表

select count(*) from ext_gv_tmp_amazon_sku;

COUNT(*)

----------

2409530

create table panhf.ext_gv_tmp_amazon_sku as select * from ext_gv_tmp_amazon_sku;

Table created.

三,数据导出文本

cat  exp.sql

set echo off

set feedback off

set newpage none

set verify off

set pagesize 0

set term off

set trims on

set linesize 600

set heading off

set timing off

set numwidth 40

spool /home/oracle/empInfor.txt

select  skucode||'|'||eancode  from panhf.ext_gv_tmp_amazon_sku;

spool off

执行脚本

@exp.sql

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/302933.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

仿Google+相册的动画

在使用Google的时候,查看某一相册,会经常看到,如下图所示的动画效果。 鼠标移入、移出时均有动画效果,咋一看估计是使用了css3的transform属性来实现动画效果的。 在网上搜索“Google 相册 效果”的时候发现有人使用CSS3做了这样的…

看见到洞见之引子(二)机器学习算法

《看见到洞见》系列文章汇聚、分享的是绿盟科技创新中心对于数据分析在安全领域应用的技战术思考与经验,力求由浅入深层次递进,实战到方法论双线剖析。此文为系列文章之引子第二篇,深入浅出的对常用的数据分析和机器学习的算法进行介绍。在上…

mysql pmod项目_内置函数 - 数学函数 - 《Apache Doris 文档(201812)》 - 书栈网 · BookStack...

数学函数abs(double a)功能: 返回参数的绝对值返回类型:double类型使用说明:使用该函数需要确保函数的返回值是整数。acos(double a)功能: 返回参数的反余弦值返回类型:double类型asin(double a)功能: 返回…

gcc中常用的选项

开始学习在Linux下写程序,利用gcc进行编译的时候经常需要添加一些选项,为了便于查找,将这写常用的选项整理出来。GCC常用选项 -c 通知GCC取消链接步骤,即编译源码并在最后生成目标文件; -Dmacro 定义指定的宏&am…

一图看懂 ASP.NET Core 中的服务生命周期

翻译自 Waqas Anwar 2020年11月8日的文章 《ASP.NET Core Service Lifetimes (Infographic)》 [1]ASP.NET Core 支持依赖关系注入(DI)软件设计模式,该模式允许我们注册服务、控制如何实例化这些服务并将其注入到不同的组件中。一些服务可以在…

看见到洞见之引子(一)机器学习算法

《看见到洞见》系列文章汇聚、分享的是绿盟科技创新中心对于数据分析在安全领域应用的技战术思考与经验,力求由浅入深层次递进,实战到方法论双线剖析。此文为系列文章之引子第一篇,深入浅出的对常用的数据分析和机器学习的算法进行介绍。文章…

支持向量回归代码_RDKit:基于支持向量回归(SVR)预测logP

RDKit一个用于化学信息学的python库。使用支持向量回归(SVR)来预测logP。 分子的输入结构特征是摩根指纹,输出是logP。代码示例:#导入依赖库import numpy as npfrom rdkit import Chemfrom rdkit.Chem.Crippen import MolLogPfrom rdkit import Chem, Da…

移除 ZooKeeper 的 kafka 2.8 ,更快了

这段时间招聘季,后台收到不少关于 Kafka 的问题,确实 Kafka 近两年的行情,可谓是水涨船高了。根本原因是,是 Apache Kafka 作为一款开源的消息引擎系统。凭借高可靠、高吞吐、高可用、可伸缩等优越特性,在数据采集、传…

浅议SSH协议

什么是SSH? SSH 为 Secure Shell 的缩写,由 IETF 的网络工作小组(Network Working Group)所制定;SSH 为建立在应用层和传输层基础上的安全协议。SSH 是目前较可靠,专为远程登录会话和其他网络服务提供安全性…

机器学习 vs 深度学习到底有啥区别,为什么更多人选择机器学习

机器学习和深度学习有什么区别?让我们从本文中寻找答案。目标本文中,我们将深度学习与机器学习作比较。我们将逐一了解他们。我们还会讨论他们在各个方面的不同点。除了深度学习和机器学习的比较,我们还将研究它们未来的趋势。对比介绍深度学…

dreamweaver连接mysql数据库 发生一个不知名错误_用DREAMWEAVER连接数据库测试时总是弹出发生一个不知名的错误 你好! 请问一下这个问题你是怎么解的?...

展开全部2018年05月05日 19:11:13阅读数:1 编辑如图,PHPMySQLDreamweaverCS6连接MySQL就出现不知名错误,查遍全网也没有解决办法。32313133353236313431303231363533e58685e5aeb931333365653139笔者是机械学的专业,电脑是小白&…

ASP.Net 管道模型 VS Asp.Net Core 管道 总结

1 管道模型 1 Asp.Net Web Form管道请求进入Asp.Net工作进程后,由进程创建HttpWorkRequest对象,封装此次请求有关的所有信息,然后进入HttpRuntime类进行进一步处理。HttpRuntime通过请求信息创建HttpContext上下文对象,此对象将贯…

window server2008 r2

http://www.oyksoft.com/soft/10085.html 破解http://www.microsoft.com/downloads/zh-cn/details.aspx?displaylangzh-cn&FamilyIDba571339-5436-4cf5-9c37-6ed7dab6f781转载于:https://www.cnblogs.com/blosaa/archive/2012/02/09/2343988.html

py2exe for python3_使用Py2Exe for Python3创建自己的exe程序

最近使用Python 3.5写了一个GUI小程序,于是想将该写好的程序发布成一个exe文件,供自己单独使用。至于通过安装的方式使用该程序,我没有探索,感兴趣的读者可以自己摸索。1 介绍我使用的开发环境是python3.4(实际上我是在另一个64位…

实际体验SpanT 的惊人表现

前言最近做了一个过滤代码块功能的接口。就是获取一些博客文章做文本处理,然后这些博客文章的代码块太多了,很多重复的代码关键词如果被拿过来处理,那么会对文本的特征表示已经特征选择会有很大的影响。所以需要将这些代码块的部分给过滤掉。…

北京点击科技有限公司董事长兼总裁——王志东经典语录2

11、三次去美国参加IBM大会,连上七天网的时候,我上了IBM的网站,居然找到我笔记本驱动程序有更新,这个对于我来说震动极大。 12、连了网之后我发现互联网就是窗口,我能够通过互联网能够第一时间了解到各方面的信息&…

AI人工智能资料分享来袭,还不快来!

小天从大学开始,便开启资料收集功能。近几年以AlphaGo为契机,人工智能进入新的发展阶段,再加上日常的深入研究,小天收集整理了丰富的AI学习资料,内容涵盖“深度学习资料包”,“数据挖掘资料包”&#xff0c…

qt 安装mysql_qt 安装mysql数据库

为了提升用户在云服务器上的软件安装效率,减少下载和安装软件的成本,操作系统为SUSE的用户可通过 YaST 快速安装软件。本文对此进行简要说明。SUSE 默认使用 zypper 安装软件时提示 denied 的解决办法SUSE 因为是企业级发行版,对于安全和隐私…

聊一聊Jmeter的简单使用

背景 近段时间,团队想补强测试这一块,减少重复性的一些工作,让一些内容可以自动化起来,同时对开发同学写的接口的性能也开始有所要求了。考虑到团队内没有人有测试开发的经验,所以前期的选择还是以工具为主&#xff0c…

win7录制系统声音 加入立体声混音 camtasia recorder录屏

很多时候,我们录屏的时候都并不是非得通过麦克风来说话,比如,你想跟好友分享一首歌曲的时候,那么你总不能把麦拿到喇叭那儿录制噻,那样录出来的不仅很麻烦,而且歌曲质量很差!那么怎么录制系统正…