数据装载服务器_操作事项_06

文章目录

          • 一、数据装载前置准备
            • 1.1. 切换用户
            • 1.2. 生成文件
          • 二、手动触发
            • 2.1. 拉取文件
            • 2.2.文件数据加载
            • 2.3. 数据查询
            • 2.4. 数据查询
          • 三、定时调度
            • 3.1. 添加任务
            • 3.2. 配置频次
            • 3.3. 重新加载
            • 3.4. 总览任务列表
            • 3.5. 监控是否执行

一、数据装载前置准备
1.1. 切换用户

切换用户为oracle

su - oracle注:如果有oracle密码,可以跳过此步骤,直接登录即可
1.2. 生成文件

生成表控制文件(.ctl)

# 进入生成控制文件目录
cd /app/jiazai/sql_loadv1.0/control/# 删除以前的控制文件
rm -rf new.unl  old.unl file/# 重新生成控制文件
sh ./new.sh

数据装载分为手动触发和定时触发二种场景,接下来为小伙伴们,分开来介绍

二、手动触发
2.1. 拉取文件

先连接ODS的sftp服务器将需要装载的文件下载到本地服务器,然后,执行数据清除,将临时B表中的数据删除

#拉取sftp文件到本地应用

# 进入到根目录
cd /app/jiazai/sql_loadv1.0/# 执行加载指定日期的文件
# 格式:sh load.sh 加载数据文件日期文件夹
sh load.sh 20201027
2.2.文件数据加载

将下载下来的文件进行解析并加载到Oracle数据库

流程:
数据文件解析–>Oracle 临时表–>目标表
说明:首先将文件中的数据解析加载到数据库的临时表中,然后,调用存储过程,将临时B表中的数据同步到目标表中

# 进入下载的日期文件夹下面
cd /app/jiazai/sql_loadv1.0/loaded/20201027/# 执行加载处理
sh run_sqlldr.sh注:加载完成后,会显示 load success !
2.3. 数据查询

数据库查询临时表

SELECT * FROM XXX临时一套表
2.4. 数据查询

去数据库查询目标表

SELECT * FROM XXX目标一套表
三、定时调度
3.1. 添加任务

编辑定时文件

crontab -e
3.2. 配置频次

配置执行频次
在/app/jiazai/sql_loadv1.0/目录下面有个总控脚本:xxxloadupgrade.sh

*/30 * * * *  /bin/sh /app/jiazai/sql_loadv1.0/xxxloadupgrade.sh保存,退出
3.3. 重新加载

重新加载cron服务

/sbin/service crond restart
3.4. 总览任务列表

查看当前用户下的定时任务列表

crontab -l
3.5. 监控是否执行

1》可以借助根据日志查看
2》可以借助plsql工具查询

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/518484.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Java-分析类初始化

public class Test06 {static {System.out.println("Main类被加载");}public static void main(String[] args) throws ClassNotFoundException {// 1. 主动引用 // Son son new Son();/* 结果Main类被加载父类被加载子类被加载*/// 反射也会产生主动引用 //…

阿里云人脸识别公测使用说明

概述 之前阿里云人脸识别只提供人脸检测,人脸属性及人脸对比三个API接口,关于这方面的介绍及使用细节,可以参考阿里云人脸识别使用流程简介,之前使用的服务地址为:dtplus-cn-shanghai.data.aliyuncs.com。目前新版本加…

Flowable 数据库表结构 ACT_ID_USER

用户信息表( act_id_user ) 字段名称字段描述数据类型主键为空取值说明ID_ID_nvarchar(64)√主键IDREV_乐观锁int√乐观锁VersionFIRST_姓nvarchar(255)√LAST_名nvarchar(255)√EMAIL_EMAIL_nvarchar(255)√PWD_密码nvarchar(255)√PICTURE_ID_图片IDnvarchar(64)√

安卓应用开发顶级框架大盘点,总有一款适合你

作者 | Slava Vaniukov译者 | 苏本如,责编 | 夕颜封图 | CSDN下载自视觉中国出品 | CSDN(ID:CSDNnews)随着软件开发向移动应用的转变,越来越多的企业意识到,移动应用程序对于企业和客户之间建立牢固的联系至关重要。这…

蚂蚁金服王旭:开源的意义是把社区往前推进一步

互联网技术发展速度之快是所有从业者甚至非从业者都能感受到的。尤记得在世纪之交时,那时候互联网刚刚在中国开始向民用普及,不说支撑大规模的网站访问量的相关技术,就连 Linux、负载均衡甚至都没有被普遍使用。而在二十年之后,云…

Java-类加载器-类运行时结构-。。。。

https://www.bilibili.com/video/BV1p4411P7V3?p16 获取注解信息 https://www.bilibili.com/video/BV1p4411P7V3?p11 https://www.bilibili.com/video/BV1p4411P7V3?p12 https://www.bilibili.com/video/BV1p4411P7V3?p13 https://www.bilibili.com/video/BV1p4411P7V3?p1…

Flowable 数据库表结构 ACT_ID_MEMBERSHIP

用户与分组对应信息表( act_id_membership ) 用来保存用户的分组信息。 字段名称字段描述数据类型主键为空取值说明USER_ID用户IDnvarchar(64)√用户idGROUP_ID用户组IDnvarchar(64)√用户组id

【从入门到放弃-Java】并发编程-NIO-Buffer

前言 上篇【从入门到放弃-Java】并发编程-NIO-Channel中我们学习到channel是双向通道,数据通过channel在实体(文件、socket)和缓冲区(buffer)中可以双向传输。 本文我们就来学习下buffer 简介 buffer即缓冲区&…

腾讯云成立星星海实验室,聚焦云原生服务器硬件研发

近日腾讯云宣布成立“星星海实验室”,这是腾讯历史上首个硬件工程实验室,也是腾讯云面向产业互联网加速技术自研的重要战略。 星星海取名自青海省果洛藏族自治州玛多星星海,以水为名,寓意灵动与智慧。据了解,星星海实…

Flowable 数据库表结构 ACT_ID_INFO

二进制数据表,存储通用的流程定义和流程资源。(act_ge_bytearray) 字段名称字段描述数据类型主键为空取值说明ID_ID_nvarchar(64)√ID_ID_ID_nvarchar(64)√主键IDREV_乐观锁int√乐观锁VersionUSER_ID_用户IDnvarchar(64)√TYPE_类型nvarcha…

html-网页基本信息

<!-- DOCTYPE: 告诉浏览器&#xff0c;我们要使用什么规范--> <!DOCTYPE html> <html lang"en"> <!-- head 标签代表网页头部 --> <head><!-- meta描述性标签&#xff0c;他用来描述网站的一些信息 --><!-- meat 一般用来…

【从入门到放弃-Java】并发编程-NIO-Channel

前言 上篇[【从入门到放弃-Java】并发编程-NIO使用]()简单介绍了nio的基础使用&#xff0c;本篇将深入源码分析nio中channel的实现。 简介 channel即通道&#xff0c;可以用来读、写数据&#xff0c;它是全双工的可以同时用来读写操作。这也是它与stream流的最大区别。 cha…

【IPF2020】浪潮集团执行总裁、首席科学家王恩东:智慧计算、源动新基建

CSDN记者于前方报道 众所周知计算力就是生产力&#xff0c;智慧计算改造升级了生产力三要素并最终驱动了人类社会的转型升级。具体来说&#xff0c;智慧计算将劳动者由人变成了人与人工智能的结合体&#xff0c;以此可以顺利实现指数级增长&#xff0c;将数据变成一种创新生产…

使用Spark Streaming SQL基于时间窗口进行数据统计

1.背景介绍 流式计算一个很常见的场景是基于事件时间进行处理&#xff0c;常用于检测、监控、根据时间进行统计等系统中。比如埋点日志中每条日志记录了埋点处操作的时间&#xff0c;或者业务系统中记录了用户操作时间&#xff0c;用于统计各种操作处理的频率等&#xff0c;或…

html-网页基本标签

<!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><title>基本标签学习</title> </head> <body><!-- 标题标签 --> <h1>一级标签</h1> <h2>二级标签</h2> <…

阿里AI再出神器,“你是什么垃圾”一拍便知

“干垃圾&#xff0c;还是湿垃圾&#xff1f;你是什么垃圾&#xff1f;” 相信魔都的小伙伴已经要被垃圾分类逼疯了&#xff0c;还要面临垃圾桶前&#xff0c;志愿者们的灵魂一问&#xff1a;“你是什么垃圾&#xff1f;” 更糟糕的是&#xff0c;垃圾分类&#xff0c;还要“…

Flowable 数据库表结构 ACT_ID_GROUP

用户组信息表( act_id_group ) 字段名称字段描述数据类型主键为空取值说明ID_ID_nvarchar(64)√ID_ID_ID_nvarchar(64)√主键IDREV_乐观锁int√乐观锁VersionNAME_名称nvarchar(255)√组名称TYPE_类型nvarchar(255)√类型

【IPF2020】浪潮集团高级副总裁彭震:智算中心 筑基智慧世界

【快讯】浪潮关注智算中心&#xff0c;据浪潮集团高级副总裁彭震来看主要归结为几个主要问题&#xff0c;分别是算力、数据以及互联。此外针对智算中心的分析往往不仅仅是一个中心的单一要素&#xff0c;更多是很多中心之间彼此互联的关系&#xff0c;如何解决多元融合的问题才…

数据湖正在成为新的数据仓库

像公有云数据湖和 Delta Lake 这样的平台指出了一个中央数据枢纽的趋势&#xff0c;用来支持决策和AI驱动的自动化决策。 数据仓库是否再次加入这股浪潮呢&#xff0c;或者会逐渐消亡&#xff1f; 如果你不清楚这个问题的答案也很正常。数据仓库在一方面目前仍处于热门阶段。…

html-图像标签

<!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><title>图像标签学习</title> </head> <body> <!-- img学习 src: 图片地址 必填相对地址&#xff08;推荐&#xff09; &#xff0c; …