装载服务器安装和配置_一站式解决方案

文章目录

          • 一、安装搭建篇
            • 1.1. 安装ORACLE客户端
            • 1.2. 安装LFTP
            • 1.3. 安装DBI和DBD(
            • 1.4. 将应用包导入数据加载服务器
            • 1.5. 数据库账号密码加密策略
          • 二、进阶篇
            • 2.1. 数据库操作
            • 2.2. 加载器操作
            • 2.3. 数据库连接
            • 2.4. 模型变更
            • 2.5. 装载数据到目标表
            • 2.6. 装载特殊场景
          • 三、特色场景个性化篇
            • 3.1. crontab+shell+sqlplus+oracle存储过程
            • 3.2.
          • 四、基础源码篇
          • 五、优化与技巧篇
            • 8. 装载方案

声明:只有第5条 加载程序中数据库账号密码加密策略,是在oracle server服务端操作,其他均在oracle client客户端服务器操作

一、安装搭建篇
1.1. 安装ORACLE客户端

一般由系统处同时协助安装

1.2. 安装LFTP

(企业内部)linux环境安装LFTP_02

1.3. 安装DBI和DBD(

(企业内部)linux 环境安装DBI和DBD_03

1.4. 将应用包导入数据加载服务器

将装载应用包sql_loadv1.0导入/app/jiazai路径下

/app/jiazai路径:建议采用默认,如果目录有变更请自行调整脚本的路径

1.5. 数据库账号密码加密策略

加载程序中数据库账号密码加密策略wallet_04

二、进阶篇
2.1. 数据库操作

oracle 数据库_操作事项_05

2.2. 加载器操作

数据装载服务器_操作事项_06

2.3. 数据库连接

数据装载器连接其他oracle数据库_07

2.4. 模型变更

数据加载约定表模型变更_08

2.5. 装载数据到目标表

数据装载全/存量直接装载到目标表_09

2.6. 装载特殊场景

数据装载指定一张表或者多张表直接装载到目标表_10

三、特色场景个性化篇
3.1. crontab+shell+sqlplus+oracle存储过程

linux 环境 crontab+shell+sqlplus 调用oracle 存储过程实现数据同步

3.2.

待完善

四、基础源码篇
五、优化与技巧篇

备份策略故障切换
备份策略:配置两台数据装载服务器(一台为备机)。
故障切换:如果日常装载服务器故障,需要手动启动备机程序。

8. 装载方案

装载方案
1. 装载程序定时调度
2. 将ods的数据文件下载到装载服务器中
3. 清空备份表
4. 将数据文件装载到备份表中
a) 当天装载状态可在load_z_log表中进行查看
b) 每张表的每次装载状态可在load_log表中进行查看

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/519206.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

码上用它开始Flutter混合开发——FlutterBoost

开源地址: https://github.com/alibaba/flutter_boost为什么需要混合方案 具有一定规模的App通常有一套成熟通用的基础库,尤其是阿里系App,一般需要依赖很多体系内的基础库。那么使用Flutter重新从头开发App的成本和风险都较高。所以在Native App进行渐…

Linux系统常用指令总结

来源 | CSDN 博客作者 | 不撸代码闲得慌,责编 | Carol出品 | CSDN云计算(ID:CSDNcloud)系统的运行级别0:关机1:单用户模式(可以找回丢失的密码)2:多用户状态没有网络服务…

在php中调用java接口吗,php 调用 java 接口

php 需要开启 curl模块/** HTTP 请求函数封装*/function http_request_cloudzone($url, $data){//var_dump($url."test");if(!$url){return "";}$ch curl_init ();curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, FALSE); //禁用证书curl_setopt($ch, CURLOPT_…

像数据科学家一样思考:12步指南(下)

第三阶段-完成 一旦产品构建完成,你仍然需要做一些事情来使项目更加成功并使你的未来生活更轻松。那么我们如何完成数据科学项目呢? 10-交付产品 完成阶段的第一步是产品交付。为了创建可以交付给客户的有效产品,首先必须了解客户的观点。其…

数据加载操作手册

文章目录一、基础资料准备1.1.表名规约1.2.设计1套临时表和1套同构层表1.3.存储过程二、流程规范2.1. 生成控制文件(.ctl)2.2. 拉取ods推送的数据文件2.3. 数据加载数据同步三、手动调度3.1. 到下载的数据文件路径:3.2. 数据文件筛选3.3. 将要加载的表的备份表清空;…

基于Tablestore管理海量快递轨迹数据架构实现

快递轨迹管理 对于一个快递公司,在全国范围内有着大量的快递点、快递员、运输车辆以及仓储中心。而快递自产生后,就会在这些地点、人物之间流转。因而,一套完善的快递管理追踪系统是快递公司的重要管理工具; 用户通过平台客户端…

完了!Python黄了! 80%的程序员:痛快!你怎么看?

Python真的万能语言?在我的一个朋友看来,他坚信 Python 可以做任何事情。其实我是不服的,因为我在某网站看到有条评论:Python将要黄了!事实究竟如何?这篇文章会揭开这个黑幕,让程序员看清现实&a…

趣谈预留实例券,一文搞懂云上省钱最新玩法

ECS近期推出了预留实例券(Reserved Instances),简称RI,这东西很cool,今天我们聊聊这个。 首先这篇Blog不是文档,读完后想详细了解文档的朋友请点击 一个小故事 我来给大家讲一个故事理解云上的几种付费方…

到底什么是空指针?如何避免空指针_01

文章目录1. 场景案例2. 针对于空指针的场景,有哪些方式可以避免问题1. 场景案例 package com.gblfy;import org.springframework.beans.factory.annotation.Autowired;import javax.servlet.http.HttpServletRequest;/*** 理解什么是空指针*/ public class WhatIsn…

在 IntelliJ IDEA 中部署应用到服务器(Eclipse)

在之前的文章《在 Intellij IDEA 中部署 Java 应用到 阿里云 ECS》中讲解了如何将一个本地应用部署到阿里云 ECS 上去,有些读者反馈目前还有一些测试机器是在经典网络,甚至是在本地机房中,咨询是否可以通过 Cloud Toolkit 插件将应用部署到这…

linux所有文件打包压缩,Linux基础教程:对文件打包压缩

一、须知文件数量太多, 如果需要拷来拷去是不是很麻烦? 怎么办? 打包!文件太大,通过网络下载、传输会不会很费时间? 怎么办? 压缩!在Linux环境中,打包压缩文件的…

钉钉平台助力中国一汽疫情防控 数字化迈入新阶段

面对突如其来的疫情,中国一汽紧急应对、快速响应,携旗下一汽-大众、一汽丰田捐赠资金8100万元,并成立了疫情防控专项基金。同时,通过旗下“一汽出行”公司组织 “特别爱心车队”,在抗击疫情期间,提供安全、…

自动拆箱引发的空指针_02

文章目录1. 场景案例2. 规避自动拆箱引发的空指针的建议1. 场景案例 package com.gblfy;/*** 自动拆箱引起的空指针问题场景*/ public class Unboxingnpe {private static int add(int x, int y) {return x y;}private static boolean compare(long x, long y) {return x >…

阿里靠什么支撑 EB 级计算力?

阿里妹导读:MaxCompute 是阿里EB级计算平台,经过十年磨砺,它成为阿里巴巴集团数据中台的计算核心和阿里云大数据的基础服务。去年MaxCompute 做了哪些工作,这些工作背后的原因是什么?大数据市场进入普惠红海的新阶段&a…

linux查看网卡的驱动命令行,Linux下查看网卡驱动和版本信息

Linux下查看网卡驱动和版本信息查看网卡生产厂商和信号查看基本信息:lspci查看详细信息:lspci -vvv # 3个小写的v查看网卡信息:lspci | grep Ethernet查看网卡驱动查看网卡驱动信息:lspci -vvv # 找到网卡设备的详细信息&#xff…

为什么说流处理即未来?

本文整理自 Flink 创始公司 Ververica 联合创始人兼 CTO - Stephan Ewen 在 Flink Forward China 2018 上的演讲《Stream Processing takes on Everything》。 这个演讲主题看似比较激进:流处理解决所有问题。很多人对于 Flink 可能还停留在最初的认知,…

别再用那些已经淘汰的技术了!2020 年 9 大顶级 Java 框架出炉!!

来源 | Patricia Neil责编 | Carol出品 | CSDN云计算(ID:CSDNcloud)顶级Java框架#1:Spring顶级Java框架#2:Hibernate顶级Java框架#3:Struts顶级Java框架#4:Play顶级Java框架#5:Googl…

字符串、数组、集合在使用时出现空指针怎么办?_03

文章目录1. 寻找代码案例中出错的场景2. 案例1. 寻找代码案例中出错的场景 字符串使用equals时报空指针错误 对象数组最燃new出来了,但是如果没有初始化,一样会报空指针错误 List对象add null不报错,但是addAll 不能添加null,否则…

云原生时代来袭 下一代云数据库技术将走向何方?

全面云化的时代已经到来,面对一系列的新技术和挑战,数据库市场将面临怎样的变革?作为云服务提供商,如何帮助更多的企业级用户把握“云”潮,提供最高效、最具价值的数据库解决方案? 日前,在阿里…

linux popd 命令,Linux中的pushd推入和popd弹出命令

pushd和popd是允许您使用目录堆栈并在Linux和其他类似Unix的操作系统中更改当前工作目录的命令。尽管pushd和popd是非常强大和有用的命令,但它们却被低估并且很少使用。在本教程中,我们将向您展示如何使用pushd和popd命令导航系统的目录树。目录堆栈目录…