Azure databricks spark overwrite 全量更新的时候容易碰到的问题

原因:Azure databricks spark overwrite 全量ADS层表更新的时候容易碰到的问题正在写入结果有服务请求这个表的数据那如何避免呢?
1、 databricks spark overwrite 到的的时候会先TRUNCATE TABLE 然后再写入,就会碰到查询是空的情况,解决办法是用存储过程解决先写入_bak表,再通过存储过程改表名的方式完成替换。以下是核心代码
注意是用 pymysql 执行
CALL DDL的在mysql的存储需要自己写哈

from pymysql import *# 删除的操作
def ddl_mysql(ddlsql,database):if ddlsql is None or len(ddlsql)==0:return '参数deleteQuery异常!'jdbcUsername = ****jdbcPassword = ****#创建数据库的连接conn=connect(host='123456—_mysql.cn',user=jdbcUsername,password=jdbcPassword,database=database,charset='utf8')#创建一个游标对象 可以利用这个对象进行数据库的操作try:cur=conn.cursor()cur.execute(ddlsql)# 提交事物conn.commit()#res=cur.fetchall()print(ddlsql + ' is success!')#print('sucess')except Exception as ex:print(ex)finally:cur.close()conn.close()

下面是调用

# 开始执行用到的
Mydf = df
Mytable = "tab_produce"  # 生产的表名
Myschema = "produce_db"
Mytablebak = Mytable + '_bak'  # 先写入print(' --执行存入mysql时间:' + str(datetime.datetime.now()) + ' 表为:' + Myschema + '.' + Mytablebak)
save_to_mysql_overwrite(Mydf,Myschema,Mytablebak)
print(' --在mysql上存储完成时间:' + str(datetime.datetime.now()) + ' 表为:' + Myschema + '.' + Mytablebak)
# 去call你mysql的存储过程
ddl_sql = "call xxxxx('{0}','{1}','{2}')".format(Myschema,Mytable,Mytablebak)
print(' --在mysql上执行过程开始时间:' + str(datetime.datetime.now()))
ddl_mysql(ddl_sql,Myschema)
print(' --在mysql上执行过程完成时间:' + str(datetime.datetime.now()) + ' 存入表为:' + Myschema + '.' + Mytable)
print(str(datetime.datetime.now()) + "数据写入xx表:" + Myschema + "." + Mytable +" 完成! ")

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/764270.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Prompt进阶系列4:LangGPT(构建高性能Prompt实践指南)--结构化Prompt

Prompt进阶系列4:LangGPT(构建高性能Prompt实践指南)–结构化Prompt 1.结构化 Prompt简介 结构化的思想很普遍,结构化内容也很普遍,我们日常写作的文章,看到的书籍都在使用标题、子标题、段落、句子等语法结构。结构化 Prompt 的思想通俗点…

从零开始学Spring Boot系列-集成Kafka

Kafka简介 Apache Kafka是一个开源的分布式流处理平台,由LinkedIn公司开发和维护,后来捐赠给了Apache软件基金会。Kafka主要用于构建实时数据管道和流应用。它类似于一个分布式、高吞吐量的发布-订阅消息系统,可以处理消费者网站的所有动作流…

[音视频学习笔记]七、自制音视频播放器Part2 - VS + Qt +FFmpeg 写一个简单的视频播放器

前言 话不多说,重走霄骅登神路 前一篇文章 [音视频学习笔记]六、自制音视频播放器Part1 -新版本ffmpeg,Qt VS2022,都什么年代了还在写传统播放器? 本文相关代码仓库: MediaPlay-FFmpeg - Public 转载雷神的两个流程…

常用的IDE推荐

程序员在选择集成开发环境(IDE)时,会考虑多种因素,包括易用性、功能丰富性、性能以及是否支持他们正在使用的编程语言。以下是一些建议的IDE及其优点: 1.JetBrains PyCharm:专为Python开发而设计的IDE。 优…

Flutter动画(一)Ticker、Animate 原理

在任何系统的UI框架中,动画原理都是类似的,即:在一段时间内,快速地多次改变UI外观;由于人眼会产生视觉暂留,所以最终看到的就是一个“连续”的动画。 Flutter中对动画进行了抽象,主要涉及 Anim…

ubuntu生成 设置 core文件

ubuntu生成&设置core文件,调试段错误_ubuntu生成core文件-CSDN博客 ubuntu设置core文件_ubuntu core文件默认位置-CSDN博客 ulimit -a sudo vim /etc/profile #或者 vi ~/.bashrc ulimit -c unlimited #添加, 退出source /etc/profile sudo…

100个python代码(三)

列表排序: pythonCopy code my_list [3, 1, 4, 1, 5, 9, 2] my_list.sort() 生成器表达式: pythonCopy code gen_exp (x**2 for x in range(10)) for x in gen_exp: print(x) 字典推导式: pythonCopy code square_dict {x: x**2 for x in range(5)} 集合推导式: p…

后端前行Vue之路(一):初识Vue

1.Vue是什么 Vue (读音 /vjuː/,类似于 view) 是一套用于构建用户界面的渐进式框架。与其它大型框架不同的是,Vue 被设计为可以自底向上逐层应用。Vue 的核心库只关注视图层,不仅易于上手,还便于与第三方库或既有项目整合。另一方…

Redis系列学习文章分享---第十四篇(Redis多级缓存--封装Http请求+向tomcat发送http请求+根据商品id对tomcat集群负载均衡)

目录 Redis的实战篇-多级缓存1-多级缓存-怎么封装Http请求工具?示例代码 2-多级缓存-怎么向tomcat发送http请求?示例代码 3-多级缓存-怎么根据商品id对tomcat集群负载均衡?4-多级缓存-Redis缓存预热怎么做?示例代码 5-多级缓存-怎…

智能教育系统中大模型的应用及其对学习效果的影响

1. 背景介绍 随着人工智能技术的飞速发展,大模型在各个领域都取得了显著的成果。在教育领域,智能教育系统中的大模型应用也日益受到关注。本文将探讨智能教育系统中大模型的应用及其对学习效果的影响。 2. 核心概念与联系 2.1 智能教育系统 智能教育…

如何用pytorch调用预训练Swin Transformer中的一个Swin block模块

1,首先,我们需要知道的是,想要调用预训练的Swin Transformer模型,必须要安装pytorch2,因为pytorch1对应的torchvision中不包含Swin Transformer。 2,pytorch2调用预训练模型时,不建议使用pretr…

【python】python3基础

文章目录 一、安装pycharm 二、输入输出输出 print()文件输出:格式化输出: 输入input注释 三、编码规范四、变量保留字变量 五、数据类型数字类型整数浮点数复数 字符串类型布尔类型序列结构序列属性列表list ,有序多维列表列表推导式 元组tu…

std::thread使用及实现原理精讲(全)

C进阶专栏:http://t.csdnimg.cn/HGkeZ 相关系列文章: std::thread使用及实现原理精讲(全) 有了std::thread,为什么还需要引入std::jthread? 目录 1.windows创建线程 2.linux创建线程 3._beginthread小融合 4.CreateThread与_…

基于python+vue网络相册设计与实现flask-django-nodejs-php

网络相册设计与实现的目的是让使用者可以更方便的将人、设备和场景更立体的连接在一起。能让用户以更科幻的方式使用产品,体验高科技时代带给人们的方便,同时也能让用户体会到与以往常规产品不同的体验风格。 与安卓,iOS相比较起来&#xff0…

构造函数(原型和原型链)

原型和原型链 今日目标:原型和原型链是高频面试题 1.原型 2.原型链 要求:清晰的说出来原型和原型链的概念和特性。并能手绘原型和原型链图 3.swiper轮播图插件的使用 00-回顾 # 面向过程: 概念: 根据流程步骤一步步实现特定…

CentOS/RHEL 6.5 上 NFS mount 挂起kernel bug

我本身有四台机器做WAS集群,挂载nfs,其中随机一台客户端计算机端口关闭释放将进入不良状态,对 NFSv4 挂载的任何访问都将挂起(例如“ls,cd 或者df均挂起”)。这意味着没有人并且所有需要访问共享的用户进程…

久菜盒子|留学|推荐信|专业课老师|结构抗震设计

在众多学生当中,10这名学生给我留下了更深的印象,她对学习的认真态度、一丝不苟的精神,都让我感受到她的与众不同。因此,作为我校土木工程学院的前院长,我对于 10 申请贵校表示支持并毫无保留的推荐这位学生。 在结构抗…

深度学习图像处理02:Tensor数据类型

上一讲深度学习图像处理01:图像的本质,我们了解到图像处理的本质是对矩阵的操作。这一讲,我们讲介绍深度学习图像处理的基本数据类型:Tensor类型。 在深度学习领域,Tensor是一种核心的数据结构,用于表示和…

复旦大学MBA:iLab项目探寻科技创新 助力企业出海

2024年2月底,新一轮复旦MBA iLab商业咨询项目(以下简称iLab项目)正式拉开序幕。      科创大时代,如何于变局中创新突破、绘就商业“蓝图”?怎样把握ESG投资机遇,创造可持续发展的未来?如何…

图论07-被包围的区域(Java)

7.被包围的区域 题目描述 给你一个 m x n 的矩阵 board ,由若干字符 X 和 O ,找到所有被 X 围绕的区域,并将这些区域里所有的 O 用 X 填充。 示例 1: 输入:board [["X","X","X",&qu…