python批量跑plsql_python实现自动化报表(Oracle/plsql/Excel/多线程)

# -*- coding: utf-8 -*-

# Create time: 2019-10-16

# Update time: 2019-11-28

# Version: 1.0

# Version: 2.0 增加多线程/出错自动重新运行模块

# 导入模块

import cx_Oracle

import os

import pandas as pd

import pandas.io.sql as sql

import time

import openpyxl

import xlwings as xw

import logging

import re

import threading

# 获取工作目录

sqlpath = os.getcwd() + '\\'  # 获取当前文件夹目录,若不正确则使用后面的代码直接输入 sqlpath = 'E:\\'

# 设置运行日志

logging.basicConfig(format='%(asctime)s - %(pathname)s] - %(levelname)s: %(message)s', level=logging.INFO, filename=sqlpath+'log.txt')

# 获取系统日期(用于命名文件)

time_start=time.time()

date = time.strftime("%Y%m%d")

# 定义变量

name = '经营日报' # 模版名称

print('开始运行: %s' %name)

# sql代码文件名

sql1 = sqlpath + 'hangxian_ri.sql'

sql2 = sqlpath + 'hangxian_zhou.sql'

sql3 = sqlpath + 'hangxian_yue.sql'

# 定义空DataFrame(函数中要使用,必须要先定义)

result1 = pd.DataFrame()

result2 = pd.DataFrame()

result3 = pd.DataFrame()

# 定义可以读取运行sql的函数

def read_run_write1(sql_name):

global result1 # 调用全局变量result1,使用global才能对全局变量进行修改

print('正在运行代码: %s' %sql_name)

with open(sql_name,encoding='utf-8-sig',mode='r') as f: # 读取oracle代码,中文编码utf-8-sig,

sql_list = f.read()

sql_list = re.sub(r'--.*', '', sql_list) # 去除注释

connection = cx_Oracle.connect('账号/密码@IP地址/数据库名称')

code = sql_list.replace('\n', ' ').replace(';','') # 将换行符转为空格,去除分号

for i in range(5): # 运行oracle代码,若运行失败则10秒自动重新运行

try:

result1 = sql.read_sql(code, connection) # 利用pd包的read_sql函数运行代码,返回DataFrame类型的结果

break # 代码运行成功则跳出循环

except:

print('代码%s运行出错,正在重新运行第%d次' %(sql_name,(i+1)))

time.sleep(10) # 代码运行失败则10秒后再重新运行

print('代码运行完成: %s' %sql_name)

def read_run_write2(sql_name):

global result2

print('正在运行代码: %s' %sql_name)

with open(sql_name,encoding='utf-8-sig',mode='r') as f:

sql_list = f.read()

sql_list = re.sub(r'--.*', '', sql_list) # 去除注释

connection = cx_Oracle.connect('账号/密码@IP地址/数据库名称')

code = sql_list.replace('\n', ' ').replace(';','') # 将换行符转为空格,去除分号

for i in range(5):

try:

result2 = sql.read_sql(code, connection)

break

except:

print('代码%s运行出错,正在重新运行第%d次' %(sql_name,(i+1)))

time.sleep(10)

print('代码运行完成: %s' % sql_name)

def read_run_write3(sql_name):

global result3

print('正在运行代码: %s' %sql_name)

with open(sql_name,encoding='utf-8-sig',mode='r') as f:

sql_list = f.read()

sql_list = re.sub(r'--.*', '', sql_list) # 去除注释

connection = cx_Oracle.connect('账号/密码@IP地址/数据库名称')

code = sql_list.replace('\n', ' ').replace(';','') # 将换行符转为空格,去除分号

for i in range(5):

try:

result3 = sql.read_sql(code, connection)

break

except:

print('代码%s运行出错,正在重新运行第%d次' %(sql_name,(i+1)))

time.sleep(10)

print('代码运行完成: %s' % sql_name)

# 多线程运行sql代码

if __name__ == '__main__':

t1 = threading.Thread(target=read_run_write1, args=(sql1,)) # 调用函数,并传递参数sql1,注意当只有一个参数时,参数后面需要有逗号

t2 = threading.Thread(target=read_run_write2, args=(sql2,))

t3 = threading.Thread(target=read_run_write3, args=(sql3,))

t1.start() # 开始运行

t2.start()

t3.start()

t1.join() # 加入线程,若无join()则运行完一个主线程后则会自动跳出,运行下面的代码,而不会等待其他线程运行完成

t2.join()

t3.join()

# 写入数据

print('正在写入数据')

app = xw.App(visible=False,add_book=False) # visible=False后台打开Excel程序

wb = app.books.open(sqlpath+name+'.xlsx') # 打开给定只保留标题和公式的空模版

wb.sheets['单日'].range('A4').options(expand='table').value=result1[:].values # result[:].values写法可以去掉索引和标题,将result1写入到表格'单日',从A4单元格开始

wb.sheets['滚动一周'].range('A4').options(expand='table').value=result2[:].values

wb.sheets['月累计'].range('A4').options(expand='table').value=result3[:].values

filename = sqlpath+name+date+'.xlsx' # 命名新生成的excel

wb.save(filename) # 另存为新Excel,不改变模版

wb.close() # 关闭工作簿

print(filename+'已自动生成')

time_end=time.time()

print("程序运行时间:%.2f s" % (time_end-time_start))

logging.info("程序运行时间:%.2f s" % (time_end-time_start)) # 记录程序运行时间到运行日志log.txt中

python自动化中的一些难点

多线程无法同时对excel进行写入操作,如果直接在函数中运行完成后直接写入,并利用多线程运行,会报错com模块冲突

为了解决函数不能直接生成结果变量的问题, 应先定义空DataFrame,并在函数中global声明为调用全局变量才能达到运行完函数生成变量的效果(可能还有其他更好方法)

3ee58fd565d48edb2d6fab7d71e455c7.png

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/534627.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

mysql 配置邮件_SQL 邮件配置篇

exec sp_configure show advanced options,1RECONFIGURE WITHOVERRIDEgoexec sp_configure database mail xps,1RECONFIGURE WITHOVERRIDEgo--2.创建邮件帐户信息EXECmsdb..Sysmail_add_account_spACCOUNT_NAME OCTMamiETL,--邮件帐户名称EMAIL_ADDRESS OCTMamiETL163.com,--发…

python 抽奖 配音乐_抖音上超好听的神曲音乐,Python教你一次性下载

不知道什么时候开始,中国出现了南抖音、北快手的互文格局(东市买骏马,西市买鞍鞯…)。刚才提到了,之前比较喜欢刷抖音,对于我这种佛系程序猿,看网上这些整容妹子基本一个样。喜欢抖音主要是两个初衷,学做菜…

mysql批量写入100万数据_Mysql数据库实践操作之————批量插入数据(100万级别的数据)-阿里云开发者社区...

第一种方法:使用insert into 插入从Redis每次获取100条数据,根据条件去插入到Mysql数据库中:条件:如果当前队列中的值大于1000条,则会自动的条用该方法,该方法每次获取从队列的头部每次获取100掉数据插入到…

mysql多客户端数据不同步_一种多终端设备上的数据同步方法

一种多终端设备上的数据同步方法【技术领域】[0001] 属于移动通信技术领域,特别是涉及基于离网环境下多种移动终端设备之间的数 据同步的方法。 技术背景[0002] 90年代未,数据同步始于有线连接,如MAC机作为数据中心,与终端设备(iP…

oem监控mysql_OEM12c 安装配置MySQL Plug-in用来监控MySQL

Plug-in--注册信息[roottest agent]# /oem/emcli setup -urlhttps://omsdb.localdomain:7301/em -usernamesysmanOracle Enterprise Manager 12c 3.Copyright (c) 1996, 2013 Oracle Corporation and/or its affiliates. All rights reserved.The configuration directory &quo…

怎么利用迭代器写入mysql_range()是什么?为什么不生产迭代器?

本篇文章给大家带来的内容是关于range()是什么?为什么不生产迭代器?有一定的参考价值,有需要的朋友可以参考一下,希望对你有所帮助。迭代器是 23 种设计模式中最常用的一种(之一),在 Python 中随处可见它的身影&#x…

java 流式_Java开发笔记(七十二)Java8新增的流式处理

通过前面几篇文章的学习,大家应能掌握几种容器类型的常见用法,对于简单的增删改和遍历操作,各容器实例都提供了相应的处理方法,对于实际开发中频繁使用的清单List,还能利用Arrays工具的asList方法给清单对象做初始化赋…

java保留二位小数_java使double保留两位小数的多方法 java保留两位小数

复制代码代码如下:mport java.text.DecimalFormat;DecimalFormat df new DecimalFormat("######0.00");double d1 3.23456double d2 0.0;double d3 2.0;df.format(d1);df.format(d2);df.format(d3);3个结果分别为:复制代码代码如下:3.230.002.00java保留两位…

linux java jar打包_【Java】Java程序打包成jar包在Linux上运行

当需要把在Windows上开发的Java程序用在Linux上运行时,就需要吧该Java程序打包成jar包上传到Linux上去运行。1.Java程序用MyEclipse打包成可运行的jar包(1)在MyEclipse中选中需要打包的项目,点击右键,选择:Export... 如下图所示&a…

java匿名对象 回收_Java 匿名对象

我们知道一般实例化一个对象的格式,如下:Car car new Car();其中,变量名 car 就是 new Car() 这个对象的名字。car 是引用类型的变量,它的值存放的是对象的引用(或地址),通过 car 这个变量我们就可以间接使用对象。那…

java int 正则表达式_java正则表达式

Java正则表达式正则表达式定义了字符串的模式。正则表达式可以用来搜索、编辑或处理文本。正则表达式并不仅限于某一种语言,但是在每种语言中有细微的差别。Java正则表达式和Perl的是最为相似的。java.util.regex包主要包括以下三个类:Pattern类&#xf…

mysql.h 动态编译命令_Linux环境编译动态库和静态库总结

对Linux环境动态库和静态库的一些基础知识做一些总结,首先总结静态库的编译步骤。1 先基于.cpp或者.c文件生成对应的.o文件2将几个.o文件 使用ar -cr命令 生成libname.a文件libname.a 为静态库, name 为静态库的名字,可以根据模块功能命名。举…

netbeans java中文_Ubuntu 下jdk安装中文字体 java 解决netbeans 方块字 中文乱码

安装环境Ubuntu 11.04、javajdk1.6.0_27首先找到你需要的字体,比如我就是从windows系统里拷出来的,C:\WINDOWS\Fonts这里有很多字体,我只拷贝了simsun.ttc(中文 宋体,从xp系统拷贝的,win7 下没有这个文件)安装java后&a…

python 教学_「Python基础」一次就装好Python手把手装到好

一、前言:安装Python有两个主要的方法,视情况而定我两个都会用:(1)安装 AnacondaAnaconda像一个懒人包,安装它等于把Python安装好连同把Python大部分的套件也下载好了,不只如此连通较常用的Python IDE一同帮你装到好。…

java求二维数组每行的最大值_用JAVA输入一个二维数组a[3][4]的元素值,求输出其元素最大值...

展开全部这个简单啊,把所有元素遍历一边62616964757a686964616fe58685e5aeb931333335343963代码:import java.util.Scanner;public class Help2 {public static void main(String[] args) {Scanner inputnew Scanner(System.in);System.out.print("…

java redis 面试题_Java开发人员怎么面试 常见Redis面试题有哪些

Java开发人员怎么面试?常见Redis面试题有哪些?Redis是目前各大企业都在使用的人们技术,也是企业选拔人才时考核的一个难题。有很多同学只是简单了解Redis的应用,但对于为什么要用Redis以及企业面试中有关Redis的问题却答不上来。接…

java方法重载实事例_零基础java入门教程函数重载function实例化格式案例

java函数的重载,说白了就是函数块函数名一样,但函数类型和参数类型和参数列表个数不同重载之和参数列表有关系,与返回值无关java函数重载函数重载铺垫如下图函数重载铺垫上图功能显示,功能一致所以功能一致所以用的功能函数名一致…

java 类 属性数量_跟我学java编程—Java类的属性与成员变量

在定义类时,经常需要抽象出它的属性,并定义在类的主体中。下面就来介绍与属性相关的内容。常量属性在类中定义的属性有常量属性和成员属性之分。常量属性用final关键字修饰,常量只能赋值一次,在程序中不能修改它的值。一般来说&am…

java获取界面输入数字_通过JAVA设计 GUI 界面的计算器程序,用户可以通过鼠标依次输入参加计算的数值,进行加、减、乘、...

通过JAVA设计 GUI 界面的计算器程序,用户可以通过鼠标依次输入参加计算的数值,进行加、减、乘、2016-08-22 0 0 0 4.0分其他1积分下载如何获取积分?通过JAVA设计 GUI 界面的计算器程序,用户可以通过鼠标依次输入参加计算的数值&am…

java自定义错误码类_如何编写和应用Java的自定义异常类

11.7.1编写自定义异常类的模式编写自定义异常类实际上是继承一个API标准异常类,用新定义的异常处理信息覆盖原有信息的过程。常用的编写自定义异常类的模式如下:public class CustomException extends Exception {//或者继承任何标准异常类public Custom…