润乾报表分组求和_实现报表数据预先计算

报表应用中,如果数据量较大或计算过程较复杂,往往会导致报表数据源准备过慢,从而影响报表性能。这种情况下可以预先计算报表需要的数据,在呈现时直接引用,使得用户在访问报表时可以迅速地获得响应。

一、当前的手段及弊端

由于报表在访问时常常需要参数,因此显然不可能把所有参数组合对应的报表数据源都准备好,所以预先计算通常只生成中间数据,在呈现时仍然要再进行一些后续的简单计算(如过滤、分组汇总、排序等)。不过即便如此,也不太可能完全由报表工具在中间数据基础上完成所有后续运算,因此报表工具通常只能完成一些小数据量的运算。也就是说,存储的中间数据还需要有有再次计算的能力,所以一般情况下会将中间数据以中间表的形式存储在数据库中,以便在呈现时再借用数据库的计算能力。

采用中间表进行预先计算会存在以下弊端:首先,将过多的计算工作交给数据库做,无疑会加大数据库的压力,甚至反而造成性能不升反降;其次,中间表太多容易导致管理混乱,由于数据库采用非层次结构(与文件系统的树形结构不同),因此大量存在的中间表往往会增加数据库管理难度。此外,从数据库中读取较大的中间表还会出现 I/O 瓶颈,同样会导致报表性能不佳。

二、润乾报表的解决方案

润乾报表的预先计算方案(结合集算器实现)不需要使用数据库中间表,从而可以避免上述弊端。润乾报表内置的运算引擎拥有完整的计算能力,一方面可以将中间数据存放在文件中,另一方面还可以对文件进行再计算后作为报表数据源,缩短报表计算时间,提升报表性能。

这种方式看上去和使用数据库中间表类似,都需要事先计算准备数据,但也有很大的不同:第一,不会占用昂贵的数据库空间,不会增加数据库负担;第二,中间数据的组织管理基于文件系统,清晰明了;第三,数据量大时不会出现 IO 瓶颈。

润乾报表能够做到这些,得益于内置了专门用于数据计算的集算引擎。集算引擎与文件系统可实现无缝交互(读入和输出),可以读取多种文件格式,如常见的文本、Excel 等,也包括效率更高的二进制文件,从而使文件具备再计算的能力,轻松实现报表预先计算。

下面用一个例子说明润乾报表进行预先计算的步骤:

1、将需要的中间结果保存成文件

润乾报表支持常见的文本文件格式,例如可以将订单明细分组汇总后的数据直接存放在文本(orderDetail.txt)中。如果希望提高性能,润乾报表还支持更高效的二进制文件格式,比文本能快出 2-5 倍,在集算器中执行如下代码就能将文本文件转换成二进制格式文件。

file(“E:/ 订单明细.b”).export@b(file(“E:/ 订单明细.txt”.cursor())

当然,生成中间数据的过程本身也可以采用集算器实现,但非本文关注点,此处不再详述。

2、 基于中间数据文件生成报表源

润乾报表可以直接基于文件进行再次计算,从而获得报表数据源,比如下面的过滤算法。

脚本中使用的参数及其含义如下:

d71ac8692f8a178a2151c21a11cf5154.png

其中 cols 为选出列名,where 为过滤条件(参数传递时拼接成上述格式),num 为取出的记录数。

脚本内容:

f0b0a3240ba6a3baf4d26415e06af596.png

上述脚本基于文件进行过滤和分组汇总操作,其中:

A1:通过文件游标(流式处理)读入大文本数据,此处支持选择列,用户可以根据参数控制选出的数据列。

A2:按照参数进行条件过滤,结果仍然是游标。

A3:按照参数限制记录数,取出游标中的记录。

A4:为报表返回结果集。

上述脚本只处理了一个中间文件,如果需要从多个文件同时查询数据,脚本可以这样编写(以 2 个为例):

eba7cde05d2936880de7bea1a6cce6b1.png

其中中间数据文件按年份存储,每 5 年一个。如果查询 1996 到 2005 年间的数据,就需要读取 2 个文件。脚本中 A3 对两个文件的游标进行了纵向拼接,合并成一个游标,然后采用与第一个脚本相同的方式进行处理。当查询的数据范围继续扩大,需要多个文件的时候,可以通过循环的方式将多个文件游标进行纵向拼接合并。

3、设计报表

这一步包括在润乾报表中调用集算脚本,编辑报表表达式完成报表制作等等,这些是报表制作的常规动作了,不再赘述。

与一般优化方式类似,使用预先计算来提高报表性能要充分考虑使用场景。对某些计算过程容易拆分的场景特别适合使用预先计算,如大表汇总数据与其他表做连接,这时可以先将大表汇总数据预先存成文件,再与其他表做连接计算。此外,数据的实时性要求也需要充分考虑,比如在历史查询类的报表中就比较适合使用预先计算,当然润乾报表还提供了其他手段来保证数据的实时性要求。

总结一下,由于一般报表工具不具备文件计算能力,因此要实现预先计算往往要借助数据库进行;而润乾报表拥有完整的文件计算能力,可以避免数据库中间表带来的各种弊端,这一点对用户极具实用价值。

更多性能优化相关问题请查看:性能优化相关问题分类导航

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/302091.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

“鸭梨”大吗?

大家好,我是Z哥。“今天你卷了吗?”。在这个越来越内卷的时代,我想你可能时不时,甚至经常会觉得压力好大啊,那些来自生活的压力、工作的作压力、社交的压力、……来看看你有下面的这些情况不?如果有的话&am…

android复选按钮,Android的复选框的详细开发案例分析

在本教程中,我们将向您展示如何创建XML文件中的3个复选框,并论证了听者的使用检查–选中或取消选中复选框的状态。P.S这个项目是在Eclipse 3.7开发,并与Android 2.3.3测试。1。自定义字符串Open “res/values/strings.xml” file, add some u…

颠覆传统,仅银行卡大小充电宝,10000mAh可登机,手机党出门随身必备!

说到充电宝,不知道有没有人跟小木有同样的烦恼。5000毫安容量小,不够用。10000毫安容量够用,但又大又笨重,拿在手里充电超累的,还占地方!尤其是旅行出差的时候,这种感觉更加明显,权宜…

玩转Github —— Octotree Chrome插件

(为了隐私,手动马赛克)兄弟萌,好久不见。最近一直在忙着其他的事情,也一直没有公众号的更新,看到了很多小伙伴说不更新了,也是比较惭愧,还是以工作为主的!毕竟都是要恰饭…

android 获取app自启动权限状态_央视批手机App权限问题:频繁自启动 搜集个人隐私触目惊心...

近日据央视新闻报道,有网友反映自己手机上安装的App很多存在频繁自启动、访问、读取手机信息的现象。其中一款名为“优学院”的移动教学软件十多分钟读取近25000次手机照片和文件;而腾讯“TIM”一小时内尝试自启动近七千次,并不断尝试读取通讯…

女程序员怀孕7个月坚持上班敲代码

全世界只有3.14 % 的人关注了数据与算法之美在男女比例失调的程序员行业里,程序媛的工作日常是怎么的呢?程序媛遇到bug时是不是有很多程序员帮忙呢?程序媛对加班有什么看法呢?女生当程序媛好不好呢?下面一起来看看作者…

大数据的关键技术

在大数据时代,传统的数据处理方法还适用吗? 大数据环境下的数据处理需求 大数据环境下数据来源非常丰富且数据类型多样,存储和分析挖掘的数据量庞大,对数据展现的要求较高,并且很看重数据处理的高效性和可用性。 传统数…

adf盖怎么打开_罐头好吃盖难开,学会这几招,再不靠蛮力了,女生也轻松拧开...

家里储备的罐头怎么开?学会这几招,不用蛮力,女生也轻松拧开。这段时期家里肯定储备了很多罐头食品,像水果罐头、腌菜罐头、果酱、调料酱罐头等等,家里的青菜水果不足了,可以临时用罐头食品顶上几天&#xf…

在 Ubuntu 上安装 .NET SDK 或 .NET 运行时

在wsl Ubuntu 20.04上面安装dotnet链接https://docs.microsoft.com/zh-cn/dotnet/core/install/linux-ubuntuUbuntu 支持 .NET。本文介绍如何在 Ubuntu 上安装 .NET。如果 Ubuntu 版本不受支持,则该版本不再支持 .NET。如果要开发 .NET 应用,请安装 SDK&…

skype linux 安装,Ubuntu 12.04 AMD64 安装 Skype

每次安装新版总是有些问题。一个个来解决。1: sudo apt-get install ia32-libs lib32asound2 libqt4-core libqt4-gui2: wget -O skype_Ubuntu-current_amd64.deb http://www.skype.com/go/getskype-linux-beta-ubuntu-643: sudo dpkg -i sky…

在学术论文投稿时你遇到过最奇葩的审稿意见是什么?

全世界只有3.14 % 的人关注了数据与算法之美论文投稿时,总会收到点奇葩审稿意见。就连大名鼎鼎的爱因斯坦也被美国《物理评论》期刊的审稿人怼过,审稿人认为文章的内容和结论存在严重问题,附上了 10 页审稿意见。物理大佬爱因斯坦当然不干了&…

WPF Treeview第三层横向排列

WPF 第三级横向排列效果&#xff0c;左侧使用WrapPanel&#xff0c;右侧使用StackPanel,效果见下图&#xff1a;代码如下&#xff1a;Mainwindow的xaml如下:<Window x:Class"WPFDemos.MainWindow"xmlns"http://schemas.microsoft.com/winfx/2006/xaml/presen…

联想 android 5.1 root权限,联想A520手机ROOT权限图文教程(附联想A520root工具)

联想A520 ROOT教程&#xff1a;2、将手机USB调试打开;步骤&#xff1a;设置----应用程序----开发-----USB调试设置----应用程序----未知源&#xff0c;后面的勾打上就行;3、打开了USB调试和未知源之后&#xff0c;双击联想A520 ROOT.exe&#xff0c;将它安装到电脑端;安装好后打…

入门深度学习,其实并不难!

深度学习的概念源于人工神经网络的研究&#xff0c;而深度学习的过程就是使用多个处理层对数据进行高层抽象&#xff0c;得到多重非线性变换函数的过程。虽然深度学习的概念看似高大上&#xff0c;让人有种莫名的距离感&#xff0c;实际上它在日常生活中随处可见&#xff0c;比…

Python应用02 Python服务器进化

作者&#xff1a;Vamei 出处&#xff1a;http://www.cnblogs.com/vamei 欢迎转载&#xff0c;也请保留这段声明。谢谢&#xff01; **注意&#xff0c;在Python 3.x中&#xff0c;BaseHTTPServer, SimpleHTTPServer, CGIHTTPServer整合到http.server包&#xff0c;SocketServer…

天赋差的程序员,难道就只能半途而废吗?

全世界只有3.14 % 的人关注了数据与算法之美在很多人看来&#xff0c;也许优秀的程序员靠的就是与生俱来的强大天赋&#xff0c;外加蜻蜓点水般的时间付出&#xff0c;就能够炼就算无遗漏的编码技能。那么果真是如此吗&#xff1f;身为不太聪明的开发者难道就活该中途止步吗&am…

String是一个奇怪的引用类型

点击蓝字关注我们开局两张图&#xff0c;内容全靠刷。马甲哥看到这样的现象&#xff0c;一开始还是有点懵逼。这个例子&#xff0c;string是纯粹的引用类型&#xff0c;但是在函数传值时类似于值传递&#xff1b;我之前给前后示例的内存变化图吧&#xff1a;根因就是大多数高级…

限时秒杀│中科院推荐!6个引自美国NASA盒子,玩转科学

比勤奋更重要的&#xff0c;是孩子的思维能力。从上幼儿园开始&#xff0c;很多父母很喜欢给孩子报各种兴趣班&#xff0c;比如钢琴班、英语班、乐高班、报各种各样的课程&#xff0c;就是希望孩子具有18般武艺&#xff0c;赢在起跑线上。其实除了外在的能力&#xff0c;不显山…

.NET6又出新版本,新增这几个大杀器!

.NET6 Preview4终于发布了&#xff0c;作为第4个预览版&#xff0c;伴随着Build2021发布的&#xff0c;器更新内容也是非常丰富的。推荐关注的有以下11项&#xff1a;引入最小 API异步流HTTP 日志中间件新项目中使用 Kestrel 作为默认启动IConnectionSocketFeature改进单页应用…

蜗杆参数法设计_技术贴 | 减速器结构及设计的注意事项

减速机器用于低转速大扭矩的传动设备&#xff0c;原理是把电动机、内燃机、马达或其它高速运转的动力&#xff0c;通过减速机的输入轴上齿数少的齿轮啮合输出轴上的大齿轮&#xff0c;从而达到减速的目的&#xff1b;大小齿轮的齿数之比&#xff0c;就是传动比。减速器是一种由…