数据库的方向 - 行vs列(转自: IBM i 中国开发团队)

转载地址:https://www.ibm.com/developerworks/community/blogs/IBMi/entry/database?lang=en

原文链接:http://ibmsystemsmag.blogs.com/you_and_i/db2/

数据库的方向 - 行vs列

如果你是一位数据库专家的话,这篇博客可能帮不了你什么。

如果你是一位IT人士,但对数据库技术只知其然的话,这篇博客会很适合你。

如果你是非IT人士,又或者你是我的家人,谢谢你们的阅读,但是显然你应该去寻求更适合你的阅读材料。

如此,可能会对此话题感兴趣的朋友已经减少了。看来你应该是这样一个人,你是非数据库领域的IT专家,但是你深知数据库的重要性,你可能非常想更多的了解一些当前IT界正在热烈讨论的数据库热门话题。

我可以很坦率的告诉大家,虽然我在IBM i的很多个部门工作过,但是我并不是一个DB2的开发人员。所以我会定期的去DB2团队寻求一些聪明的数据库专家给我一些比较高级的数据库指导。尤其,我非常想知道,为什么近来如此多行业都在谈论“列式存储”数据库的原因。所以,我找到了Mark Anderson。 众所周知,Mark是一位杰出的工程师,现在是DB2 for i的首席架构师。下面,我将分享一下我学到的知识。

今天的主题也如同很多有关数据库讨论一样主要集中于性能方面。即,新兴的列式数据库和传统的行式数据库在性能方面的比较。

顾名思义,这两种数据库架构在存贮数据时的方式是大相径庭的。在行式数据库中,每一行中的每一块数据都是紧挨着另一块数据存放在硬盘中。一般情况下,你可以认为每一行存贮的内容就是硬盘中的一组连续的字节。如果你记得DB 101(你已经学习了数据库的介绍课程,对吧?)中介绍的数据库中每一行都是用来记录一些实体信息的。为了方便我们的讨论,我们假设每一行都包含一个用户的信息,每个用户的所有属性都整块儿存储在硬盘上。如下图所示,虚拟表(或者数组)中的列用来存储每个属性。

在硬盘上,大量的页面用来存储所有的数据。我们假设数据库中的每一行的信息都存储在同一页上。在这种情况下,每一页都能保存一个用户的所有信息。在上边的例子中,Alice的所有信息都存储在一个页面中。如果需要获取或更新Alice的信息,那么某一时刻在内存中仅需存储关于Alice的单一页面。

虽然我还没有提到,但是你可以想象,如果是基于列的数据库,所有的数据都是以列的形式存储的。回到之前的例子,假设每一列的存储对应一个页面。如下图所示,所有的ZIP code将会存储到一个页面中,而所有的“2013 Total Order”则会存储在另一个页面中。

(嘿,所有数据库专家可能会就此停留,继而对用户的表设计提出意见,但抱歉,我并不是数据库架构师,这仅仅只是一个教学用例。)

现在,我们言归正传。

所有的数据库(实际上是所有的运算),当它所需要的数据驻留在内存中时其工作速度是最快的。当然正常情况下,数据不会在内存中,它们会被放到别的地方,当数据库调用它们时,它们才会被放到内存中。所以,如果你使用的是行式数据库,那么你对一行数据进行操作时,数据库的性能会是最好的。在上面的例子中,仅一个页面被放到了内存中。(这只是一个示例,事实上,操作系统会带来不止一页的数据,稍后详细说明)

另一方面,如果你的数据库是基于行的,但是你要想得到所有数据中,某一列上的数据来做一些操作,这就意味着你将花费时间去访问每一行,可你用到的数据仅是一行中的小部分数据。若此时你使用了列式的数据库,那就可以方便快捷的获取数据,因为每一列的信息都是存储在一起的。例如,所有的“2013 Total Order”信息都是存储在同一列中的。

可关键在于你使用列式数据库时,当你想要得到Alice的所有信息时,你又必须要读取大量的列(页面)来获取所有的数据。

正因为此,才有了这些天有关列式数据库的讨论。

如果你还是没有很好理解的话,我们下面会有更加详细的介绍。

到目前为止,几乎所有的数据库都是基于行的数据库,此类数据库对大多数的传统业务都是非常有效的。数据库专家们将大部分的数据库工作负载称为OLTP–在线事务处理。OLTP工作负载是数据库现有业务的关键业务。一般而言,这些应用程序在使用行数据库时会有更好的表现,因为其工作负载趋向于单一实体的多个属性(存储在很多的列中)。由于这些应用程序都是基于行工作的,所以在使用时,从硬盘中获取的页面数量是最小的。

如果能对列中的数据进行有效的处理,某些工作负载会运行得更高效。在线分析处理(OLAP)工作负载常常需要收集列中的数据。例如,如果你想要知道标记为“2013 Total Order”列中的所有值,当你使用基于列的数据库时,你可以将这一列放到内存中并统计所有值。但当使用的是基于行的数据库时,就必须去访问每一行而获取对应的数据。

当然,事实并非如此。基于行的数据库,例如DB2 for i,已经增加了一些方法,这些方法可以使得,诸如“sum a column”这样简单的操作,或者更复杂一些的OLAP分析也可以很高效的得到处理。例如,DB2 for i有两种结构,分别是编码向量索引(EVIs)和物化查询表(MQTs),对于这样的操作都有很好的效果。并且DB2 for i给用户的数据是成批的(一次读取很多行),而不是一次一个。除此之外,用户自定义的方法也可以用来提高性能。IBM的存储管理组件也是非常智能的,值得一提的是,它实现了单级存储。正因为它如此的智能,所以在用户提出请求前,已经将数据读取到内存中。正因为在很多的OLTP工作负载中都要求顺序地通过行,而DB2 for i在需要数据之前,已将行数据批量的读取到内存中,可见这个功能是非常重要的。

另一方面,单纯给列式存储的表加索引,也不能使OLTP很高效。Mark曾经说过“这就像把很多的矮胖子放在一起”。行信息分散在很多存储页中。即使整个数据库都存放在内存里,也需要消耗大量的CPU资源,来将一行中的所有列拼接起来。

下面总结这一课的关键内容。在选择使用哪种数据库时,问自己这样一个问题,哪种工作负载是你的数据库需要支持的最关键的工作负载。尽管可能你两种操作都需要,但是当核心业务是OLTP时,一个行式的数据库,再加上数十年积累的优化操作,可能是最好的选择。如果你的企业并不需要快速处理OLTP业务,但需要可以快速处理OLAP时,那么一个列式的数据库将会成为你的不二选择。

如果你需要同时处理两种业务,且要求它们都能高效处理时,可以去了解两种种架构相关的混合技术。你可以选择一种,又或者是使用两种架构的结合来满足你的需求。无论你选择了何种类别,都要确保证这一解决方案是稳定的,这可是要用来切实为企业数据服务的。

到此,尊敬的读者们, DB 102就结束了.现在,当你再读到有关列式数库的文章时,就可以理解其引起讨论的原因了。

在下次的讨论中,我们将进一步学习。

原文作者:Steve Will

翻译:周松文

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/478878.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Android自动化页面测速在美团的实践

背景 随着移动互联网的快速发展,移动应用越来越注重用户体验。美团技术团队在开发过程中也非常注重提升移动应用的整体质量,其中很重要的一项内容就是页面的加载速度。如果发生冷启动时间过长、页面渲染时间过长、网络请求过慢等现象,就会直接…

NLP领域的首次Hard Label黑盒攻击!

文 | 阿毅编 | 小轶背景前段时间已经和大家分享了两篇关于NLP Privacy的文章。今天,我们又来给大家推送优质论文了(公众号学习法)。其实,NLP与其他方向的跨界结合这段时间层出不穷,且都发表到了非常好的顶会上。目前有…

论文浅尝 - ACL2020 | 利用知识库嵌入改进多跳 KGQA

论文笔记整理:吴畏,东南大学硕士研究生。来源: ACL 2020论文地址: https://www.aclweb.org/anthology/2020.acl-main.412.pdf开源代码: https://github.com/malllabiisc/EmbedKGQA动机在多跳KGQA中,系统需要对KG的多个边缘执行推理以推断出正…

MCI:移动持续集成在大众点评的实践

一、背景 美团是全球最大的互联网生活服务平台,为3.2亿活跃用户和500多万的优质商户提供一个连接线上与线下的电子商务服务。秉承“帮大家吃得更好,生活更好”的使命,我们的业务覆盖了超过200个品类和2800个城区县网络,在餐饮、外…

LeetCode 260. 只出现一次的数字 III(位运算)

1. 题目 给定一个整数数组 nums,其中恰好有两个元素只出现一次,其余所有元素均出现两次。 找出只出现一次的那两个元素。 示例 :输入: [1,2,1,3,2,5] 输出: [3,5]注意: 结果输出的顺序并不重要,对于上面的例子, [5,…

没有什么多模态任务是一层Transformer解决不了的!

文 | 子龙曾几何时,多模态预训练已经不是一个新的话题,各大顶会诸多论文仿佛搭上Visual和BERT,就能成功paper1,VisualBERT、ViLBERT层出不穷,傻傻分不清楚......这些年NLPer在跨界上忙活的不亦乐乎,提取视觉…

论文浅尝 - KDD2020 | 真实世界超图的结构模式和生成模型

论文笔记整理:毕祯,浙江大学硕士,研究方向:知识图谱、自然语言处理。链接:https://arxiv.org/abs/2006.07060动机图已被用作对人或物体之间的成对关系建模的强大工具。而超图是更广泛概念的一种特殊类型,其…

LeetCode 1122. 数组的相对排序

1. 题目 给你两个数组,arr1 和 arr2, arr2 中的元素各不相同 arr2 中的每个元素都出现在 arr1 中 对 arr1 中的元素进行排序,使 arr1 中项的相对顺序和 arr2 中的相对顺序相同。未在 arr2 中出现过的元素需要按照升序放在 arr1 的末尾。 示…

老板让我用少量样本 finetune 模型,我还有救吗?急急急,在线等!

文 | ????????????????编 | 王苏今天介绍的是一篇 NAACL21 新鲜出炉的工作!NAACL 上周四出的结果,这篇工作本周一上传 arxiv,周二被王苏小哥哥发现,周三拜读了一下,今天就来和大家分享啦!&…

如何基于深度学习实现图像的智能审核?

背景 美团每天有百万级的图片产生量,运营人员负责相关图片的内容审核,对涉及法律风险及不符合平台规定的图片进行删除操作。由于图片数量巨大,人工审核耗时耗力且审核能力有限。另外对于不同审核人员来讲,审核标准难以统一且实时变…

论文浅尝 - WSDM2020 | QAnswer KG: 基于RDF数据设计一个可移植问答系统

论文笔记整理:谭亦鸣,东南大学博士。来源:WSDM 2020链接:https://link.springer.com/chapter/10.1007/978-3-030-49461-2_251.介绍知识图谱问答(KGQA)系统的目标是:基于自然语言问题,从RDF数据集中抽取对应…

LeetCode 868. 二进制间距(位运算)

1. 解题 给定一个正整数 N,找到并返回 N 的二进制表示中两个连续的 1 之间的最长距离。 如果没有两个连续的 1,返回 0 。 输入:22 输出:2 解释: 22 的二进制是 0b10110 。 在 22 的二进制表示中,有三个 …

Kotlin代码检查在美团的探索与实践

背景 Kotlin有着诸多的特性,比如空指针安全、方法扩展、支持函数式编程、丰富的语法糖等。这些特性使得Kotlin的代码比Java简洁优雅许多,提高了代码的可读性和可维护性,节省了开发时间,提高了开发效率。这也是我们团队转向Kotlin的…

推荐几个出论文的好方向!

如果你准备发AI方向的论文,或准备从事科研工作或已在企业中担任AI算法岗的工作。那么我真诚的向大家推荐,贪心学院《机器学习高阶训练营》,目前全网上应该找不到类似体系化的课程。课程精选了四大主题进行深入的剖析讲解,四个模块…

开源开放 | 疾病科室、心血管系统疾病知识图谱发布,助力电子病历系统建设...

本文转载自公众号:OMAHA联盟。 资源发布OMAHA已建立“七巧板”医学术语集、“汇知”医学知识图谱、HiTA ICD编码服务、白皮书等资源,将于每月发布其中的一项或多项资源,敬请关注!2009年,《中共中央国务院关于深化医药…

Android官方开发文档Training系列课程中文版:布局性能优化之布局层级优化

原文地址:http://android.xsoftlab.net/training/improving-layouts/index.html 引言 布局是直接影响用户体验的关键部分。如果实现的不好,那么布局很有可能会导致内存的紧张。Android的SDK包含的一些工具可以用来检查布局性能上的问题。结合本章的课程…

LeetCode 389. 找不同(位运算)

1. 题目 给定两个字符串 s 和 t,它们只包含小写字母。 字符串 t 由字符串 s 随机重排,然后在随机位置添加一个字母。 请找出在 t 中被添加的字母。 2. 解题 2.1 土办法,哈希map class Solution { public:char findTheDifference(string …

UAS-点评侧用户行为检索系统

背景 随着整个中国互联网下半场的到来,用户红利所剩无几,原来粗放式的发展模式已经行不通,企业的发展越来越趋向于精耕细作。美团的价值观提倡以客户为中心,面对海量的用户行为数据,如何利用好这些数据,并通…

面试官如何判断面试者的机器学习水平?

文 | 陈然知乎本文已获作者授权,禁止二次转载记得这大概是个三年前的问题,每年都会有新的答案让我持续学习。三年多前我作为最早的机器学习工程师之一加入 Tubi,从零开始设计招聘题目和流程,搭建团队,陆陆续续也面试了…

论文浅尝 - CVPR2020 | 基于网格特征的可视问答系统

论文笔记整理:李爽,天津大学。链接:https://arxiv.org/pdf/2001.03615v1.pdf动机随着“自下而上”注意力的普及,基于边界框(或区域)的视觉特征最近已经超越了传统的基于网格的卷积特征,成为视觉和语言任务的事实标准。…