1.概述
数据处理大致可分为两大类,联机事务处理OLTP(on-line transaction processing) 和联机分析处理OLAP(on-line analytical processing)。 OLTP是传统关系型数据库的主要应用,用来执行一些基本的、日常的事务处理,比如数据库记录的增、删、改、查等。而OLAP则是分布式数据库的主要应用,它对实时性要求不高,但处理的数据量大,通常应用于复杂的动态报表系统上。
2.行式存储与列式存储
2.1 行式存储
传统的关系型数据库采用行式存储法(Row-based),一行中的数据在存储介质中以连续存储形式存在。
[ { "title": "Oriented Column Store", "author": "Alex", "publish_time": 1508423456, "like_num": 1024 },{ "title": "Apache Druid", "author": "Bob", "publish_time": 1504423069, "like_num": 10 },{ "title": "Algorithm", "author": "Casey", "publish_time": 1512523069, "like_num": 16 }]
Q: 统计 Bob 发表的博客数,或是整个系统今天的博客点赞数。如果是行存储系统,数据库将怎样操作?
行式存储数据库需要将所有行数据读入内存,然后对 like_num 列做 sum 操作,从而得到结果。 此时我们会发现行式数据库在读取数据的时候,会存在一个固有的“缺陷”。比如所选择查询的目标即使只涉及少数几项属性,但由于这些目标数据埋藏在各行数据单元中,而行单元往往又特别大,应用程序必须读取每一条完整的行记录,从而使得读取效率大大降低。
对此,行式数据库给出的优化方案是加“索引”。在OLTP类型的应用中,通过索引机制或给表分区等手段,可以简化查询操作步骤,并提升查询效率。
2.2 行式存储的应用场景
- 适合随机的增删改查操作
- 需要在行中选取所有属性的查询操作
- 需要频繁插入或更新的操作,其操作与索引和行的大小更为相关
2.3 列式存储
列式存储(Column-based)是相对于行式存储来说的,新兴的HBase,GP等分布式数据库均采用列式存储,一列中的数据在存储介质中以连续存储形式存在。
[ { "title": "Oriented Column Store", "author": "Alex", "publish_time": 1508423456, "like_num": 1024 },{ "title": "Apache Druid", "author": "Bob", "publish_time": 1504423069, "like_num": 10 },{ "title": "Algorithm", "author": "Casey", "publish_time": 1512523069, "like_num": 16 }]
统计 Bob 发表的博客数,或是整个系统今天的博客点赞数。如果是行存储系统,数据库将怎样操作?
对于列的操作,如上面我们说到的统计所有 like_num 之和 ,仅仅只需要读取like_sum列数据进行求和即可。在大数据量查询场景中,列式数据库可在内存中高效组装各列的值,最终形成关系记录集,因此可以显著减少IO消耗,并降低查询响应时间。非常适合数据仓库和分布式的应用。
2.4 列式存储的优势
- 自动索引
- 基于列存储,所以每一列本身就相当于索引。所以在做一些需要索引的操作时,就不需要额外的数据结构来为此列创建合适的索引。
- 利于数据压缩
- 相同的列数据类型一致,这样利于数据结构填充的优化和压缩,而且对于数字列这种数据类型可以采取更多有利的算法去压缩存储。