OpenGauss 列存储学习总结 2
- 概述
- 文章链接
概述
列存储是一种优化技术,用于在数据库系统中存储和查询大量数据。与传统的行存储方式不同,列存储将每个列的数据分别存储在独立的存储单元中,而不是按照行的方式存储。这种存储方式在分析性查询、聚合操作和大规模数据处理等场景下具有很大的优势。
行、列存储模型各有优劣,建议根据实际情况选择。通常openGauss用于OLTP(联机事务处理)场景的数据库,默认使用行存储,仅对执行复杂查询且数据量大的OLAP(联机分析处理)场景时,才使用列存储。默认情况下,创建的表为行存储。行存储和列存储的差异如下图所示:
上图中,左上为行存表,右上为行存表在硬盘上的存储方式。左下为列存表,右下为列存表在硬盘上的存储方式。
列存储的特点和优势:
- 压缩效率高:由于相同类型的数据在列中是连续存储的,可以采用更加高效的压缩算法,从而减少存储空间的使用。
- 数据读取效率高:在查询中只加载需要的列,减少了不必要的数据传输,提高了查询效率。
- 聚合操作效率高:在列存储中,同一列的数据相邻存储,这样在进行聚合操作时只需要对该列中的数据进行计算,减少了不必要的读取和计算。
- 列存储适合分析性查询:分析性查询通常涉及多个列的聚合和筛选操作,列存储的存储方式更适合这种场景,可以提高查询效率。
- 适用于大规模数据处理:列存储在大规模数据处理、数据仓库等场景中具有明显的性能优势,能够更好地支持复杂的分析任务。
列存储相比于行存储的优点和缺点如下:
存储模型 | 优点 | 缺点 |
---|---|---|
行存 | 数据被保存在一起。INSERT/UPDATE 容易。 | 选择(SELECT)时即使只涉及某几列,所有数据也都会被读取。 |
列存 | 1. 查询时只有涉及到的列会被读取。 2. 投影(Projection)很高效。 3. 任何列都能作为索引。 | 1. 选择完成时,被选择的列要重新组装。 2. INSERT/UPDATE 比较麻烦。 |
一般情况下,如果表的字段比较多(大宽表),查询中涉及到的列不多的情况下,适合列存储。如果表的字段个数比较少,查询大部分字段,那么选择行存储比较好。
存储类型 | 适用场景 |
---|---|
行存 | 1. 点查询(返回记录少,基于索引的简单查询)。 2. 增、删、改操作较多的场景。 3. 频繁的更新、少量的插入。 |
列存 | 1. 统计分析类查询 (关联、分组操作较多的场景)。 2. 即席查询(查询条件不确定,行存表扫描难以使用索引)。 3. 一次性大批量插入。 4. 表列数较多,建议使用列存表。 5. 如果每次查询时,只涉及了表的少数(<50%总列数)几个列,建议使用列存表。 |
文章链接
在先前的学习中,【列存储学习总结】一文总结了对列存储的阶段性学习笔记,本文我们在其基础上进一步总结后续的学习笔记,目前所有列存储的文章学习连接如下:
文章 | 连接 |
---|---|
列存储(Copy)相关 | 【 OpenGauss源码学习 —— 列存储(CopyTo)】 【 OpenGauss源码学习(CopyOneRowTo)】 |
列存储介绍相关 | 【 OpenGauss源码学习 —— 列存储(创建表)】 【 OpenGauss源码学习 —— 列存储(cstore_vector)】 【 OpenGauss源码学习 —— 列存储(CStoreAllocator 类)】 【 OpenGauss源码学习 —— 列存储(ColumnTableSample)】 |
列存储(DML)相关 | 【 OpenGauss源码学习 —— 列存储(Insert)】 【 OpenGauss源码学习 —— 列存储(update)】 |
列存储(analyze)相关 | 【 OpenGauss源码学习 —— 列存储(analyze)(一)】 【 OpenGauss源码学习 —— 列存储(analyze)(二)】 【 OpenGauss源码学习 —— 列存储(analyze)(三)】 【 OpenGauss源码学习 —— 列存储(analyze)(四)】 |
列存储(autoanalyze)相关 | 【 OpenGauss源码学习 —— 列存储(autoanalyze)(一)】 【 OpenGauss源码学习 —— 列存储(autoanalyze)(二)】 【 OpenGauss源码学习 —— 列存储(update_pages_and_tuples_pgclass)】 |
列存储(CU)相关 | 【 OpenGauss源码学习 —— 列存储(CU)(一)】 【 OpenGauss源码学习 —— 列存储(CU)(二)】 【 OpenGauss源码学习 —— 列存储(CU)(三)】 【 OpenGauss源码学习 —— 列存储(CUStorage)】 |
列存储(CStore)相关 | 【 OpenGauss源码学习 —— 列存储(CStore)(一)】 【 OpenGauss源码学习 —— 列存储(CStore)(二)】 【 OpenGauss源码学习 —— 列存储(CStore)(三)】 【 OpenGauss源码学习 —— 列存储(CStore)(四)】 【 OpenGauss源码学习 —— 列存储(CStore)(五)】 【 OpenGauss源码学习 —— 列存储(CStore)(六)】 |
以上便为目前我所学习的内容,在后续的学习中,我也会持续不断地完善和更新更多有关列存的模块知识。