CMU Database Systems - Sorting，Aggregation，Join

Sorting

排序如果可在内存里面排，用经典的排序算法就ok，比如快排

问题在于，数据表中的的数据是很多的，没法一下都放到内存里面进行排序

所以就需要用到，外排，多路并归排序

看下最简单的，2路并归排序，

设文件分为N个page，memory中一次最多可以放入B个pages

所以在sort过程，一次性可以载入B个page，在内存中page内排序，写回disk，称为一轮，run
那么如果一共N个page，需要N/B+1个run

在merge过程，如果双路并归排序，只需要用到3个page的buffer，多了也没用

Merge过程的cost

每个pass都需要读写一遍所有的数据，cost为2N
2 way，所以一共有1 + logN个pass

多路并归排序的通用公式如下，

其他都比较容易理解，为什么way数是B-1？

因为memory一共B个buffer，需要留一个output，剩下的用于merge，所以最多是B-1路并归排序

 

如果我们有B+ index的情况下，

分两种情况，要排序的字段有Clustered B+索引，那么直接从左到右遍历叶子节点就好

排序的字段不是Clustered B+索引，比如是secondary 索引

那么从索引里面只能获取到排好序的id，然后要通过id去Clustered B+索引中取真正的value，效率也很低，每个record都需要一次io

 

Aggregation

Aggregation有两种思路，

一种先排序sorting，然后再按顺序做aggregate

这个方法明显的问题，就是比较费，有些场景不需要sort，比如group by，distinct

所以第二种思路是Hashing，

在memory里面临时维护一个hash table，去重或聚合都在hash table上完成

问题就是，如果hash table太大，内存放不下怎么办？

所以解法的思路，放不下，就切开，切成能放下的一个个partition，并且要保证一个key的数据都在一个partition里面，这样只要保证内存能够放下一个partition就可以aggregate，不需要去读其他的partition

第一次partition划分成几个partition，如果内存B个buffer，划分成B-1个partition；如果划分完了某个partition还是放不下怎么办，那就继续划分，直到所有partition都可以放到内存中

这里有几个问题，

首先，一个partition应该不止一个key，如果只有一个，第二步里面的h2感觉没用
第二，假设数据是均匀分布的，不会出现太大的倾斜，不会有partition overflow

 

Join

为什么需要join？

因为不同的数据存在不同的表里面，所以要查询就需要关联
那么为什么不能放在一张表里面，关系表的设计有范式的要求，避免大量的数据重复

 

Join Operator Output

直接输出data，这样好处是，后续operator不用回到数据表再去读数据
这个方法比较实用于TP需求，结果数据较少的情况

仅仅输出ids，适合AP需求，join结果集非常大的情况

尤其适用于列存，因为这样你只需要读出join id列，也不浪费

然后在最后要显示的时候，才去把需要的数据从表里面查出来，这叫做late materialization

这样的好处，过程中可能还有其他的join，过滤等，所以开始读可能浪费，到最后真正需要的时候再读

 

Join Cost

如何去评价join算法的好坏，就是要评价cost

传统的数据库的瓶颈在disk IO，所以这里就以磁盘IO的次数来评价join算法的好坏，这个和为何使用B+tree作为index的理由一样
所以就是读写page的个数

 

Join算法 

Nested Loop Join

Simple，直觉的方式就是遍历两个表
这里的概念，分为Outer和Inner表
从Cost上看，最要取决于Outer的tuples数，所以如果把较小的表N作为Outer会效率高些　　

比较明显的问题是，没有必要读那么多遍的inner表

如果我能把outer表直接放在内存中，那么只需要读一遍inner就可以了，如果不行就用如下的block的方式

如果内存大小是B，那么要用两块来放inner和output，所以可以用B-2来放outer

Cost，outer表M需要读一次，inner表需要读M/(B-2)次

这里也写了，如果memory比较大，那么cost就是M+N，只需要读一遍inner

 

如果有index，是否可以加快join的效率？应该可以，但是效果要看是什么index，如果hash，C=O(1)，B+tree，C=O(logn)

 

Sort-Merge Join 

这个方法要求，两个表先排序，然后做一轮幷归就可以完成join
所以这个方法适用于，两个表本身就有序，或是在join key上有index
这个方法附带的好处是结果有序

这个算法的Cost，主要是两个表排序的cost，幷归的cost就是M+N

 

Hash Join

HashJoin分为两步，两步的hash函数用同一个

Build，对较小的表建临时的hash table

Probe，读取另一张表，进行join

这有个类似的问题，Hash Table里面存什么？

当然可以直接存join的结果，也可以存tuple id，这个选择就取决于场景

 

自然有个疑问，如果内存放不下这个hash table怎么办？

既然放不下，就需要分而治之，两个表用相同的hash函数，hash到相同数目的buckets里面去

在内存中，一次只读一组bucket来进行join，是不是很ok

 

 那么如果hash成bucket的时候，不均衡，一个bucket也overflow，怎么办？答案是继续分

 

Grace Hash Join的cost

 

 所有join算法的Cost对比，