数仓架构（即席查询）

      总体来说，Hadoop架构在数据量较低的情况下，运行速度远不及MPP架构，但数据量一旦超过某个量级，Hadoop架构在吞吐量方面将非常有优势。有些大数据数据仓库产品也采用混合架构，以融合两者的优点，例如Impala、Presto等都是基于HDFS的MPP分析引擎，仅利用HDFS实现分区容错性，放弃MapReduce计算模型，在面向OLAP场景时可实现更好的性能，降低延迟。

MPP vs Hadoop架构 - 知乎

ClickHouse进行轻量化数仓搭建【计算引擎：Hive VS ClickHouse】

ClickHouse适合简单的DW之上的即席查询。而Spark由于其分布式特性，导致其任务启动时间很长，因此不适合实现即席查询，但是对于大数据量的join等复杂查询时具备非常大的优势。

ClickHouse的优化重点在如何提高单机的处理能力，而Spark的优化重点在于如何提高分布式的协作效率。

ClickHouse与Hive的区别，终于有人讲明白了-clickhouse与hive 区别


 

impala刷新invalidate metadata VS refresh

invalidate metadata的特点就是异步性和全量性。invalidate metadata比起refresh而言要重量级得多，并且它造成impalad之间查询不一致也会更严重。因此，也几乎禁止使用不带表名的invalidate metadata语句。

refresh的特点是同步性和增量性。并且，它的执行是围绕单表以及单表的分区进行的，因此它更轻量级，也更适合分区元数据或数据文件更改之后的刷新。

正确使用Impala的invalidate metadata与refresh语句-CSDN博客

查看HDFS路径命令

查询报错：该分区文件或目录不存在

hdfs dfs -ls hdfs://nameservice1/user/hive/warehouse/adl.db/a_gq_workdat_stat/