数仓建模—ChatETL
前面我们介绍过ChatBI ,就是让用户通过自然语言对话的方式可以获取到自己想要的数据,然后通过合适的报表展示出来,其实我们可以将其理解为应用层面的技术创新,但是这个实现的前提就是我们底层已经有加工好的大量的数据模型数据表,并且有完善的元数据建设,这种情况下在我们的数据应用端才能做到ChatBI的效果。
今天我们介绍的是ChatBI的前置,也就是ChatETL,只有ChatETL做好了前置的数据表数据模型,用户才能在数据消费端使用ChatBI,很多情况下我们需要通过数据清洗进入数据仓库中然后再用BI工具生成报表,用户需要很长一段时间才能看到数据分析结果,这中间报表的时效性已经大打折扣,而最新利用ETL+ChatGPT就可以实现我们的人工ETL,之前这些工作是我们的数仓工程师来完成的,也就是我们常说的ETL 的过程。
ETL—抽取、转换、加载
在数据处理的过程中,我经常需要进行计算、提取、转换、加载这一类将数据从一个或多个源复制到目标系统的过程。这个操作被统称为ETL(Extract、transform、load)ETL在20世纪70年代成为一个流行的概念,广泛应用于数据仓库系统。
ETL,是英文 Extract-Transform-Load 的缩写,用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。
数