阿里云实时数据仓库——学习笔记
课程目标
- 学习搭建一个实时数据仓库，掌握数据采集、存储、计算、输出、展示等整个业务流程。
- 整个实时数据仓库系统是在阿里云架构上搭建，掌握并学会运用各个服务组件，及各个组件之间如何联动。
- 前置知识要求：熟练掌握SQL语法、对Hadoop大数据体系有一定的了解
第1章 课程目录
1.1 项目需求分析
1）实时采集埋点日志数据
2）实时采集业务数据库中数据
3）对数据进行清洗和处理
4）保存数据到分析型数据库
5）对结果进行可视化展示
1.2.2 技术选型
1.2.3 系统架构设计
1.2.4 业务流程
第2章 业务数据准备
第4章 同步业务数据
4.1 DTS 同步数据
数据传输服务（Data Transmission Service）DTS 支持关系型数据库、NoSQL、大数据(OLAP)等数据源间的数据传输。它是一种集数据迁移、数据订阅及数据实时同步于一体的数据传输服务。数据传输致力于在公共云、混合云场景下，解决远距离、毫秒级异步数据传输难题。它底层的数据流基础设施为阿里双11异地多活基础架构，为数千上下游应用提供实时数据流，已在线上稳定运行5年之久。您可以使用数据传输轻松构建安全、可扩展、高可用的数据架构。
第5章 实时数仓分层
1）实时数仓层级
2）实时数仓分层设计
