任务描述
掌握项目的总体功能，及实现流程。预习项目中所使用到的技术和知识点。
任务指导
一、项目效果展示
图1-数据统计大屏页面
图2-航空实时监控页面
二、项目架构
1、总体架构：
2、技术架构
- 技术清单：
| 功能 | 组件 | 说明 |
|---|---|---|
| 消息中间件 | Kafka | 数据缓冲 |
| 数据采集和清洗 | Spark Streaming | 实时数据处理 |
| 存储 | HDFS | 分布式文件系统 |
| HBase | 分布式列式存储 | |
| MySQL | 关系数据库 | |
| 实时计算 | Spark Streaming | 分布式实时数据处理 |
| 监控管理调度运维 | YARN | 分布式资源调度分配 |
| Zookeeper | 集群节点协调 | |
| ELK | 运行日志监控 | |
| 项目开发框架 | Spring Boot | 项目后端开发框架 |
| Vue | 项目前端开发框架 |
三、项目主要涉及的技术
1、技术选型：项目的解决方案
以Vue+ECharts图标库为前端，SpringBoot为后端，以Hadoop HDFS为底层存储，Spark作为数据清洗和计算完成以上架构实现。
- 实时数据采集：SparkStreaming
- 中间件：Kafka
- 数据计算分析框架：Spark
- 数据存储，持久化：HDFS，HBase
- 对外暴露查询接口：SpringBoot
2、平台总体分为4个层级，按数据流入及数据处理顺序，依次分为
1）数据导入层
数据导入需满足以下要求：
- 已开启Hadoop HDFS框架环境，已开启HBase框架环境；
- 数据导入期间不进行任何操作，防止节点终端造成数据冗余；
- 高可用：在down掉一个节点后不影响数据传输。
2）数据存储层
- 数据存储方式多样，对于非结构化的文件类数据存储在HDFS；
- 对于海量的业务数据主要存储在HBase，方便进行操作。
3）数据分析层
4）应用层
应用层主要为前端可视化用：
- 可视化平台：对数据进行分析和展示，提供多种多维度报表和图表展示。
- 实时飞行轨迹：主要根据历史数据进行数据模拟飞行，通过读取历史数据上传到Kafka消息队列。SparkStreaming读取数据后根据电子围栏api获得清洗后扇区数据并保存到MySQL中，供后端调用。
四、参考资料
- 《Linux操作系统》
- 《大数据开发技术（Hadoop）》
- 《Python语言程序设计》、《Python高级应用》
- 《Hive快速大数据分析》
- 《数据分析与实战（Python）》
- 《数据可视化技术》
