任务描述
本阶段任务是导入项目的基础数据,包括空管基础数据和离线的实时飞行数据(已经脱敏)。
任务指导
本阶段任务需要导入两种数据:
1、在MySQL中导入空管基础数据
- kongguan.sql空管基础数据表说明:
1 | 告警信息表 |
2 | 告警历史信息 |
3 | 告警飞行历史信息 |
4 | 用户和角色表 |
5 | 用户表 |
6 | 角色表 |
7 | 权限表 |
8 | 角色和权限表 |
9 | 实时飞行变量表 |
10 | 机场表 |
11 | 航空公司表 |
12 | 航空雷达表 |
13 | 航空公司变量表 |
14 | 扇形饱和度变量表 |
15 | 值班变量表 |
16 | 航空变量表 |
17 | 机场变量表 |
18 | 机场经纬度表 |
19 | 航线变量表 |
- 数据字典:
表1:告警信息表(warntp_number)
Name | Code | Comment | Data Type | Length |
---|---|---|---|---|
主键id | id | int | 11 | |
告警类型 | gj_type | varchar | 100 | |
告警唯一标识 | gj_id | varchar | 50 | |
告警的类型 | gj_msg_type | varchar | 100 | |
航迹号1 | gj_track_num1 | varchar | 100 | |
航迹号2 | gj_track_num2 | varchar | 100 | |
告警航班之间的距离 | gj_distinct | varchar | 100 | |
告警之间的夹角 | gj_radian | varchar | 100 | |
告警的名称 | gj_name | varchar | 100 | |
告警距离参数 | gj_distinct_bz | varchar | 100 | |
告警的城市 | gj_city | varchar | 1000 | |
告警的发生时间 | gj_date | varchar | 100 | |
航班号 | gj_acids | varchar | 100 | |
飞机1经度 | gj_num1_long | varchar | 100 | |
飞机1纬度 | gj_num1_lat | varchar | 100 | |
飞机2经度 | gj_num2_long | varchar | 100 | |
飞机2纬度 | gj_num2_lat | varchar | 100 | |
数量 | count | int | 11 |
表2:告警历史信息表(warnsimilarhistory_number)
Name | Code | Comment | Data Type | Length |
---|---|---|---|---|
主键id | id | int | 11 | |
告警类型 | gj_type | varchar | 100 | |
告警唯一标识 | gj_id | varchar | 50 | |
告警的类型 | gj_msg_type | varchar | 100 | |
告警数量 | gj_num | varchar | 100 | |
航迹号 | gj_track_num | varchar | 100 | |
告警扇区号 | gj_sector | varchar | 100 | |
航班号 | gj_acid | varchar | 100 | |
状态 | gj_status | varchar | 100 | |
城市间 | gj_city | varchar | 100 | |
时间 | gj_date | varchar | 100 | |
数量 | count | int | 11 |
表3:告警飞行历史信息(warnflighthistory_number)
Name | Code | Comment | Data Type | Length |
---|---|---|---|---|
主键id | id | int | 11 | |
告警类型 | gj_type | varchar | 100 | |
告警唯一标识 | gj_id | varchar | 50 | |
告警类型 | gj_msg_type | varchar | 100 | |
航迹号1 | gj_track_num1 | varchar | 100 | |
航迹号2 | gj_track_num2 | varchar | 100 | |
告警航班之间的距离 | gj_distinct | varchar | 100 | |
告警航班之间的夹角 | gj_radian | varchar | 100 | |
告警名称 | gj_name | varchar | 100 | |
告警距离参数 | gj_distinct_bz | varchar | 100 | |
告警的城市 | gj_city | varchar | 100 | |
告警发生时间 | gj_date | varchar | 100 | |
数量 | count | int | 11 | |
告警扇区号 | gj_sector | varchar | 100 |
表4:用户和角色表(user_role)
Name | Code | Comment | Data Type | Length |
---|---|---|---|---|
主键id | id | int | 10 | |
用户id | user_id | int | 11 | |
角色id | role_id | int | 11 |
表5:用户表(sys_user)
Name | Code | Comment | Data Type | Length |
---|---|---|---|---|
主键id | id | int | 11 | |
姓名 | name | varchar | 50 | |
账号 | account | varchar | 50 | |
密码 | password | varchar | 100 | |
类型 | type | int | 11 | |
用户类型id | user_type_id | int | 11 | |
是否删除 | is_del | int | 11 | |
创建时间 | create_time | datetime | 0 | |
创建角色 | create_user | int | 11 | |
修改时间 | update_time | datetime | 0 | |
修改用户 | update_user | int | 11 | |
是否启用 | is_enable | int | 11 | |
联系方式 | contact | varchar | 11 |
表6:角色表(sys_role)
Name | Code | Comment | Data Type | Length |
---|---|---|---|---|
主键id | id | int | 11 | |
角色名 | role_name | varchar | 100 | |
是否删除 | is_del | int | 11 | |
创建用户 | create_user | int | 11 | |
创建时间 | create_time | datetime | 0 | |
修改的用户 | update_user | int | 11 | |
修改时间 | update_time | datetime | 0 | |
是否启用 | is_enable | int | 11 | |
角色编码 | role_code | varchar | 50 |
表7:权限表(sys_auth)
Name | Code | Comment | Data Type | Length |
---|---|---|---|---|
主键id | id | int | 11 | |
权限名称 | auth_name | varchar | 100 | |
权限编码 | auth_code | varchar | 100 | |
删除状态(0,正常;1,删除) | is_del | int | 11 | |
创建人 | create_user | int | 11 | |
创建时间 | create_time | datetime | 0 | |
更新人 | update_user | int | 11 | |
更新时间 | update_time | datetime | 0 | |
权限类型(0:按钮;1,菜单) | type | int | 11 | |
菜单Url | menu_url | varchar | 255 | |
父级id | parent_id | int | 11 | |
菜单图标地址 | menu_icon | varchar | 255 | |
菜单顺序 | menu_order | int | 11 |
表8:角色和权限表(role_auth)
Name | Code | Comment | Data Type | Length |
---|---|---|---|---|
主键id | id | int | 10 | |
角色id | role_id | int | 11 | |
权限id | auth_id | int | 11 |
表9:实时飞行变量表(multiradar_number)
Name | Code | Comment | Data Type | Length |
---|---|---|---|---|
主键id | id | int | 11 | |
轨迹编号 | TRACK_NUMBER | varchar | 50 | |
哪个地区的综合航迹 | AREA_SOURCE | varchar | 100 | |
发送时间utc | SEND_RADAR_TIME | varchar | 100 | |
雷达种类 | RADAR_TYPE | varchar | 100 | |
航班号 | ACID | varchar | 50 | |
二次代码 | SSR_CODE | varchar | 100 | |
直角坐标x | ZHIJIAO_X | varchar | 100 | |
直角坐标Y | ZHIJIAO_Y | varchar | 100 | |
小数形式的经度 | RADAR_LONGTITUDE | varchar | 100 | |
小数形式的纬度 | RADAR_LATITUDE | varchar | 100 | |
高度 | RADAR_HEIGHT | varchar | 100 | |
x分量速度 | SPEED_X | varchar | 100 | |
y分量速度 | SPEED_Y | varchar | 100 | |
速度 | RADAR_SPEED | varchar | 100 | |
航向 | DIRECTION | varchar | 100 | |
指令高度 | RADAR_CFL | varchar | 100 | |
飞行员报告高度 | FCU | varchar | 100 | |
时间戳 | TIME | varchar | 100 | |
飞行状态 | FLYSTATUS | varchar | 100 | |
爬升/下降速度 | CLIMBORDOWN_SPEED | varchar | 100 | |
扇区 | section | varchar | 100 |
表10:机场表(kg_airport)
Name | Code | Comment | Data Type | Length |
---|---|---|---|---|
机场标识id | ID | int | 11 | |
机场四字码 | AIRPORT_CODE4 | varchar | 4 | |
机场三字码 | AIRPORT_CODE3 | varchar | 10 | |
机场中文全称 | AIRPORT_CNAME | varchar | 50 | |
机场英文全称 | AIRPORT_ENAME | varchar | 50 | |
机场坐标经度 | AIRPORT_LONGTITUDE | varchar | 50 | |
机场坐标纬度 | AIRPORT_LATITUDE | varchar | 50 | |
中文简称 | AIRPORT_SNAME | varchar | 20 | |
排序描述 | AIRPORT_DESCRIPTION | varchar | 255 | |
机场标高 | AIRPORT_HEIGHT | varchar | 20 | |
机场跑道磁项 | AIRPORT_RUNWAYCOURSE | varchar | 20 | |
机场跑道长度 | AIRPORT_RUNWAYLENGTH | varchar | 20 | |
机场跑道宽度 | AIRPORT_RUNWAYWIDTH | varchar | 20 |
表11:航空公司表(kg_airlinecompany)
Name | Code | Comment | Data Type | Length |
---|---|---|---|---|
主键id | ID | int | 11 | |
二字码 | AIRCOMPANY_CODE2 | varchar | 4 | |
三字码 | AIRCOMPANY_CODE3 | varchar | 3 | |
中文全称 | AIRCOMPANY_CNAME | varchar | 50 | |
中文简称 | AIRCOMPANY_SNAME | varchar | 50 | |
排序描述 | AIRCOMPANY_DESCRIPTION | varchar | 50 | |
英文名称 | AIRCOMPANY_ENAME | varchar | 100 |
表12:航空雷达表(kg_aftn)
Name | Code | Comment | Data Type | Length |
---|---|---|---|---|
主键id | id | int | 11 | |
发送时间utc | send_time | varchar | 255 | |
地区资源 | area_source | varchar | 255 | |
计划资源 | plan_source | varchar | 255 | |
飞机id | acid | varchar | 255 | |
起飞 | adep | varchar | 255 | |
降落 | ades | varchar | 255 | |
计划起飞的时间 | stod | varchar | 255 | |
计划落地的时间 | stoa | varchar | 255 | |
状态 | aftn_status | varchar | 255 | |
执行时间 | execute_date | varchar | 255 | |
编码 | ssr_code | varchar | 255 | |
飞行类型 | fly_type | varchar | 255 | |
飞机类型 | aircraft_type | varchar | 255 | |
尾速 | tail_flow | varchar | 255 | |
计划高度 | plan_height | varchar | 255 | |
计划速度 | plan_speed | varchar | 255 |
表13:航空公司变量表(company_number)
Name | Code | Comment | Data Type | Length |
---|---|---|---|---|
主键id | id | int | 11 | |
飞机id | acid | varchar | 100 | |
公司三字码 | company_code3 | varchar | 100 | |
公司名 | company_name | varchar | 100 | |
延误数 | delay_count | int | 11 |
表14:扇形饱和度变量表(callsaturation_number)
Name | Code | Comment | Data Type | Length |
---|---|---|---|---|
主键id | id | int | 11 | |
消息发送时间 | SEND_TIME | varchar | 100 | |
数据区域 | AREA_SOURCE | varchar | 100 | |
计算时间 | THBH_TIME | varchar | 100 | |
计算的扇区 | THBH_SECT | varchar | 100 | |
计算后饱和度 | THBH_VALUE | varchar | 100 |
表15:值班变量表(atcduty_number)
Name | Code | Comment | Data Type | Length |
---|---|---|---|---|
主键id | id | int | 11 | |
发送时间 | send_time | varchar | 100 | |
数据区域 | area_source | varchar | 100 | |
值班岗位 | atc_duty_position | varchar | 100 | |
值班人员 | atc_duty_person | varchar | 100 | |
值班人员管制扇区 | atc_duty_sector | varchar | 100 | |
数量 | count | int | 11 |
表16:航空变量表(atc_number)
Name | Code | Comment | Data Type | Length |
---|---|---|---|---|
主键id | id | int | 11 | |
航班号 | ACID | varchar | 100 | |
航班时间 | ATC_TIME | varchar | 100 | |
执行日期 | EXECUTE_DATE | varchar | 100 | |
计划扇区名称 | PLAN_SECTOR_NAME | varchar | 100 |
表17:机场变量表(airport_number)
Name | Code | Comment | Data Type | Length |
---|---|---|---|---|
主键id | id | int | 11 | |
飞行编码 | flightcode | varchar | 20 | |
机场名称 | cname | varchar | 100 | |
经常英文名 | ename | varchar | 100 | |
数量 | count | int | 11 |
表18:机场经纬度表(airport_longlat)
Name | Code | Comment | Data Type | Length |
---|---|---|---|---|
三字码 | code3 | varchar | 255 | |
城市 | city | varchar | 255 | |
纬度 | latitude | varchar | 255 | |
经度 | longitude | varchar | 255 | |
四字码 | code4 | varchar | 255 |
表19:航线变量表(airline_number)
Name | Code | Comment | Data Type | Length |
---|---|---|---|---|
主键id | id | int | 11 | |
飞机id | acid | varchar | 50 | |
起飞机场编码 | adepcode | varchar | 50 | |
目标机场编码 | adescode | varchar | 50 | |
acids | varchar | 500 | ||
机场名称 | adepname | varchar | 100 | |
机场名称 | adesname | varchar | 100 | |
机场经度 | adeplong | varchar | 100 | |
机场纬度 | adeplat | varchar | 100 | |
机场经度 | adeslong | varchar | 100 | |
机场纬度 | adeslat | varchar | 100 | |
数量 | count | int | 11 |
2、将离线的实时飞行数据(data.tar.gz)导入到HBase中
- HBase数据表说明:
1 | 管制值班人员表 |
2 | ATFN报文数据 |
3 | 综合航迹表 |
4 | 计划数据 |
5 | 相似航班号数据表 |
- HBase数据字典:
kg_ATCDutyInfo | 管制值班人员表 | |||
Name | Code | Comment | Data Type | Length |
消息发送时间 | SEND_TIME | string | ||
数据区域 | AREA_SOURCE | string | ||
值班岗位名称 | ATC_DUTY_POSITION | string | ||
值班人员 | ATC_DUTY_PERSON | string | ||
值班人员管制扇区 | ATC_DUTY_SECTOR | string |
Kg_AFTN | ATFN报文数据 | |||
Name | Code | Comment | Data Type | Length |
发送者时间,UTC 时间 | SEND_TIME | string | ||
数据区域 | AREA_SOURCE | string | ||
消息类型 | PLAN_SOURCE | string | ||
航班号 | ACID | string | ||
起飞机场 | ADEP | string | ||
目的机场 | ADES | string | ||
计划起飞时间 | STOD | string | ||
计划落地时间 | STOA | string | ||
当前状态 | AFTN_STATUS | string | ||
执行日期 | EXECUTE_DATE | string | ||
二次代码 | SSR_CODE | string | ||
飞行规则 | FLY_RULE | string | ||
飞行类型 | FLY_TYPE | string | ||
机型 | AIRCRAFT_TYPE | string | ||
尾流 | TAILFLOW | string | ||
注册号 | REGID | string | ||
巡航高度(来源 FPL 报) | PLAN_HEIGHT | string | ||
巡航速度(来源 FPL 报) | PLAN_SPEED | string | ||
任务 | TASK | string | ||
机载设备 | AFTN_EQUIPMENT | string | ||
性能 | CAPABILITY | string | ||
FPL 报预计起飞时间 | ETOT | string | ||
FPL 报预计落地时间 | ELDT | string | ||
实际起飞时间 | ATOT | string | ||
实际落地时间 | ALDT | string | ||
备降机场 | EVENING_PORT | string | ||
入界点 | IBP | string | ||
入界点时间 | IBP_TIME | string | ||
出界点 | OBP | string | ||
出界点时间 | OBP_TIME | string | ||
飞行总时间 | FLY_TIME | string |
Kg_MultiRadarData | 综合航迹表 | |||
Name | Code | Comment | Data Type | Length |
哪个地区的综合航迹 | AREA_SOURCE | String | ||
发送时间(UTC 时间) | SENDRADARTIME | String | ||
雷达种类(综合航迹:MULTI, | RADAR_TYPE | String | ||
航班号 | ACID | String | ||
航迹号 | TRACK_NUMBER | Int | ||
二次代码 | SSR_CODE | String | ||
直角坐标 X 分量(单位:km) | ZHIJIAO_X | double | ||
直角坐标 Y 分量(单位:km) | ZHIJIAO_Y | double | ||
小数形式的经度(单位:度) | RADAR_LONGTITUDE | double | ||
小数形式的纬度(单位:度 | RADAR_LATITUDE | double | ||
高度 | RADAR_HEIGHT | double | ||
X 分量速度 | SPEED_X | double | ||
Y 分量速度 | SPEED_Y | double | ||
速度 | RADAR_SPEED | double | ||
航向 | DIRECTION | double | ||
指令高度 | RADAR_CFL | double | ||
飞行员报告高度 | FCU | double | ||
时间戳 | TIME | double | ||
飞行状态 | FLYSTATUS | String | ||
爬升/下降速度 | CLIMBORDOWN_SPEED | double |
Kg_PlanData | 计划数据 | |||
Name | Code | Comment | Data Type | Length |
消息发送时间,UTC 时间 | SEND_TIME | string | ||
数据区域 | AREA_SOURCE | string | ||
数据类型,来源于哪个系统 | PLAN_SOURCE | string | ||
航班号 | ACID | string | ||
起飞机场 | ADEP | string | ||
落地机场 | ADES | string | ||
计划起飞时间(次日计划时间) | STOD | string | ||
计划落地时间(次日计划时间) | STOA | string | ||
FPL 起飞时间 | ETOT | string | ||
FPL 落地时间 | ELDT | string | ||
机型 | AIRCRAFT_TYPE | string | ||
注册号 | REGID | string | ||
任务 | TASK | string | ||
航班执行日期 | EXECUTE_DATE | string |
Kg_WarnSimilarHistory | 相似航班号数据表 | |||
Name | Code | Comment | Data Type | Length |
告警类型 | GJ_TYPE | String | ||
告警的唯一标示编号 | GJ_ID | String | ||
告警的类型 | GJ_MSG_TYPE | String | ||
航迹号 1 | GJ_TRACK_NUM1 | String | ||
航迹号 2 | GJ_TRACK_NUM2 | String | ||
告警的扇区号 | GJ_SECTOR | String | ||
告警航班之间的距离 | GJ_DISTINCT | Double | ||
告警航班之间的夹角 | GJ_RADIAN | Double | ||
告警的名称 | GJ_NAME | String | ||
告警的距离参数 | GJ_DISTINCT_BZ | String | ||
告警的城市 | GJ_CITY | String | ||
告警发生的时间 | GJ_DATE | String |
- 其它表字段与mysql表字段相同
任务实现
【注意:当前任务的操作在node3节点上完成】
1、首先将data.tar.gz解压到自定义目录中
注意:由于数据文件的压缩包比较大,解压过程可能会持续3~5分钟,请耐心等待。
[root@node3 ~]# cd /opt/software/
[root@node3 software]# tar -xzf data.tar.gz -C /opt/
2、利用SQLyog或者其他数据库工具将保存在/opt/data目录中名为kongguan.sql的文件导入到MySQL数据库
- 使用 【mysql -uroot -p】 登录到MySQL(输入密码登录123456)
- 使用 show databases 命令,查看数据库列表
- 创建数据库:
mysql> create database kongguan;
mysql> use kongguan;
- 进入kongguan数据库,使用 source 命令执行kongguan.sql脚本导入数据(假设sql文件的位置:/opt/data/kongguan.sql)
mysql> use kongguan;
mysql> source /opt/data/kongguan.sql;
导入数据后,可使用 MySQL的show tables; 语句查看导入情况:
3、将HBase备份文件(空管数据及实时飞行数据)导入到集群的HBase数据库
- 切换到node3节点,在控制台输入以下命令,在HDFS上创建如下目录
[root@node3 ~]# hadoop fs -mkdir /hbase/table/
[root@node3 ~]# hadoop fs -mkdir /hbase/table/Kg_CallSaturation
[root@node3 ~]# hadoop fs -mkdir /hbase/table/Kg_ATC
[root@node3 ~]# hadoop fs -mkdir /hbase/table/Kg_PlanData
[root@node3 ~]# hadoop fs -mkdir /hbase/table/Kg_ATCDutyInfo
[root@node3 ~]# hadoop fs -mkdir /hbase/table/Kg_FlightState
[root@node3 ~]# hadoop fs -mkdir /hbase/table/Kg_WarnFlightHistory
[root@node3 ~]# hadoop fs -mkdir /hbase/table/Kg_AFTN
[root@node3 ~]# hadoop fs -mkdir /hbase/table/Kg_WarnSimilarHistory
[root@node3 ~]# hadoop fs -mkdir /hbase/table/Kg_MultiRadarData
查看HDFS上目录的创建情况:
- 把数据上传至hdfs
注意:由于数据量较大,上传数据的过程可能会持续3-5分钟的时间,请耐心等待。
[root@node3 ~]# hadoop fs -put /opt/data/Kg_CallSaturation /hbase/table/Kg_CallSaturation
[root@node3 ~]# hadoop fs -put /opt/data/Kg_ATC /hbase/table/Kg_ATC
[root@node3 ~]# hadoop fs -put /opt/data/Kg_PlanData /hbase/table/Kg_PlanData
[root@node3 ~]# hadoop fs -put /opt/data/Kg_ATCDutyInfo /hbase/table/Kg_ATCDutyInfo
[root@node3 ~]# hadoop fs -put /opt/data/Kg_FlightState /hbase/table/Kg_FlightState
[root@node3 ~]# hadoop fs -put /opt/data/Kg_WarnFlightHistory /hbase/table/Kg_WarnFlightHistory
[root@node3 ~]# hadoop fs -put /opt/data/Kg_AFTN /hbase/table/Kg_AFTN
[root@node3 ~]# hadoop fs -put /opt/data/Kg_WarnSimilarHistory /hbase/table/Kg_WarnSimilarHistory
[root@node3 ~]# hadoop fs -put /opt/data/Kg_MultiRadarData /hbase/table/Kg_MultiRadarData
- 进入HBase客户端运行【hbase shell】进入
[root@node3 software]# hbase shell
- 创建HBase表
create 'Kg_CallSaturation','SaturationHome'
create 'Kg_ATC','ATCHome'
create 'Kg_PlanData','ReportHome'
create 'Kg_ATCDutyInfo','ATCDutyHome'
create 'Kg_FlightState','StateHome'
create 'Kg_WarnFlightHistory','WarnFlightHome'
create 'Kg_AFTN','AFTNHome'
create 'Kg_WarnSimilarHistory','WarnSimilarHome'
create 'Kg_MultiRadarData','RadarHome'
- 查看创建情况
- 退出HBase客户端
- 然后执行导入操作
注意:由于此过程要执行多个MapReduce操作,可能需要5-10分钟左右的时间,请耐心等待。
[root@node3 software]# hbase org.apache.hadoop.hbase.mapreduce.Import Kg_CallSaturation /hbase/table/Kg_CallSaturation/Kg_CallSaturation
[root@node3 software]# hbase org.apache.hadoop.hbase.mapreduce.Import Kg_ATC /hbase/table/Kg_ATC/Kg_ATC
[root@node3 software]# hbase org.apache.hadoop.hbase.mapreduce.Import Kg_PlanData /hbase/table/Kg_PlanData/Kg_PlanData
[root@node3 software]# hbase org.apache.hadoop.hbase.mapreduce.Import Kg_ATCDutyInfo /hbase/table/Kg_ATCDutyInfo/Kg_ATCDutyInfo
[root@node3 software]# hbase org.apache.hadoop.hbase.mapreduce.Import Kg_FlightState /hbase/table/Kg_FlightState/Kg_FlightState
[root@node3 software]# hbase org.apache.hadoop.hbase.mapreduce.Import Kg_WarnFlightHistory /hbase/table/Kg_WarnFlightHistory/Kg_WarnFlightHistory
[root@node3 software]# hbase org.apache.hadoop.hbase.mapreduce.Import Kg_AFTN /hbase/table/Kg_AFTN/Kg_AFTN
[root@node3 software]# hbase org.apache.hadoop.hbase.mapreduce.Import Kg_WarnSimilarHistory /hbase/table/Kg_WarnSimilarHistory/Kg_WarnSimilarHistory
[root@node3 software]# hbase org.apache.hadoop.hbase.mapreduce.Import Kg_MultiRadarData /hbase/table/Kg_MultiRadarData/Kg_MultiRadarData
例如:
- 查看数据导入情况
4、实时飞行数据说明
- 解压data.tar.gz后的文件导入到集群的HBase数据库,所以直接读取HBase即可,但是由于真实的数据里实时飞行数据的时间间隔过短,在地图上不能感觉到飞机的实时运动状态,所以在项目中使用的实时飞行数据是从HBase中取出的真实飞行数据经过一定的处理后将时间间隔变大的数据,这样做可以在地图上明显感觉到飞机的运动状态。
- 当前项目提供了已经处理好的实时飞行数据,即:part-00000 ~ part-00011。使用时需要根据当前位置修改后台读取的位置即可,如下图:
part-000xx文件的内容格式如下:
这些文件可以放到本地,也可以放到HDFS上,例如:如果要在【client节点机器上】上读取“实时飞行数据”,可以使用【scp】命令将该数据从node3节点复制到client节点上。
[root@node3 ~]# scp -rq /opt/data client:/opt/
在后面阶段任务,读取时要根据自己的实际存放位置修改代码中的读取路径: