2023年全国职业院校技能大赛中职组大数据应用与服务赛项题库参考答案陆续更新中，敬请期待…
武汉唯众智创科技有限公司
2024 年 2 月
联系人：辜渝傧13037102709
题号：试题01
模块二：数据获取与处理
（一）任务一：数据获取与清洗
1．子任务一：数据获取
（1）启动Hadoop集群，使用HDFS Shell指令，在HDFS根目录下级联创建一个名为/behavior/origin_log的目录，用于存储采集到的用户行为日志；
答：hadoop fs -mkdir -p /behavior/origin_log
（2）目录创建完成，使用HDFS Shell指令，将本地/root/eduhq/data/app_log/behavior目录下的所有用户行为日志文件采集至HDFS的/behavior/origin_log目录下；
答：hadoop fs -put /root/eduhq/data/app_log/behavior/* /behavior/origin_log
（3）采集完成，在本机打开浏览器，访问http://本机主机名:9870或http://本机IP地址:9870进入HDFS WebUI界面，查看是否成功将数据采集到HDFS上。
答：使用浏览器访问即可。
2．子任务二：数据清洗
（1）使用Windows操作系统上的Excel软件，打开名为
"behavior2023-01-01.csv"的文件；
（2）对数据进行清洗，专注处理名为"behavior2023- 01-01.csv"的文件中的"time"列。将时间日期格式进行分列，分别处理为日期和时间两列。
答：
（二）任务二：数据标注
开 发 一 个 简 单 的 Java 类 IpToLocUdf ， 继 承
org.apache.hadoop.hive.ql.udf.generic.GenericUDF ，重载initialize()、evaluate()和 getDisplayString()方法；该类需要实现通过 IP 从/root/eduhq/data/area.json文件中随机获取“省份”和“城市”信息，完成数据的分类标注。
答：
import org.apache.hadoop.hive.ql.exec.UDFArgumentException;
import org.apache.hadoop.hive.ql.exec.UDFArgumentLengthException;
import org.apache.hadoop.hive.ql.exec.UDFArgumentTypeException;
import org.apache.hadoop.hive.ql.metadata.HiveException;
import org.apache.hadoop.hive.ql.udf.generic.GenericUDF;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspectorFactory;
import org.apache.hadoop.hive.serde2.objectinspector.primitive.StringObjectInspector;
import org.codehaus.jackson.JsonNode;
import org.codehaus.jackson.map.ObjectMapper;
import org.codehaus.jackson.node.ObjectNode;import java.io.File;
import java.io.IOException;
import java.util.ArrayList;
import java.util.List;public class IpToLocUdf extends GenericUDF {private StringObjectInspector stringInspector;private ObjectInspector outputOI;// 初始化函数，用于设置函数参数和输出类型/*这个initialize方法的主要作用是验证输入参数的数量和类型，并设置输出类型为字符串。如果输入参数不符合要求，它将抛出异常。最后，它返回一个输出类型的ObjectInspector，供其他方法使用。*/@Overridepublic ObjectInspector initialize(ObjectInspector[] arguments) throws UDFArgumentException {// 检查参数数量是否为1，如果不是则抛出异常if (arguments.length != 1) {throw new UDFArgumentLengthException("The function iptoloc(ip) takes exactly 1 argument.");}// 检查第一个参数是否为StringObjectInspector类型，如果不是则抛出异常if (!(arguments[0] instanceof StringObjectInspector)) {throw new UDFArgumentTypeException(0,"The argument must be a string, but " + arguments[0].getTypeName()+ " was given.");}// 将第一个参数设置为字符串类型的ObjectInspectorthis.stringInspector = (StringObjectInspector) arguments[0];// 设置输出类型为字符串，通过反射创建ObjectInspector实例this.outputOI = ObjectInspectorFactory.getReflectionObjectInspector(String.class,ObjectInspectorFactory.ObjectInspectorOptions.JAVA);// 打印输出类型的ObjectInspector信息System.out.println(outputOI);return outputOI; // 返回输出类型的ObjectInspector，供其他方法使用}@Overridepublic Object evaluate(DeferredObject[] arguments) throws HiveException {// 获取传入的IP地址参数String ip = stringInspector.getPrimitiveJavaObject(arguments[0].get());// 从指定文件中读取地区信息//File file = new File("/root/eduhq/data/area.json");File file = new File("/resources/area.json");ObjectMapper mapper = new ObjectMapper();List<String> provinces = new ArrayList<>();List<String> cities = new ArrayList<>();try {// 解析JSON文件JsonNode rootNode = mapper.readTree(file);// 遍历JSON节点，获取省份和城市信息for (JsonNode node : rootNode) {String province = node.path("province").getTextValue();String city = node.path("city").getTextValue();provinces.add(province);cities.add(city);}} catch (IOException e) {throw new HiveException("Failed to read area.json file: " + e.getMessage(), e);}// 根据IP地址进行分类标注int index = ipToIndex(ip);String province = provinces.get(index);String city = cities.get(index);// 返回分类标注结果ObjectNode result = mapper.createObjectNode();result.put("province", province);result.put("city", city);return result.toString();}@Overridepublic String getDisplayString(String[] children) {return "iptoloc(" + children[0] + ")";}private int ipToIndex(String ip) {// 根据IP地址的某种算法得到索引值// 这里简单地使用IP地址的字符长度模拟算法return ip.length() % 7;}
}
<dependency><groupId>org.apache.hive</groupId><artifactId>hive-exec</artifactId><version>3.1.2</version></dependency>
（三）任务三：数据统计
1．子任务一：HDFS 文件上传下载
（ 1 ） 将包“ com.hive.udf ”导出为名为 hive-udf- behavior-1.0.0.jar 的 JAR 文件， 并 保 存在 本地 的
/root/eduhq/udf_jars 目录中；
答：https://blog.csdn.net/gb4215287/article/details/132793531
（2）将打包文件 hive-udf-behavior-1.0.0.jar 上传到HDFS 的/hive/udf_jars 目录下；
答：hadoop fs -put hive-udf-behavior-1.0.0.jar /hive/udf_jars
（3）在 Hive 客户端，创建永久函数 url_trans 和get_city_by_ip，并将它们与开发好的 class 相关联；
答：
add jar /root/eduhq/udf_jars/hive-udf-behavior-1.0.0.jar
create function url_trans as com.hive.udf.url_trans;
create function get_city_by_ip as com.hive.udf.get_city_by_ip;
（4）在 Hive 客户端，使用 select 语句测试url_trans和get_city_by_ip 函数；
**答：**根据具体作用使用。例如：
select get_city_by_ip(ip);
（5）启动 Hive 的动态分区功能，并将 Hive 设置为非严格模式；
答：
set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nostrict;
（6）使用 insert overwrite … select …子句将ods_behavior_log 表中数据插入分区表 dwd_behavior_log中，并实现根据 dt 进行动态分区。
答：insert overwrite table dwd_behavior_log PARTITION (dt) select *,date_format(dt,'yyyy-MM-dd') from ods_behavior_log;
2．子任务二：数据统计
（1）查看dwd_behavior_log表的所有现有分区；
答：SHOW PARTITIONS dwd_behavior_log;
（2）查看外部表dwd_behavior_log的前3行数据，并验证URL协议是否被统一为“http”，以及通过IP是否能够获取到“省份”和“城市”信息；
答：
SELECT * FROM dwd_behavior_log LIMIT 3;
SELECT URL FROM dwd_behavior_log WHERE URL LIKE 'http://%';
返回所有以“http://”开头的URL。如果返回的行数大于0，则说明URL协议被统一为“http”。
通过ip获取省份，例如：select get_city_by_ip(ip);
（3）统计外部表dwd_behavior_log数据总行数。
答：SELECT COUNT(*) FROM dwd_behavior_log;
更多内容请联系
武汉唯众智创科技有限公司
欲了解更多信息，欢迎登录www.whwzzc.com,咨询电话13037102709
*本资料产品图片及技术数据仅供参考，如有更新恕不另行通知，具体内容解释权归唯众所有。
