备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项—

备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2：离线数据处理

任务书

软件名称	版本
ubuntu	18.04 64 位
Hadoop：hadoop-3.1.3.tar.gz	3.1.3
Jdk：jdk-8u212-linux-x64.tar.gz	1.8
Spark：spark-3.1.1-bin-hadoop3.2.tgz	3.1.1
Hive：apache-hive-3.1.2-bin.tar.gz	3.1.2
MySQL	5.7
Scala：scala-2.12.x.tgz	2.12
Vue.js	3.2
ECharts	5.1
JDBC驱动： mysql-connector-java-5.1.37.jar
集成开发工具：IDEA 2022 社区版

子任务一：(解压到的路径千万不要出现中文！！！小北第一次做到一半最后一步安装的时候才发现！！！浪费了很多时间！！！）

将下发的ds_db01.sql数据库文件放置mysql中

12、编写Scala代码，使用Spark将MySQL的ds_db01库中表user_info的全量数据抽取到Hive的ods库中表user_info。字段名称、类型不变，同时添加静态分区，分区字段为etl_date，类型为String，且值为当前日期的前一天日期（分区字段格式为yyyyMMdd）。使用hive cli执行show partitions ods.user_info命令，将结果截图粘贴至答案表.docx中对应的任务序号下；

一、前言

MySQL5.7的下载安装与Navicat配置:

二、下载步骤

下载地址：MySQLhttps://www.mysql.com/

温馨提示：

首页滑到最下面，选择Downloads下的MySQL Community server

点击查看下载历史版本

可手动选择历史版本

点击【No thanks，just start my download】不登录直接下载，等待一会有下载弹窗。如果有（Oracle账户选择直接登录，没有的话点击右侧注册一个）

点击【保存】就好，然后开始下载

zip格式是直接解压，解压缩之后其实MySQL就可以使用了，但是要进行环境变量配置zip格式是自己解压。

(解压到的路径千万不要出现中文！！！小北第一次做到一半最后一步安装的时候才发现！！！浪费了很多时间！！！）

（下载完毕后将文件解压到你想保存到的盘和目录内。我是将文件解压到D:\ProgramData\mysql-5.7.44-winx64目录下面）

以上就完成了下载的全部工作。

三、配置环境变量

1、右键此电脑->属性—>高级系统设置—>环境变量—>系统变量

点击系统变量中的path，编辑

点击新建，添加

（麻烦一点的话[不建议]——其实也可以一开始直接新建）

1、点击新建，变量名为：MYSQL_HOME，添加你的mysql-5.7.27-winx64文件夹所在位置。我的是在D:\ProgramData\mysql-5.7.44-winx64）

2、复制%MYSQL_HOME%\bin到原有值的后面

（不建议，很麻烦）

my.ini文件的内容为：如果安装目录不一样，记得修改MySQL的安装路径

环境配置结束后别直接退出，请记得一定要一个一个“确定”！！！

我的mysql bin文件夹的路径：D:\ProgramData\mysql-5.7.44-winx64

2.配置存放数据库数据文件（配置my.ini文件）

配置完环境变量之后，在D:\ProgramData\mysql-5.7.44-winx64目录下配置文件mys.ini 中，修改安装路径，并添加存放数据的data文件夹路径。在bin的同级目录下切记不要手动创建data文件夹，第一次启动后会自动创建，手动创建会报错。

新建一个“.txt”文件，改后缀名为"my.ini"，直接确定！！！

(不用的话可以直接跳过）用notepad注意修改其中的文件夹所在路径。

不要自己创建data！不要自己创建！不要自己创建！系统会自动创建，自己创建会报错。

上述图片中的配置文件内容，可从下方复制，记得修改安装目录

[mysql]
# 设置mysql客户端默认字符集
default-character-set=utf8[mysqld]
# 设置3306端口
port = 3306
# 设置mysql的安装目录
basedir=D:\ProgramData\mysql-5.7.44-winx64
# 设置 mysql数据库的数据的存放目录，MySQL 8+ 不需要以下配置，系统自己生成即可，否则有可能报错
datadir=D:\ProgramData\mysql-5.7.44-winx64\data
# 允许最大连接数
max_connections=1000
# 服务端使用的字符集默认为8比特编码的latin1字符集
character-set-server=utf8
# 创建新表时将使用的默认存储引擎
default-storage-engine=INNODB

修改内容如下：

# 设置mysql的安装目录
basedir=D:\ProgramData\mysql-5.7.44-winx64# 设置mysql数据库的数据的存放目录
datadir=D:\ProgramData\mysql-5.7.44-winx64

完整安装过程如下，管理员权限运行cmd，运行命令：

完整的安装命令如下：mysqld --initialize-insecure --user=mysqlmysqld installnet start mysqlmysql -u root -pmysqladmin -u root -p password root

熟悉复习下mysql的相关命令：

1、初始化data目录
mysqld --initialize（随机密码）
mysqld --initialize-insecure（无密码）
2、经过初始化data重置目录，注意my.ini先配置好，mysqld -remove重新安装下，再次运行

net start mysql
3、3306端口被占用
mysqld --console 可以查看报错信息
netstat -ano 看看是端口是否被占用 #netstat -aon|findstr “3306”
若被占用，PID结束进程，再试试看
4、本地host指向问题
C:\Windows\System32\drivers\etc\hosts
查看下本地host是否指向其他域名，如127.0.0.1是否指向localhost

(不用的话可以直接跳过——跳的这一步）

（正常步骤：my.ini文件的内容为：如果安装目录不一样，记得修改MySQL的安装路径。）

[mysqld]
#端口号
port = 3306
#mysql-5.7.44-winx64的路径
basedir=D:\ProgramData\mysql-5.7.44-winx64
#mysql-5.7.44-winx64的路径+\data
datadir=D:\ProgramData\mysql-5.7.44-winx64\data 
#最大连接数
max_connections=200
#编码
character-set-server=utf8default-storage-engine=INNODBsql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES[mysql]
#编码
default-character-set=utf8