前言

博主介绍：✌目前全网粉丝3W+，csdn博客专家、Java领域优质创作者，博客之星、阿里云平台优质作者、专注于Java后端技术领域。

涵盖技术内容：Java后端、大数据、算法、分布式微服务、中间件、前端、运维等。

博主所有博客文件目录索引：博客目录索引(持续更新)

视频平台：b站-Coder长路

本期大数据实战项目功能演示及环境搭建教程（b站）：https://www.bilibili.com/video/BV1F6421V7dY

---

运行前准备工作

1、安装Hadoop3.1.0配置winutils

原因描述

同可见类似博文：https://blog.csdn.net/lvoelife/article/details/133349627

若是不安装对应hadoop的winutils会出现报错not found，在初始化的时候。

---

配置方式

①解压3.1.0的haodoop压缩包

将本期虚拟机安装Hadoop压缩包解压：

②配置指定Hadoop版本的winutils工具

接着去github下载相应你对应Hadoop的版本：https://github.com/cdarlint/winutils

我给到的软件包已经把winutils下载下来了，解压就在里面：

操作内容：打开winutils文件，把指定hadoop3.1.0里面的bin文件复制到hadoop的安装路径，替换掉原来的bin文件。

替换原本hadoop3.1.0的bin目录（目前我修改了路径hadoop3的目录）,替换即可：

③配置Hadoop的环境变量

HADOOP_HOME
D:\softwares\Java\server\hadoop\hadoop-3.1.0

配置完成，之后window环境web项目上传文件的时候会取到这个环境变量来定位bin目录去执行winutils。

---

注意点（hadoop.dll拷贝System32目录下）

注意：将替换后的hadoop-3.1.0中的bin文件夹下的hadoop.dll拷贝到C:\Windows\System32目录下。

---

2、hive运行报错（The dir: /tmp/hive on HDFS should be writable. ）

出现问题：

1. IDEA连接不上hive。
2. 当前服务器运行hive出现下面报错。

解决方案：

hadoop fs -chmod -R 777 /tmp

---

项目环境搭建

准备内容：tomcat8.5.72、JDK

项目导入见B站第一集：

导入之后先将运行前准备工作做好，接着往下：

1、首先将虚拟机上的所有服务启动好。

2、将IDEA中小麦种子的IP地址全部替换为虚拟机的IP地址，接着即可将web服务启动，进行功能实操。

整个实操见第二个文档：02、大数据实训项目(小麦种子)功能演示。

---

参考资料

[1]. Eclipse配置本地Hadoop开发环境 解决Hadoop问题—HADOOP_：https://download.csdn.net/blog/column/9816387/105248496