大数据实训项目(小麦种子)-01、VirtualBox安装与Centos7系统安装

文章目录

  • 前言
  • 项目介绍
  • 项目任务目标
  • 一、VirtualBox安装
    • 1.1、认识VirtualBox
    • 1.2、VirtualBox的下载安装
  • 二、VirtualBox安装Centos7系统
    • 2.1、VirtualBox安装Centos7
    • 2.2、Centos7配置静态IP地址
    • 2.3、Centos7环境基础配置
  • 三、Windows安装FinalShell及连接Centos7
    • 3.1、FinalShell下载与安装
    • 3.2、FinalShell连接虚拟机中的Centos7

前言

博主介绍：✌目前全网粉丝3W+，csdn博客专家、Java领域优质创作者，博客之星、阿里云平台优质作者、专注于Java后端技术领域。

涵盖技术内容：Java后端、大数据、算法、分布式微服务、中间件、前端、运维等。

博主所有博客文件目录索引：博客目录索引(持续更新)

视频平台：b站-Coder长路

本期大数据实战项目功能演示及环境搭建教程（b站）：https://www.bilibili.com/video/BV1F6421V7dY

项目介绍

前端：HTML、JS、Echarts、JSP。

后端：tomcat、servlet。

大数据：Hadoop（MapReduce、HDFS）、Hbase、Hive。

服务选用系统：Centos7。

重点：大数据

大数据技术栈的版本选择：

  • Hadoop3.1.0：依赖JDK8
  • Hive3.1.2：依赖MySQL5.7
  • Hbase2.2.4：依赖Hadoop、zookeeper3.4.5

项目任务目标

大数据实训任务：

根据数据特征，设计一个任务场景，开发一个JavaWeb项目，实现如下任务：
（1）原始数据上传到HDFS，前端页面按钮启动文件上传任务，统计分析结果以文件的形式提供下载；
（2）利用MapReduce实现数据的预处理和分析；
（3）利用MapReduce将部分数据存储到Hbase，并实现数据的查询，查询结果显示到前端页面；
（4）利用数据仓库Hive对数据进行统计分析；可以单独执行hive程序进行统计分析；但分析结果要在前端界面展示；
（5）统计分析结果利用Echarts图表进行可视化展示。
要求：所有任务必须能够利用JavaWeb前端页面进行启动和显示结果。

数据集：小麦种子

image-20240203174745647

image-20240205002702601

属性说明
Area,  Perimeter,  Compactness,  Kernel.Length,  Kernel.Width,  Asymmetry.Coeff,  Kernel.Groove,  Type
分别是：区域、周长、压实度、籽粒长度、籽粒宽度、不对称系数、籽粒腹沟长度、类别

实际实现的功能拆分内容如下：

本次大数据实验项目所需要完成的项目内容如下：
前端页面使用jsp+html，后端处理请求使用servlet
1、点击上传文件：原始数据上传到HDFS，前端页面按钮启动文件上传任务，将数据将结果上传到HDFS中的/wheat。 
2、点击mapreduce按钮：利用MapReduce实现数据的预处理和分析，最终数据结果是在HDFS的/anlysis目录下。
3、通过前端页面按钮点击Hbase存储：发送请求执行将数据存储到Hbase，并实现数据的查询，查询结果显示到前端页面；
4、利用数据仓库Hive对数据进行统计分析；可以单独执行hive程序进行统计分析；分析结果展示通过要在前端界面点击hive分析结果按钮，来查询统计结果数据，最终使用Echarts图表进行可视化展示。对于数据分析我们是对种子的【区域】字段来进行分范围统计，四个范围如下：
0-11、12-15、15-20、20-30、>30部分。最终是以柱状图形式来展示。

一、VirtualBox安装

1.1、认识VirtualBox

介绍：VirtualBox 是一款开源虚拟机软件，由Sun公司出品，现在则由Oracle进行开发。VirtualBox号称是最强的免费虚拟机软件，它性能优异且简单易用。可虚拟的系统包括Windows、Linux、MacOS、Android等操作系统！本文将使用VirtualBox作为虚拟机来安装Linux系统。

1.2、VirtualBox的下载安装

VirtualBox下载地址：https://www.virtualbox.org/wiki/Downloads

virtualbox建议安装6.1.38，这里提供6.1.38安装包：

image-20240205004114035

下载选择安装路径即可：

image-20220413210641440

image-20220413210648591

二、VirtualBox安装Centos7系统

2.1、VirtualBox安装Centos7

VirtualBox安装Centos7详细安装教程（同可见）：https://blog.csdn.net/weixin_46267823/article/details/132940562

准备好centos7的镜像文件如下：

image-20240205004102452

将iso镜像放入到提前准备好的文件目录【images】：

image-20240216194116246

步骤一、点击右边的新建

1、选择类型linux、版本2.6，3.x(64)，虚拟电脑文件夹选择在自己提前准备好的空目录下【virtual machines】

2、内存选择2GB即可。

3、现在创建虚拟硬盘，选择VDI，选择动态分配。

4、确定目录，选择30GB

image-20220413211347612

步骤二、设置centos7镜像

1、调整启动顺序：设置-系统-启动顺序，光驱为第一位。

image-20240216194448755

2、选择虚拟光盘centos：设置—存储—属性，添加选择光盘

image-20240216194603277

保存后，右击-启动即可。

步骤三、安装centos过程设置

1、设置时钟：地区选择Asia、城市上海。

image-20240216194911375

2、安装简体中文语言包。

3、软件：server with gui。选择libary、tools、securituy tools

4、进行磁盘分区

关于分区的几个目录的说明：30GB分配

  • /：根分区；一般设置10GB。
  • swap：交换分区，可以当虚拟内存使用；2GB
  • /boot：存储系统的引导信息和内核信息；500MB
  • /usr：存储系统应用软件安装信息；10GB
  • /var：存储系统日志信息。5GB

5、网络设置—打开网卡，设置主机名

image-20240216195859666

最后开始安装即可，过程中可以设置密码与创建用户。

  • 一般设置为root、root即可

可创建新用户：

账号：changlu
密码：123456

步骤四、安装完成后，重新启动，选择license协议确定。进行设置—网络，设置对应的桥接网卡+NAT网卡

指定虚拟机右击-网络：设置一个桥接，一个NAT网卡

网卡1：桥接网卡

image-20220904212426502

网卡2：NAT网卡

image-20220901165519124

启动虚拟机之后，我们可以长按左下角的小电脑标志，即可显示相应的网卡ip地址，之后使用xshell或者其他远程连接工具即可连接该IP地址：

image-20221012141124261

PS：对于Linux系统我们需要本地开启ssh服务，接着将防火墙关闭，此时就能够进行连接了。

关闭防火墙

# 查看状态
systemctl status firewalld# centos关闭防火墙命令
systemctl stop firewalld

2.2、Centos7配置静态IP地址

可参考如何设置centos7的静态IP（virtualBox版）：https://blog.csdn.net/Yang_36368/article/details/127029727

①首先看当前主机的网关地址

cmd中输入：

# 见无线局域网适配器WLAN
ipconfig

②修改网络配置文件

cd /etc/sysconfig/network-scripts/# 直接修改enp0s3配置文件
vi ifcfg-enp0s3

配置内容直接在ifcfg-enp0s3网卡文件修改（可自行根据主机cmd中的网关地址）：

image-20240607223451778

开启网络连接：

image-20240607012007519

配置DNS1：

DNS1: 8.8.8.8

刷新网络配置：

sudo systemctl restart network

2.3、Centos7环境基础配置

准备动作：

可不更换（安装mysql源有问题会使用阿里云的话）：

# 安装wget
yum -y install wget# 若是想使用阿里云源（不建议在后面mysql安装源有问题），则按照如下操作
# ①备份系统自带的yum基础源
# mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.bak
# ②下载阿里云yum源并配置为yum基础源
# wget -O /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo# 依据更新软件包
yum -y update# 安装vim
yum -y install vim

配置Hosts文件，访问server域名即可访问对应的IP地址：

vi /etc/hosts# 文件末尾增加 个人配置的静态ip地址  域名
192.168.80.120 server# 刷新dns缓存
sudo systemctl restart network

关闭防火墙，不关闭防火墙可能导致无法访问 Hadoop 的 Web UI 界面：

# 查看防火墙状态
sudo firewall-cmd --state# 关闭防火墙
sudo systemctl stop firewalld# 设置禁止开机启动
sudo systemctl disable firewalld

三、Windows安装FinalShell及连接Centos7

3.1、FinalShell下载与安装

方式一：资料包中获取

image-20240607223147729

方式二：官网下载

FinalShell网址：http://www.hostbuf.com/

image-20240216174653203

点击下方的windows X64版即可下载：

image-20240216174709160

安装仅需按照步骤下一步即可。

3.2、FinalShell连接虚拟机中的Centos7

# 查看ip地址，一般是ens开头的（之前配置好的静态ip地址）
ip addr# 关闭防火墙
systemctl status firewalld  # stop  disable# 检查sshd是否存在
systemctl status sshd.service# 可互相ping测试
# 接着使用finalshell测试连接

image-20240607223014769

整理者：长路 时间：2024.2.5

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/pingmian/27899.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

父亲节马上到了-和我一起用Python写父亲节的祝福吧

父亲节马上到了-和我一起用Python写父亲节的祝福吧

前言 让我们一起用Python写一段父亲节的祝福吧 📝个人主页→数据挖掘博主ZTLJQ的主页 个人推荐python学习系列： ☄️爬虫JS逆向系列专栏 - 爬虫逆向教学 ☄️python系列专栏 - 从零开始学python 话不多说先上代码 import tkinter as tk from doctest imp…
阅读更多...
设计模式-享元模式Flyweight（结构型）

设计模式-享元模式Flyweight（结构型）

享元模式(Flyweight) 享元模式是一种结构型模式，它主要用于减少创建对象的数量，减少内存占用。通过重用现有对象的方式，如果未找到匹配对象则新建对象。线程池、数据库连接池、常量池等池化的思想就是享元模式的一种应用。 图解 角色 享元工…
阅读更多...
centos中安装并设置vsftpd

centos中安装并设置vsftpd

vsftpd是一个可安装在linux上的ftp服务器软件。 一、安装 安装前保证服务器能上互联网。如果不能上网，看看能不能设法利用局域网代理上网。 sudo yum -y install vsftpd二、配置 1、修改配置文件 cd /etc/vsftpd #修改之前记得备份！！&am…
阅读更多...
远程桌面失败：你的凭据不工作

远程桌面失败：你的凭据不工作

远程桌面失败：你的凭据不工作 远程桌面失败：你的凭据不工作_您的凭据不工作-CSDN博客https://blog.csdn.net/weixin_38004638/article/details/82290796
阅读更多...
LoginGUI.java

LoginGUI.java

LoginGUI.java 完成效果如下图： CODE Summary: This code sets up a login GUI using Swing. It defines a LoginGUI class extending JFrame. The constructor initializes the GUI components and sets up event listeners. The event_login method handles…
阅读更多...
MacOS安装redis

MacOS安装redis

文章目录 前言一、介绍二、下载三、安装四、启动五、配置六、Redis 可视化工具下载七、配置详解八、常用命令总结 前言 Redis因其高性能和低延迟而成为现代应用程序的理想选择，尤其适合需要快速读写操作的场景。随着技术的不断发展，Redis继续在性能、功…
阅读更多...
电机控制安全：PWM 直通

电机控制安全：PWM 直通

在 H 桥中使用互补 PWM 时的一个主要考虑因素是短路的可能性，也称为“击穿”。 如图 5 所示，如果同一支路上的两个开关同时打开，H 桥配置可能会导致电源和接地之间发生直接短路。 如果同一条腿上的两个开关同时打开，则可能会发生…
阅读更多...
ArcGIS 10.2软件安装包下载及安装教程！

ArcGIS 10.2软件安装包下载及安装教程！

今日资源：ArcGIS 适用系统：WINDOWS 软件介绍： ArcGIS是一款专业的电子地图信息编辑和开发软件，提供一种快速并且使用简单的方式浏览地理信息，无论是2D还是3D的信息。软件内置多种编辑工具，可以轻松的完成…
阅读更多...
区间预测 | Matlab实现BP-ABKDE的BP神经网络自适应带宽核密度估计多变量回归区间预测

区间预测 | Matlab实现BP-ABKDE的BP神经网络自适应带宽核密度估计多变量回归区间预测

区间预测 | Matlab实现BP-ABKDE的BP神经网络自适应带宽核密度估计多变量回归区间预测 目录 区间预测 | Matlab实现BP-ABKDE的BP神经网络自适应带宽核密度估计多变量回归区间预测效果一览基本介绍程序设计参考资料 效果一览 基本介绍 1.Matlab实现BP-ABKDE的BP神经网络自适应带…
阅读更多...
基于Matlab的人脸表情识别系统(GUI界面)【W4】

基于Matlab的人脸表情识别系统(GUI界面)【W4】

简介： 该系统是一个基于Matlab开发的人脸表情识别应用程序，旨在识别输入图像中的人脸表情，并通过直观的图形用户界面（GUI）向用户展示识别结果。系统结合了图像处理、机器学习和用户交互技术，使用户能够轻松…
阅读更多...
攻防世界-fakebook题目__详解

攻防世界-fakebook题目__详解

1.打开题目先用dirsearch工具扫描一波，扫出来了robots.php目录，然后访问robots.txt 目录，发现了有一个备份文件 ，访问备份文件，下载内容 文件的大致内容如下 里面有一个curl_exec这个函数容易造成ssrf攻击的漏洞 我…
阅读更多...
基于微信小程序的童书购买系统的设计与实现

基于微信小程序的童书购买系统的设计与实现

基于微信小程序的童书购买系统的设计与实现 摘 要 《“十三五”规划》第一次把“保障妇女、未成年人、残疾人的基本权利”作为重要内容，充分体现了党和国家对广大人民群众的关心，为广大人民群众营造了良好的学习氛围，并出台多项文件及政策&…
阅读更多...
斯坦福ALOHA机器人团队最新论文-HumanPlus: 从人类学习的人形机器人动作模仿和自主操作

斯坦福ALOHA机器人团队最新论文-HumanPlus: 从人类学习的人形机器人动作模仿和自主操作

斯坦福ALOHA机器人团队最新论文-HumanPlus，继续推进了机器人技术的前沿进展，我进行了部分翻译和解读： HumanPlus人形机器人系统技术解读 1 简介 本教程将介绍一个名为HumanPlus的全栈式人形机器人系统。该系统能够让机器人从人类数据中学习…
阅读更多...
【MySQL】（基础篇十二） —— 子查询

【MySQL】（基础篇十二） —— 子查询

分组数据 本文介绍什么是子查询以及如何使用它们。 SQL允许我们创建子查询（subquery），即嵌套在其他查询中的查询。这样可以实现更复杂的查询，理解这个概念的最好方法是考察几个例子。 利用子查询进行过滤 需求：查询…
阅读更多...
Python设计模式 - 简单工厂模式

Python设计模式 - 简单工厂模式

定义 简单工厂模式是一种创建型设计模式，它通过一个工厂类来创建对象，而不是通过客户端直接实例化对象。 结构 工厂类（Factory）：负责创建对象的实例。工厂类通常包含一个方法，根据输入参数的不同创建并返…
阅读更多...
React+TS前台项目实战（七）-- 全局常用组件Select封装

React+TS前台项目实战（七）-- 全局常用组件Select封装

文章目录 前言Select组件1. 功能分析2. 代码详细注释说明3. 使用方式4. 效果展示（1）鼠标移入效果（2）下拉框打开效果（3）回调输出 总结 前言 今天这篇主要讲全局select组件封装，可根据UI设计师要…
阅读更多...
网络通信的两大支柱：TCP与UDP协议详解（非常详细）零基础入门到精通，收藏这一篇就够了

网络通信的两大支柱：TCP与UDP协议详解（非常详细）零基础入门到精通，收藏这一篇就够了

在构建现代互联网通信的基石中，TCP（传输控制协议）和UDP（用户数据报协议）起着至关重要的作用。本文将深入探讨两者的区别及应用场景。 1 TCP和UDP的共同点 传输层协议： TCP和UDP都是传输层协议&#xff…
阅读更多...
紫光展锐5G处理器T750__国产手机芯片5G方案

紫光展锐5G处理器T750__国产手机芯片5G方案

展锐T750核心板采用6nm EUV制程工艺，CPU架构采用了八核设计，其中包括两个主频为2.0GHz的Arm Cortex-A76性能核心和六个主频为1.8GHz的A55小核。这种组合使得T750具备卓越的处理能力，并能在节能的同时提供出色的性能表现。该核心模块还搭载了M…
阅读更多...
L51--- 144. 二叉树的前序遍历(深搜）---Java版

L51--- 144. 二叉树的前序遍历(深搜）---Java版

1.题目描述 2.思路 二叉树的前序遍历遵循 根左右 （1）方法 preorderTraversal 输入参数: TreeNode root root是二叉树的根节点。 返回值: List 返回一个包含二叉树节点值的列表，这些值按照前序遍历的顺序排列。 功能: 这个方法是前序遍历的…
阅读更多...
微信小程序04: 获取openId和unionId

微信小程序04: 获取openId和unionId

全文目录,一步到位 1.前言简介1.1 专栏传送门1.1.1 上文小总结1.1.2 上文传送门 2. 获取openId和unionId操作2.1 准备工作2.1.1 请先复制00篇的统一封装代码2.1.2 微信登录请求dto 2.2 具体代码使用与注释如下2.2.1 业务代码2.2.2 代码解释(一)[无需复制]2.2.3 获取的map使用方…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023