大数据前置学习基础准备(非常详细!)

1.需要的环境

        需要3台服务器,centos7

为集群,全部设置为nat模式

2.整个环境大体

1.设置三台Linux虚拟机的主机和固定ip

2.在Linux系统以及本机系统中配置了主机名映射

3.配置了三台服务器之间root用户的ssh免密互通

4.安装配置JDK环境

5.关闭防火墙和SELinux

6.更新时区和同步时间

7.拍摄快照

3.修改主机名,配置静态ip

vim /etc/hostanme

将里面的内容修改为root1,其他的机器以此类推root2,root3

设置固定ip地址,三台机器设置同一个网段,并且ip相连

vim /etc/sysconfig/network-scripts/ifcfg-ens33

修改后进行网卡重启

Systemctl restart network

4.配置Linux主机名映射

配置3台linux的/etc/hosts

配置这个原因就是之后再远程连接工具中只输入主机名就好了《例如

5.配置windows主机名映射

在windows系统中修改host文件,填入如下内容:
windows路径为C:\Windows\System32\drivers\etc下的hosts文件中添加ip和用户名

或者直接win+r输入system32

6.配置ssh免密登录

后续安装的集群化软件,多数需要远程登录以及远程执行命令,我们可以简单起见,配置三台Linux服务器之间的免密码互相ssh登录

1.首先在每一台机器中执行ssh-keygen -t rsa -b 4096 一直回车就好了(rsa是密钥,4096是4096位的密码)

2.再在每一台机器中执行ssh-copy-id root1,ssh-copy-id root2,ssh-copy-id root3

全部执行完毕后就root1,root2,root3用户之间就能免密互通,直接ssh root2就能切换到root2,其他也一样

创建hadoop用户并配置免密登录

后续大数据的软件,将不会以root用户启动(主要是确保安全,要是被黑客攻击了就不会是root权限,养成良好习惯)

1.在每台机器上执行useradd hadoop创建hadoop用户

2.在每一台机器上执行passwd hadoop,设置hadoop用户密码123456

3.每一台机器都切换到hadoop用户,su hadoop,并且执行ssh-keygen -t rsa -b 4096,创建ssh密钥

4.在每台机器上执行ssh-copy-id root1,ssh-copy-id root2,ssh-copy-id root3,现在也是一样能互通了

7.配置JDK环境

1.创建文件夹,用来部署JDK,将JDK和

Mkdir -p /export/server

上传jdk文件到服务器上,我用的是finalshell,直接拖进去

2.解压缩到这个export/server中

3.配置软链接

4.配置JAVA_HOME环境变量

加这两条

执行命令,让环境变量生效

将之前系统自带的java环境删除,将我们刚刚安装的创建一个软链接到系统目录下

执行命令验证,java -version,javac

另外的两台机器也是一样,使用远程复制过去java,之后配置环境变量

对三台虚拟机完成防火墙,SElinux,时间同步等系统设置

8.关闭防火墙和SELinux

集群化软件之间需要通过端口互相通讯,为了避免出现网络不通的问题,我们可以简单的在集群内部关闭防火墙

Linux有一个安全模块:SELinux,用以限制用户和程序的相关权限,来确保系统的安全稳定

在当前,我们需要关闭SELinux功能,避免导致后面的软件运行出现问题

编辑文件修改

重启才能生效

9.修改时间地区配置自动时间同步

1.安装ntp软件

yum install -y ntp

2.更新时区

rm -f /etc/localtime;sudo In -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

3.同步时间

ntpdate -u ntp.aliyun.com

4.开启ntp服务并设置开机自启

systemctl start ntpd

systemctl enable ntpd

最后拍摄快照,防止之后出现问题

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/123730.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【Linux】进程概念(下)

进程概念 一、环境变量1. 命令行参数2. 常见的环境变量(1)PATH(2)PWD(3)HOME(4)env 查看所有的环境变量 3. 获取环境变量(1)通过代码获取环境变量&#xff08…

应用开发平台集成工作流系列之17——流程建模功能前端设计与改造回顾

背景 对于流程设置不友好的问题,国内钉钉另行设计与实现了一套流程建模模式,跟bpmn规范无关,有人仿照实现了下,并做了开源(https://github.com/StavinLi/Workflow-Vue3),效果图如下&#xff1a…

HiQPdf Library for .NET - HTML to PDF Crack

HiQPdf Library for .NET - HTML 到 PDF 转换器 .NET Core,用于 .NET 的 HiQPdf HTML 到 PDF 转换器 :HiQPdf HTML to PDF Library for .NET C# 和 HTML to PDF .NET Core 为您提供了一个现代、快速、灵活且强大的工具,只需几行代码即可创建复…

CRM客户管理系统源码 带移动端APP+H5+小程序

CRM客户管理系统源码 带移动端APPH5小程序 开发环境: thinkphp mysql 功能介绍: 1、 办公管理:审批管理、工作报告、日程管理、办公审批、公告管理 2、 客户管理:我的客户、客户列表、成交客户、行业类别、预查、地区列表、客户状态、客…

ES性能优化最佳实践- 检索性能提升30倍!

Elasticsearch是被广泛使用的搜索引擎技术,它的应用领域远不止搜索引擎,还包括日志分析、实时数据监控、内容推荐、电子商务平台、企业级搜索解决方案以及许多其他领域。其强大的全文搜索、实时索引、分布式性能和丰富的插件生态系统使其成为了许多不同行…

JavaScript组合模式

JavaScript组合模式 1 什么是组合模式2 宏命令3 示例:扫描文件夹4 引用父对象 1 什么是组合模式 组合模式是一种结构型设计模式,用于将对象组合成树形结构,并使客户端能够统一处理单个对象和组合对象。它通过使用继承和组合两个概念&#xf…

【MySQL】C语言连接数据库

文章目录 一、安装 MySQL 库二、MySQL C API 相关接口1、C API 官方文档2、初始化 MYSQL3、连接 MySQL4、下发 mysql 指令5、获取 mysql 查询结果6、释放 MYSQL_RES 对象7、关闭 MySQL 连接8、MySQL 其他操作9、总结 三、使用图形化工具连接 MySQL 一、安装 MySQL 库 我们之前…

java try throw exception finally 遇上 return break continue造成异常丢失

如下所示,是一个java笔试题,考察的是抛出异常之后,程序运行结果,但是这里抛出异常,并没有捕获异常,而是通过finally来进行了流程控制处理。 package com.xxx.test;public class ExceptionFlow {public sta…

toluaframework中C#怎么调用Lua的方法以及无GC方法

toluaframework中C#怎么调用Lua的方法 问题Util.CallMethodLuaManager.CallFunctionLuaFunction.LazyCall 解决方案LuaFunction脚本无GC消耗的调用 用法总结 问题 用过luaframework框架的人应该都知道框架提供了Util的工具类,工具类提供了一个方法就是Util.CallMet…

web:[网鼎杯 2020 青龙组]AreUSerialz

题目 点进题目发现 需要进行代码审计 function __destruct() {if($this->op "2")$this->op "1";$this->content "";$this->process();}这里有__destruct()函数,在对象销毁时自动调用,根据$op属性的值进行…

【每日一题】H 指数 II

文章目录 Tag题目来源题目解读解题思路方法一:二分查找 写在最后 Tag 【二分查找】【数组】【2023-10-30】 题目来源 275. H 指数 II 题目解读 本题与 274. H 指数 题目一致,只是加强了一下条件,数组是有序的。 解题思路 方法一&#xff…

WLAN的组网架构和工作原理

目录 WLAN的组网架构 FAT AP架构 AC FIT AP架构 敏捷分布式AP 下一代园区网络:智简园区(大中型园区网络) WLAN工作原理 WLAN工作流程 1.AP上线 (1)AP获取IP地址; (2)AP发…

当『后设学习』碰上『工程学思维』

只要我成为一个废物,就没人能够利用我! 雷猴啊,我是一只临期程序猿。打过几年工,写过几行代码。但今天我不想聊代码,我们聊聊学习这件事。 技术年年更新,尤其是前端框架,很多时候觉得学习速度都…

MyBatis的增删改查

2023.10.29 本章学习MyBatis的基本crud操作。 insert java程序如下: ①使用map集合传参 Testpublic void testInsertCar(){SqlSession sqlSession SqlSessionUtil.openSession();//先将数据放到Map集合中,在sql语句中使用 #{map集合的key} 来完成传…

JVM进阶(3)

一)什么是垃圾? 垃圾指的是在应用程序中没有任何指针指向的对象,这个对象就是需要被回收的垃圾,如果不及时的针对内存中的垃圾进行清理,那么这些垃圾对象所占用的内存空间可能一直保留到应用程序结束,被保留的空间无法…

Python练习

定义学员信息类,包含姓名、成绩属性,定义成绩打印方法 (90分及以上显示优秀,80分及以上显示良好,70分及以上显示中等,60分及以上显示合格,60分以下显示不及格) class Student:def __init__(self, name, sco…

SpringMVC学习

一、SpringMvc 概述 1.什么是SpringMVC? ( •̀ ω •́ )✧: SpringMVC是基于MVC开发模式的框架,具备IOC和AOP MyBatis用来优化持久层, SpringMVC优化控制器。 spring是用来整合这两个框架 的框架

人工智能基础_机器学习008_使用正规方程_损失函数进行计算_一元一次和二元一次方程演示_sklearn线性回归演示---人工智能工作笔记0048

自然界很多都是正态分布的,身高,年龄,体重...但是财富不是. 然后我们来看一下这个y = wx+b 线性回归方程. 然后我们用上面的代码演示. 可以看到首先import numpy as np 导入numby 数据计算库 import matplotlib.pyplot as plt 然后导入图形画的库 然后: X = np.linspace(0,…

【LeetCode刷题-哈希】--349.两个数组的交集

349.两个数组的交集 class Solution {public int[] intersection(int[] nums1, int[] nums2) {Set<Integer> num1set new HashSet<>();Set<Integer> interset new HashSet<>();for(Integer n : nums1){ //将nums1中的元素加到num1set中num1set.add(…

【C++项目实战】基于多设计模式下的同步于异步的日志系统(完整详细)

&#x1f307;个人主页&#xff1a;平凡的小苏 &#x1f4da;学习格言&#xff1a;命运给你一个低的起点&#xff0c;是想看你精彩的翻盘&#xff0c;而不是让你自甘堕落&#xff0c;脚下的路虽然难走&#xff0c;但我还能走&#xff0c;比起向阳而生&#xff0c;我更想尝试逆风…