大数据前置学习基础准备(非常详细!)

1.需要的环境

        需要3台服务器,centos7

为集群,全部设置为nat模式

2.整个环境大体

1.设置三台Linux虚拟机的主机和固定ip

2.在Linux系统以及本机系统中配置了主机名映射

3.配置了三台服务器之间root用户的ssh免密互通

4.安装配置JDK环境

5.关闭防火墙和SELinux

6.更新时区和同步时间

7.拍摄快照

3.修改主机名,配置静态ip

vim /etc/hostanme

将里面的内容修改为root1,其他的机器以此类推root2,root3

设置固定ip地址,三台机器设置同一个网段,并且ip相连

vim /etc/sysconfig/network-scripts/ifcfg-ens33

修改后进行网卡重启

Systemctl restart network

4.配置Linux主机名映射

配置3台linux的/etc/hosts

配置这个原因就是之后再远程连接工具中只输入主机名就好了《例如

5.配置windows主机名映射

在windows系统中修改host文件,填入如下内容:
windows路径为C:\Windows\System32\drivers\etc下的hosts文件中添加ip和用户名

或者直接win+r输入system32

6.配置ssh免密登录

后续安装的集群化软件,多数需要远程登录以及远程执行命令,我们可以简单起见,配置三台Linux服务器之间的免密码互相ssh登录

1.首先在每一台机器中执行ssh-keygen -t rsa -b 4096 一直回车就好了(rsa是密钥,4096是4096位的密码)

2.再在每一台机器中执行ssh-copy-id root1,ssh-copy-id root2,ssh-copy-id root3

全部执行完毕后就root1,root2,root3用户之间就能免密互通,直接ssh root2就能切换到root2,其他也一样

创建hadoop用户并配置免密登录

后续大数据的软件,将不会以root用户启动(主要是确保安全,要是被黑客攻击了就不会是root权限,养成良好习惯)

1.在每台机器上执行useradd hadoop创建hadoop用户

2.在每一台机器上执行passwd hadoop,设置hadoop用户密码123456

3.每一台机器都切换到hadoop用户,su hadoop,并且执行ssh-keygen -t rsa -b 4096,创建ssh密钥

4.在每台机器上执行ssh-copy-id root1,ssh-copy-id root2,ssh-copy-id root3,现在也是一样能互通了

7.配置JDK环境

1.创建文件夹,用来部署JDK,将JDK和

Mkdir -p /export/server

上传jdk文件到服务器上,我用的是finalshell,直接拖进去

2.解压缩到这个export/server中

3.配置软链接

4.配置JAVA_HOME环境变量

加这两条

执行命令,让环境变量生效

将之前系统自带的java环境删除,将我们刚刚安装的创建一个软链接到系统目录下

执行命令验证,java -version,javac

另外的两台机器也是一样,使用远程复制过去java,之后配置环境变量

对三台虚拟机完成防火墙,SElinux,时间同步等系统设置

8.关闭防火墙和SELinux

集群化软件之间需要通过端口互相通讯,为了避免出现网络不通的问题,我们可以简单的在集群内部关闭防火墙

Linux有一个安全模块:SELinux,用以限制用户和程序的相关权限,来确保系统的安全稳定

在当前,我们需要关闭SELinux功能,避免导致后面的软件运行出现问题

编辑文件修改

重启才能生效

9.修改时间地区配置自动时间同步

1.安装ntp软件

yum install -y ntp

2.更新时区

rm -f /etc/localtime;sudo In -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

3.同步时间

ntpdate -u ntp.aliyun.com

4.开启ntp服务并设置开机自启

systemctl start ntpd

systemctl enable ntpd

最后拍摄快照,防止之后出现问题

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/123730.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Python基础入门例程24-NP24 淘汰排名最后的学生(列表)

最近的博文: Python基础入门例程23-NP23 删除好友(列表)-CSDN博客 Python基础入门例程22-NP22 删除简历(列表)-CSDN博客 Python基础入门例程21-NP21 增加派对名单(二)(列表&#xff…

【Linux】进程概念(下)

进程概念 一、环境变量1. 命令行参数2. 常见的环境变量(1)PATH(2)PWD(3)HOME(4)env 查看所有的环境变量 3. 获取环境变量(1)通过代码获取环境变量&#xff08…

博客摘录「 TCP/IP网络编程——习题答案」2023年10月29日

clnt_sdaccept(serv_sd, (struct sockaddr*)&clnt_adr, &clnt_adr_sz);read(clnt_sd, file_name, BUF_SIZE); fpfopen(file_name, "rb"); //尝试打开客户端请求的文件if(fp!NULL) //如果文件存在,则传送给客户端{while(…

应用开发平台集成工作流系列之17——流程建模功能前端设计与改造回顾

背景 对于流程设置不友好的问题,国内钉钉另行设计与实现了一套流程建模模式,跟bpmn规范无关,有人仿照实现了下,并做了开源(https://github.com/StavinLi/Workflow-Vue3),效果图如下&#xff1a…

HiQPdf Library for .NET - HTML to PDF Crack

HiQPdf Library for .NET - HTML 到 PDF 转换器 .NET Core,用于 .NET 的 HiQPdf HTML 到 PDF 转换器 :HiQPdf HTML to PDF Library for .NET C# 和 HTML to PDF .NET Core 为您提供了一个现代、快速、灵活且强大的工具,只需几行代码即可创建复…

CRM客户管理系统源码 带移动端APP+H5+小程序

CRM客户管理系统源码 带移动端APPH5小程序 开发环境: thinkphp mysql 功能介绍: 1、 办公管理:审批管理、工作报告、日程管理、办公审批、公告管理 2、 客户管理:我的客户、客户列表、成交客户、行业类别、预查、地区列表、客户状态、客…

ES性能优化最佳实践- 检索性能提升30倍!

Elasticsearch是被广泛使用的搜索引擎技术,它的应用领域远不止搜索引擎,还包括日志分析、实时数据监控、内容推荐、电子商务平台、企业级搜索解决方案以及许多其他领域。其强大的全文搜索、实时索引、分布式性能和丰富的插件生态系统使其成为了许多不同行…

echarts修改图例legend样式:正方形、矩形、圆形、圆角

ECharts 提供的标记类型有 ‘circle’, ‘rect’, ‘roundRect’, ‘triangle’, ‘diamond’, ‘pin’, ‘arrow’, ‘none’ legend: {icon: circle }参考文章 echarts 图例修改legend中icon的形状及大小

SpringBoot中HttpClient的使用

文章目录 1. HttpClient 介绍2. 导入坐标3. 使用 HttpClient 发送 Get 请求4. 使用 HttpClient 发送 Post 请求 1. HttpClient 介绍 HttpClient 是 Apache Jakarta Common下的子项目,用来提供高效的、最新的、功能丰富的支持 HTTP 协议的客户端编程工具包&#xff…

JavaScript组合模式

JavaScript组合模式 1 什么是组合模式2 宏命令3 示例:扫描文件夹4 引用父对象 1 什么是组合模式 组合模式是一种结构型设计模式,用于将对象组合成树形结构,并使客户端能够统一处理单个对象和组合对象。它通过使用继承和组合两个概念&#xf…

【MySQL】C语言连接数据库

文章目录 一、安装 MySQL 库二、MySQL C API 相关接口1、C API 官方文档2、初始化 MYSQL3、连接 MySQL4、下发 mysql 指令5、获取 mysql 查询结果6、释放 MYSQL_RES 对象7、关闭 MySQL 连接8、MySQL 其他操作9、总结 三、使用图形化工具连接 MySQL 一、安装 MySQL 库 我们之前…

nlp之文本转向量

文章目录 代码代码解读 代码 from tensorflow.keras.preprocessing.text import Tokenizer # 标记器(每一个词,以我们的数值做映射,)words [LaoWang has a Wechat account., He is not a nice person., Be careful.] # 把这句话中每一个单词&#xf…

python文件检索模拟find命令

#path代表待搜索的目录路径,result存储搜索到的文件路径列表 #函数将path目录中的全部子目录和文件找到保存至result def search_dir(path,result): #使用os中的listdir得到path下的目录和文件,保存到child_files child_files os.listdir(path)…

JavaSE19——file文件类

file文件类 在 Java File 类是 java.io 包中唯一代表磁盘文件本身的对象 File 类不能访问文件内容本身,如果需要访问文件内容本身,则需要使用输入/输出流。 File(String path):如果 path 是实际存在的路径,则该 File 对象表示的…

java try throw exception finally 遇上 return break continue造成异常丢失

如下所示,是一个java笔试题,考察的是抛出异常之后,程序运行结果,但是这里抛出异常,并没有捕获异常,而是通过finally来进行了流程控制处理。 package com.xxx.test;public class ExceptionFlow {public sta…

【Python机器学习】零基础掌握SkewedChi2Sampler内核近似特征

有没有遇到这样的困扰:即使在拥有大量数据的条件下,传统的机器学习模型表现依然不佳?这时,数据预处理和特征工程成了解决问题的关键步骤。那么,有没有一种算法能够优化特征,提升模型性能呢? 假设一个在线商城希望通过用户行为(比如点击、购买等)来预测用户是否会成为…

toluaframework中C#怎么调用Lua的方法以及无GC方法

toluaframework中C#怎么调用Lua的方法 问题Util.CallMethodLuaManager.CallFunctionLuaFunction.LazyCall 解决方案LuaFunction脚本无GC消耗的调用 用法总结 问题 用过luaframework框架的人应该都知道框架提供了Util的工具类,工具类提供了一个方法就是Util.CallMet…

web:[网鼎杯 2020 青龙组]AreUSerialz

题目 点进题目发现 需要进行代码审计 function __destruct() {if($this->op "2")$this->op "1";$this->content "";$this->process();}这里有__destruct()函数,在对象销毁时自动调用,根据$op属性的值进行…

lua移植及使用

编译环境:Ubuntu16.04 64位 交叉编译工具:arm-hisiv500-linux-gcc 文章目录 1. 项目背景2. lua开源版本选择3. 封装代码3.1 源码简介3.2 封装类3.2.1 头文件3.2.2 类的实现3.3.3 sample代码 1. 项目背景 使用lua脚本,读取key对应的值&#x…

数字化转型系列主题:SWOT分析方法与样例说明

定义 SWOT分析是一种常用的战略性管理工具,用于评估一个组织、项目或个人的优势、劣势、机会和威胁。SWOT代表Strengths(优势)、Weaknesses(劣势)、Opportunities(机会)和Threats(威…