大数据集群搭建之节点的网络配置过程(二)

紧接着上一章来设置windows的vmnet8的ip地址和虚拟机中centos的ip地址。

NAT虚拟网络的配置图如下图所示:
图一

1、这里根据VMware中得到的网关地址去设置vmnet8的ip地址。
网关地址查看:

这里写图片描述

2、得到的网关地址后去设置vmnet8,将网关地址设置为vmnet8的网关地址,DNS地址;IP地址可以自己设置(只要在同一个局域网就行)。(参考NAT虚拟网络的配置图)
例如:我得到的网关地址(gw)是:192.168.33.1。
vmnet8设置的ip地址可以是:192.168.33.2–192.168.33.255。
相应的DNS地址和网关地址一样。

这里写图片描述

这里写图片描述

3、配置好vmnet8后,就开始配置Linux虚拟机(参考NAT虚拟网络的配置图),这时你只需要将虚拟机配置下网络就行了。具体操作如下:
修改ip地址:
命令行执行:vi /etc/sysconfig/network-scripts/ifcfg-eth0
按照如下设置做修改
这里写图片描述

命令行执行以下语句重启网络:
service network restart

4、配置完成后,使用VMware对配置好的虚拟机进行克隆(相关步骤可自行百度),然后参考NAT虚拟网络的配置图再对其他虚拟机进行网络配置。但是我们搭建的集群各个虚拟机之间还没法互相识别。
如何在局域网内让各个服务器互相识别?
通过在每台服务器的Hosts文件下声明每个IP地址对应的主机名就OK了。这样每次在一台服务器上去访问另外一台服务器时,输入对应的网址,该服务器会先去本地的Hosts文件中查找看是否有对应的域名,若有则直接发送对应IP地址。
这里有必要解释下DNS的解析网址的原理:

这里写图片描述

接下来我们就需要在每台虚拟机Hosts文件下声明每个IP地址对应的主机名。具体操作如下:
在虚拟机命令行输入:
vi /etc/hosts

添加集群包含的各个虚拟机的ip的主机名,如图所示:

这里写图片描述

修改主机名的操作:
vi /etc/sysconfig/network

这里写图片描述

最后配置完成后,打开虚拟机通过Ping操作查看集群各个节点间是否能通信。
操作:
ping 192.169.11.2(另一台虚拟机的IP地址)
效果图:这里写图片描述

至此,集群算是完成了最基本的配置,接下来需要安装相关的软件和hadoop等工具。将在下一章介绍。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/456812.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Python3.6+Django2.0+Xadmin2.0学生信息管理系统-2

1、上传图片/文件等资源 有时候需要添加一些附件,例如,新生刚入学,大家相互之间还不熟悉,希望能通过照片来加深印象,并且方便教学管理。 首先,对demo/urls.py文件进行改造,给urlpatterns添加s…

pycharm之no python interpreter configured for project的解决办法

今天由于重装了系统,所以必须得重新配置一些软件,在打开pycharm运行程序时显示“no python interpreter configured for project”提示。根据字面意思是“python没有解释器”。 解决办法: 找到你之前下载python环境支持库如下图所示&#x…

Python是非常优美的语言,那到底如何个美呢?

我把Python里面非常有名的简洁,高效,方便的代码整理出来,让我们来一睹她的风采。其实每个主题展开讲都是很大的篇幅,今天我们先overview一下 看完之后,相信初学者会更快的喜欢上python. 1.列表推导 要说Python里面最…

大数据集群搭建之hadoop、tomcat、jdk等工具的安装(三)

目录一、准备的资源:二、安装配置过程 目录 本章就说下各种软件的安装和配置。 一、准备的资源: 1、tomcat(如用于在网页上查看HDFS的存储等) 地址:http://pan.baidu.com/s/1miC93ny 密码:52dd 2、jdk 地址:ht…

pycharm 快捷键大全

1、编辑(Editing) Ctrl Space 基本的代码完成(类、方法、属性) Ctrl Alt Space 快速导入任意类 Ctrl Shift Enter 语句完成 Ctrl P 参数信息(在方法中调用参数) Ctrl Q 快速查看文档 F1 Web帮…

转载 Spark性能优化指南——基础篇

前言 在大数据计算领域,Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作,应用范围与前景非常广泛。在美团•大众点评&#xff…

Pycharm新建文件时自动添加基础信息

# -*- coding: utf-8 -*- # Time : ${DATE} ${TIME} # Author : Liu # File : ${NAME}.py 如下图所示 再建一个py文件时就会自动添加信息: # -*- coding: utf-8 -*- # Time : 2019/05/05 11:46 # Author : Liu # File : DOUBAN.py

Linux中的crontab详解

linux系统则是由 cron (crond) 这个系统服务来控制的。Linux 系统上面原本就有非常多的计划性工作,因此这个系统服务是默认启动的。另外, 由于使用者自己也可以设置计划任务,所以, Linux 系统也提供了使用者控制计划任务的命令 :crontab 命令…

实现一个简单的前端水印

需求分析 水印效果如下: 除了直观需求,还有非直观需求。 这是个背景图。文字样式以及文字本身可调整。对于需求1,需要前端生成图片的能力。 该能力的原理:借用canvas.toDataURL()或者(new XMLSerializer()).serializeToString()生…

QQ客服聊天功能网页跳转只需要几行代码

<html><head><meta charset"utf-8"></head><body><a target"_blank" href"http://wpa.qq.com/msgrd?v3&uin客服QQ号&siteqq&menuyes"><img border"0" src"http://wpa.qq.co…

Linux环境下Mysql的安装教程及安装过程常见问题的解决方法

最近安装mysql时看到一篇不错的文章 1、下载 下载地址&#xff1a;http://dev.mysql.com/downloads/mysql/5.6.html#downloads 下载版本&#xff1a;我这里选择的5.6.33&#xff0c;通用版&#xff0c;linux下64位 也可以直接复制64位的下载地址&#xff0c;通过命令下载&a…

Spark分布式集群的搭建和运行

集群共三台CentOS虚拟机&#xff0c;一个Matser&#xff0c;主机名为master&#xff1b;三个Worker&#xff0c;主机名分别为master、slave03、slave04。前提是Hadoop和Zookeeper已经安装并且开始运行。 1. 在master上下载Scala-2.11.0.tgz&#xff0c;复制到/opt/下面&#xf…

Hive2.1.1的安装教程(元数据放在本地Mysql)

目录1.上传tar包2.解压3. 设置环境变量4.设置Hive的配置文件5.启动Hive6.安装MySQL7.下载MySQL的驱动包8.修改Hive的配置文件9.启动Hive10.查看MySQL数据库 目录 1.上传tar包 jar包地址&#xff1a;http://hive.apache.org/downloads.html 2.解压 tar -zxvf apache-hive-2…

App性能优化之内存优化

2019独角兽企业重金招聘Python工程师标准>>> 为什么要进行内存优化呢&#xff1f;其实我们可以反过来想。如果不进行内存优化会产生什么样的问题&#xff1f; App的运行是有内存限制的&#xff0c;超过限制会产生OOM&#xff0c;导致App崩溃。如果内存不进行优化&am…

Linux 网络编程详解四(流协议与粘包)

TCP/IP协议是一种流协议&#xff0c;流协议是字节流&#xff0c;只有开始和结束&#xff0c;包与包之间没有边界&#xff0c;所以容易产生粘包&#xff0c;但是不会丢包。 UDP/IP协议是数据报&#xff0c;有边界&#xff0c;不存在粘包&#xff0c;但是可能丢包。 产生粘包问题…

执行Hive语句报错:FAILED: Error in metadata: javax.jdo.JDOFatalDataStoreException: Access denied for user '

安装个Hive真不省心&#xff0c;各种问题。最近安装好Hive后执行Hive语句时碰到这样的错误&#xff1a; hive> show databases; FAILED: Error in metadata: javax.jdo.JDOFatalDataStoreException: Access denied for user rootlocalhost (using password: YES) NestedThr…

阿里云部署django项目流程【centos7+python3+mysql】

购买阿里云服务器 到[阿里云官网]&#xff0c;选择轻量应用服务器&#xff0c; 步骤如图所示&#xff1a; 地域随便选择哪一个&#xff0c;镜像的话&#xff0c;对比了CentOS&#xff0c;Debian&#xff0c;Ubuntu&#xff0c;我最终选择了CentOS&#xff0c;因为流行嘛&…

对于频繁的写数据处理方式

添加一个新的表情的时候 调用 recentEmotions方法 将所有表情写入数组 每次都是 添加一个新的表情进来 要将沙盒中的所有表情首先加载进数组&#xff0c;然后将表情添加到数组里面 然后在将数组写入沙盒 处理方式 没有必要每次都要到沙盒里面读取数组文件 类方法 不能访问 成员…

Scrapy 框架【学习笔记01】

Scrapy 框架 Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架&#xff0c;用途非常广泛。 框架的力量&#xff0c;用户只需要定制开发几个模块就可以轻松的实现一个爬虫&#xff0c;用来抓取网页内容以及各种图片&#xff0c;非常之方便。 Scra…

scrapy startproject【学习笔记02】

入门案例 学习目标 创建一个Scrapy项目定义提取的结构化数据(Item)编写爬取网站的 Spider 并提取出结构化数据(Item)编写 Item Pipelines 来存储提取到的Item(即结构化数据) 一. 新建项目(scrapy startproject) 在开始爬取之前&#xff0c;必须创建一个新的Scrapy项目。进入…