hadoop1.2.1伪分布式搭建

0.使用host-only方式
    将Windows上的虚拟网卡改成跟Linux上的网卡在同一网段
    注意:一定要将widonws上的WMnet1的IP设置和你的虚拟机在同一网段,但是IP不能相同
1.Linux环境配置(windows下面的防火墙也要关闭)
    1.1修改主机名
        vim /etc/sysconfig/network
    1.2修改IP
        vim /etc/sysconfig/network-scripts/ifcfg-eth0
        
        DEVICE="eth0"
        BOOTPROTO="static"   ###
        HWADDR="00:0C:29:BF:45:8B"
        IPV6INIT="yes"
        NM_CONTROLLED="yes"
        ONBOOT="yes"
        TYPE="Ethernet"
        UUID="99339c27-0884-46c0-85d5-2612e5c1f149"
        IPADDR="192.168.1.110"   ###
        NETMASK="255.255.255.0"  ###
        GATEWAY="192.192.1.1"    ###
    1.3修改主机名和IP的映射关系
        vi /etc/hosts
        
        192.168.1.110 itcast
    1.4关闭防火墙
        查看防护墙状态
        service iptables status
        
        关闭
        service iptables stop
        
        查看防火墙开机启动状态
        chkconfig iptables --list
        
        关闭开机启动
        chkconfig iptables off
    1.5安装JDK
        上传JDK
        添加执行权限
        chmod u+x jdk-6u45-linux-i586.bin
        
        解压
        ./jdk-6u45-linux-i586.bin
        
        mkdir /usr/java
        mv jdk1.6.0_45/ /usr/java/
        
        将java添加到环境变量
        vim /etc/profile
        在文件的末尾添加如下内容
        
        export JAVA_HOME=/usr/java/jdk1.6.0_45
        export PATH=$PATH:$JAVA_HOME/bin

        刷新配置
        source /etc/profile
        
2.配置hadoop
    2.1上传hadoop包
    
    2.2解压hadoop包
        首先在根目录创建一个cloud目录
        mkdir /cloud
        
        tar -zxvf hadoop-1.1.2.tar.gz -C /cloud/
    2.3配置hadoop伪分布式(要修改4个文件)
        第一个:hadoop-env.sh
        vim hadoop-env.sh
            export JAVA_HOME=/usr/java/jdk1.6.0_45
        
        第二个:core-site.xml
        vim core-site.xml
            
            <configuration>
                    <!-- 指定HDFS的namenode的通信地址 -->
                    <property>
                            <name>fs.default.name</name>
                            <value>hdfs://itcast:9000</value>
                    </property>
                    <!-- 指定hadoop运行时产生文件的存放目录 -->
                    <property>
                            <name>hadoop.tmp.dir</name>
                            <value>/cloud/hadoop-1.1.2/tmp</value>
                    </property>
            </configuration>
            
        第三个:hdfs-site.xml
        vim hdfs-site.xml
            <configuration>
                <!-- 配置HDFS副本的数量 -->
                <property>
                        <name>dfs.replication</name>
                        <value>1</value>
                </property>
            </configuration>
            
        第四个:mapred-site.xml
        vim mapred-site.xml
            <configuration>
                    <!-- 指定jobtracker地址 -->
                    <property>
                            <name>mapred.job.tracker</name>
                            <value>itcast:9001</value>
                    </property>
            </configuration>
            
    2.4将hadoop添加到环境变量
        vim /etc/profile
        
        export JAVA_HOME=/usr/java/jdk1.6.0_45
        export HADOOP_HOME=/cloud/hadoop-1.1.2
        export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
        
        source /etc/profile
    
    2.5格式化HDFS
        hadoop namenode -format
    
    2.6启动hadoop
        start-all.sh
    
    2.7验证集群是否启动成功
        jps(不包括jps应该有5个)
        NameNode
        SecondaryNameNode
        DataNode
        JobTracker
        TaskTracker
        还可以通过浏览器的方式验证
        http://192.168.1.110:50070 (hdfs管理界面)
        http://192.168.1.110:50030 (mr管理界面)
        
        在这个文件中添加linux主机名和IP的映射关系
        C:\Windows\System32\drivers\etc
        
3.配置ssh免登陆
    生成ssh免登陆密钥
    ssh-keygen -t rsa
    执行完这个命令后,会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)
    将公钥拷贝到要免登陆的机器上
    cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/66843.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

HarmonyOS—UI开发性能提升的推荐方法

注&#xff1a;本文转载自HarmonyOS官网文档 开发者若使用低性能的代码实现功能场景可能不会影响应用的正常运行&#xff0c;但却会对应用的性能造成负面影响。本章节列举出了一些可提升性能的场景供开发者参考&#xff0c;以避免应用实现上带来的性能劣化。 使用数据懒加载 开…

BBR cwnd_gain 的循环依赖 bug

同事咨询了一个有趣的问题&#xff0c;bbr 在probe bw 状态下&#xff0c;rtt 变小了&#xff0c;但采集到的 delivery date 却没变&#xff0c;此时算出来的 cwnd 变小&#xff0c;限制了 sender 发送。这种情况应该调什么参数。 这是 bbr 一个典型的循环依赖 bug&#xff0c…

VUE 程序的执行过程(非常非常重要)

在Vue.js应用程序中&#xff0c;index.html和main.js的执行顺序是&#xff1a; 1. 首先&#xff0c;浏览器加载index.html文件。 2. 在index.html文件中&#xff0c;通过<script>标签引入了main.js文件。 3. 当浏览器遇到<script>标签时&#xff0c;它会停止解析H…

如何熟练使用vector?

&#x1f388;个人主页:&#x1f388; :✨✨✨初阶牛✨✨✨ &#x1f43b;推荐专栏1: &#x1f354;&#x1f35f;&#x1f32f;C语言初阶 &#x1f43b;推荐专栏2: &#x1f354;&#x1f35f;&#x1f32f;C语言进阶 &#x1f511;个人信条: &#x1f335;知行合一 &#x1f…

Blender 围绕自身的原点旋转与游标旋转

默认情况下的旋转是&#xff0c;R后旋转是物体自身的原点旋转 可以修改为围绕游标旋转&#xff0c;通过旋转R时 局部与全局坐标 全局的坐标不会变 局部的会随着物体的旋转变化 如果平稳时GZZ会在全局到局部坐标之间切换 或在局部到全局之间的切换 学习视频&#xff1a;【基础…

PaddleNLP使用Vicuna

LLaMA 模型 LLaMa 是一个大型语言模型&#xff0c;由 Meta 开源。它的全称是 Large Language Model Meta AI&#xff0c;参数量从 70 亿到 650 亿不等。例如&#xff0c;130 亿参数的 LLaMA 模型在大多数基准上可以胜过参数量达 1750 亿的 GPT-3&#xff0c;而且可以在单块 V1…

go语言-channel

环形缓存可以降低GC得开销 channel使用得是mutex锁 互斥锁并不是排队发送/接收数据 互斥锁保护的hchan结构体本身 Channel并不是无锁的 底层发送原理 c<- 关键字是一个语法糖 编译阶段&#xff0c;会把 c<- 转化为 runtime.chansend10 chansend10会调用 charsend0 方法…

使用 FastChat 运行 CodeLlama-7b-Instruct-hf

使用 FastChat 运行 CodeLlama-7b-Instruct-hf 1. 确认 FactChat 支持的 Model2. 升级依赖3. 启动 controller4. 启动 CodeLlama5. 启动 api server6. VSCode 中使用 CodeLlama 1. 确认 FactChat 支持的 Model 访问 model_support.md&#xff0c;确认 codellama/CodeLlama-7b-…

【100天精通Python】Day53:Python 数据分析_NumPy数据操作和分析进阶

目录 1. 广播 2 文件输入和输出 3 随机数生成 4 线性代数操作 5 进阶操作 6 数据分析示例 1. 广播 广播是NumPy中的一种机制&#xff0c;用于在不同形状的数组之间执行元素级操作&#xff0c;使它们具有兼容的形状。广播允许你在不显式复制数据的情况下&#xff0c;对不同…

小程序数据导出文件

小程序josn数据生成excel文件 先从下载传送门将xlsx.mini.min.js拷贝下来&#xff0c;新建xlsx.js文件放入小程序项目文件夹下。 const XLSX require(./xlsx)//在需要用的页面中引入// 定义导出 Excel 报表的方法exportData() {const that thislet newData [{time:2021,val…

用XSIBackup为VMware ESXi打造完美备份方案

文章目录 VMware ESXi 备份方案引言XSIBackup安装步骤1. XSIBackup软件安装2. SSH连接3. 定位到xsibackup目录4. 修改文件权限5. 安装cron查看crontab列表6. 配置备份任务结论VMware ESXi 备份方案 引言 数据就像是我们的生命线,一旦丢失,可能会带来无法挽回的损失。对于那…

AI绘画:StableDiffusion实操教程-斗罗大陆2-江楠楠-常服(附高清图下载)

前段时间我分享了StableDiffusion的非常完整的教程&#xff1a;“AI绘画&#xff1a;Stable Diffusion 终极宝典&#xff1a;从入门到精通 ” 尽管如此&#xff0c;还有读者反馈说&#xff0c;尽管已经成功安装&#xff0c;但生成的图片与我展示的结果相去甚远。真实感和质感之…

uniapp微信小程序用户隐私保护

使用wx.requirePrivacyAuthorize实现微信小程序用户隐私保护。 一、前言 微信小程序官方出了一个公告《关于小程序隐私保护指引设置的公告》。不整的话&#xff0c;后果很多授权无法使用&#xff0c;详见《小程序用户隐私保护指引内容介绍》 。 二、隐私相关设置 1、在 微信…

关于大模型参数微调的不同方法

Adapter Tuning 适配器模块&#xff08;Adapter Moudle&#xff09;可以生成一个紧凑且可扩展的模型&#xff1b;每个任务只需要添加少量可训练参数&#xff0c;并且可以在不重新访问之前任务的情况下添加新任务。原始网络的参数保持不变&#xff0c;实现了高度的参数共享 Pa…

基于Halcon的喷码识别方法

具体步骤如下: 1. 读入一幅图片(彩色或黑白); 2. 将RGB图像转化为灰度图像; 3. 提取图片中的圆点特征(喷码图片中多是圆点特征),在Halcon中dots_image() 函数非常适合喷码检测; 4. 通过设定阈值,增强明显特征部分; 5. 进行一系列形态学操作(如闭运算等),将…

CSS中如何隐藏元素但保留其占位空间(display:nonevsvisibility:hidden)?

聚沙成塔每天进步一点点 ⭐ 专栏简介⭐ 隐藏元素但保留占位空间⭐ display: none;⭐ visibility: hidden;⭐ 总结⭐ 写在最后 ⭐ 专栏简介 前端入门之旅&#xff1a;探索Web开发的奇妙世界 记得点击上方或者右侧链接订阅本专栏哦 几何带你启航前端之旅 欢迎来到前端入门之旅&a…

基于Django的博客管理系统

1、克隆仓库https://gitee.com/lylinux/DjangoBlog.git 若失效&#xff1a;https://gitee.com/usutdzxy/DjangoBlog.git 2、环境安装 pip install -Ur requirements.txt3、修改djangoblog/setting.py 修改数据库配置&#xff0c;其他的步骤就按照官方文档。 DATABASES {def…

dubbo服务管控

我们已经介绍了Dubbo在服务治理方面提供的特性&#xff0c;今天我们一起来看看Dubbo在其它方面提供的特性。同服务治理篇一样&#xff0c;本文的目的在于学会使用Dubbo在服务管控方面提供的特性&#xff0c;依旧不涉及任何实现原理。 工程结构 嗯~~ 是这样的&#xff0c;因为…

登录校验的相关知识点

登录校验的相关知识点 【1】会话技术1)会话:2)会话跟踪:3)常见的几种会话跟踪&#xff1a; 【2】JWT令牌1)定义解释2&#xff09;测试生成Jwt令牌并解析3&#xff09;注意事项 【3】过滤器Filter1)过滤器工作原理如下&#xff1a;2)简单使用示例3)自定义拦截路径4)疑问5)过滤器…

【Linux】简单的小程序:进度条

在学习进度条之前&#xff0c;需要学一点预备知识。 1. 预备知识 回车换行 现在的换行符&#xff08;\n&#xff09;其实就是回车式换行符&#xff0c;另起一行&#xff0c;光标指向最新一行的开头。回车符&#xff08;\r&#xff09;是光标指向这一行的开头。 缓冲区 &a…