搭建hadoop集群的常见问题及解决办法

问题一: namenode -format重复初始化

出现问题的原因是重复初始化时会重新生成集群ID,而dn还是原先的集群ID,两者不匹配时无法启动相应的dn进程。
怎么查找问题原因:在logs目录下找到对应节点的.log文件,使用tail -200 文件名来查看日志信息。
解决办法1:修改data/name/路径下的version文件中的集群ID为老的集群ID,事实修改后仍然报错,初始化不只是集群ID不一致,建议使用方法2:。
解决办法2:删除hadoop文件中的data文件和logs文件。

问题二:免密登录配置出错,permission denied没有权限;拒绝访问

重新使用加密算法生成公钥私钥,并将公钥发送给相应的主机。

  1. ssh-keygen -t rsa
  2. ssh-copy-id hadoop10xxx

常用的端口号

rpc内部通信http外部web端口
namenode802050070 / 9870
mapreduce80888088
历史服务器1988819888

集群的时间同步

  • 有网络的情况
    • systemctl start ntpd:开启网络时间同步
    • systemctl status ntpd : 查看开启状态
  • 没有外部网络的情况
    • sudo vim /etc/ntp.conf:设置102作为基准服务器
    • ntpdate hadoop102: 向102发送请求同步时间
    • sudo crontab -e: 设置定时任务

HDFS文件系统

概述

全称为Hadoop distributed file system, 是一个分布式文件系统,通过目录树来定位文件。适合一次写入,多次读出的场景。一个文件经过创建、写入和关闭之后就不能改变

  1. 优点:
    • 高容错性:通过增加副本的形式,提高容错性;副本丢失后会自动补全
    • 适合处理大数据:数据规模达到PB级别,文件数量达到9亿个
    • 可以构建在廉价机器上
  2. 缺点:
    • 不适合低延时数据访问,比如毫秒级的存储数据。
    • 无法高效对大量小文件进行存储,小文件存储的寻址时间超过了读取时间
    • 不支持并发写入,文件随机修改。仅支持数据的追加,不支持随机修改

组成架构

在这里插入图片描述

  1. NameNode:主管
    • 管理HDFS的名称空间
    • 配置副本策略
    • 管理数据块映射信息
    • 处理客户端读写请求
  2. DataNode: 工人
  3. Client:客户端
    • 文件切分,上传之前就切分。
      • 如果上传后切分,有可能存不下
      • 上传后切分,有三个备份,需要多切几次。
    • 管理HDFS,如namenode格式化
  4. SecondaryNameNode:辅助NameNode,并非热备。

文件块大小

由磁盘的传输速率决定,由于目前磁盘的传输速率为100M/s,按照程序员的进制进行整数转换为2进制则为128。

根据专家的结论:寻址时间为传输时间的1%时,是最佳状态。

  1. 文件块太小会增加寻址时间
  2. 文件块太大,磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间。大于1%这个最佳状态。

hdfs文件操作系统的常用命令

  • hadoop fs 等价于 hdfs dfs
  • 上传文件到hdfs文件系统
    • hadoop fs -copyFromLocal caocao.txt /sanguo : 上传
    • hadoop fs -moveFromLocal liubei.txt /sanguo:上传后删除
    • hadoop fs -put sunquan.txt /sanguo:上传
    • hadop fs appendToFIle sunquan.txt /sanguo/liubei.txt:追加文件内容
  • 从hdfs文件系统下载文件到本地
    • hadoop fs -copyToLocal /sanguo/liubei.txt ./:拷贝下载
    • hadoop fs -get /README.txt ./: 拷贝下载
    • hadoop fs moveToLocal: 剪切到本地,暂时没有实现
  • hadoop fs -ls /sanguo: 查询文件列表
  • hadoop fs -cat /sanguo/caocao.txt: 查看文件内容
  • hadoop fs -chmod 77 /sanguo/caocao.txt: 修改文件权限
  • hadoop fs -du /sanguo: 查询文件夹下的文件的大小
  • hadoop fs -setrep 10 /sanguo/caocao.txt:设置副本数量

HDFS的API操作

IDEA常用快捷键

  1. 双击shift : 搜索框
  2. ctrl + h: 查询当前类的父子关系
  3. ctrl + F12: 查询当前类的所有方法
  4. ctrl+p: 显示方法的形参列表
  5. ctrl+alt+f:快速将局部变量提升为全局变量

配置文件优先级

  1. 代码中的conf.set
  2. resources目录下的xxx-site.xml配置文件
  3. jar包中的xxx-default.xml配置文件

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/73321.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

2023国赛C题解题思路代码及图表:蔬菜类商品的自动定价与补货决策

2023国赛C题:蔬菜类商品的自动定价与补货决策 C题表面上看上去似乎很简单,实际上23题非常的难,编程难度非常的大,第二题它是一个典型的动态规划加仿真题目,我们首先要计算出销量与销售价格,批发价格之间的…

视频集中存储/直播点播平台EasyDSS点播文件分类功能新升级

视频推拉流EasyDSS视频直播点播平台,集视频直播、点播、转码、管理、录像、检索、时移回看等功能于一体,可提供音视频采集、视频推拉流、播放H.265编码视频、存储、分发等视频能力服务。 TSINGSEE青犀视频的EasyDSS平台具有点播文件分类展示方法&#xf…

单例模式(饿汉式单例 VS 懒汉式单例)

所谓的单例模式就是保证某个类在程序中只有一个对象 一、如何控制只产生一个对象? 1.构造方法私有化(保证对象的产生个数) 创建类的对象,要通过构造方法产生对象 构造方法若是public权限,对于类的外部,可…

JAR will be empty - no content was marked for inclusion!

现象 在对自建pom依赖组件打包时&#xff0c;出现JAR will be empty - no content was marked for inclusion!错误。 方案 在pom中怎么加packaging标签内容为pom&#xff0c;标识只打包pom文件 <?xml version"1.0" encoding"UTF-8"?> ...<grou…

基于VUE3+Layui从头搭建通用后台管理系统(前端篇)十二:通用详情组件封装实现

一、本章内容 本章实现通用详情组件,自动识别实体配置信息,并自动生成对应组件,填充组件数据,并完成数据自动加载等过程。 1. 详细课程地址: 待发布 2. 源码下载地址: 待发布 二、界面预览 三、开发视频 3.1 B站视频地址࿱

ARM指令集

CPU是计算机的中央处理器&#xff0c;负责执行组成计算机程序的指令。为此&#xff0c;CPU必须能够解释机器码即计算机程序的最低级别表示形式&#xff0c;以让CPU可以直接执行。机器码是一系列的二进制指令&#xff0c;每个指令都代表CPU可以执行的特定操作。指令由一系列1和0…

操作系统 --- 计算机系统引论

&#xff08;一&#xff09;操作系统的目的和作用 概念&#xff08;定义&#xff09; 操作系统 &#xff08; Operating System &#xff0c; OS &#xff09;是指控制和 管理 整个计算机系统的 硬件和软件 资源&#xff0c;并合理地组织调度计算机的工作和资源的分配&#…

数据分析面试题(2023.09.08)

数据分析流程 总体分为四层&#xff1a;需求层、数据层、分析层和结论层 一、统计学问题 1、贝叶斯公式复述并解释应用场景 公式&#xff1a;P(A|B) P(B|A)*P(A) / P(B)应用场景&#xff1a;如搜索query纠错&#xff0c;设A为正确的词&#xff0c;B为输入的词&#xff0c;那…

vue-elementPlus自动按需导入和主题定制

elementPlus自动按需导入 装包 -> 配置 1. 装包&#xff08;主包和两个插件包&#xff09; $ npm install element-plus --save npm install -D unplugin-vue-components unplugin-auto-import 2. 配置 在vite.config.js文件中配置&#xff0c;配置完重启&#xff08;n…

数学建模--Seaborn库绘图基础的Python实现

目录 1.绘图数据导入 2. sns.scatterplot绘制散点图 3.sns.barplot绘制条形图 4.sns.lineplot绘制线性图 5.sns.heatmap绘制热力图 6.sns.distplot绘制直方图 7.sns.pairplot绘制散图 8.sns.catplot绘制直方图 9.sns.countplot绘制直方图 10.sns.lmplot绘回归图 1.绘图数…

React中函数式组件与类组件有何不同?

Function Component 与 Class Component 有何不同 目录 Function Component 与 Class Component 有何不同 文章核心观点&#xff1a; 解释一下&#xff1a; 总结&#xff1a; 文章核心观点&#xff1a; Function components capture the rendered values.函数式组件捕获…

【漏洞复现】深信服科技EDR平台存在任意用户登录漏洞

漏洞描述 深信服终端检测响应平台EDR,通过云网端联动协同、威胁情报共享、多层级响应机制,帮助用户快速处置终端安全问题,构建轻量级、智能化、响应快的下一代终端安全系统。 该EDR系统存在任意用户登录漏洞&#xff0c;攻击者通过漏洞可以登录系统后台并获取服务器的敏感信息…

3D印刷电路板在线渲染查看工具

从概念上讲&#xff0c;这是有道理的&#xff0c;因为PCB印制电路板上的走线从一个连接到下一个连接的路线基本上是平面的。 然而&#xff0c;我们生活在一个 3 维世界中&#xff0c;能够以这种方式可视化电路以及相应的组件&#xff0c;对于设计过程很有帮助。本文将介绍KiCad…

在ubuntu20.04上安装arm-linux-gcc 4.4.3

1下载地址 [http://www.friendlyelec.com.cn/download.asp] 2.将 arm-linux-gcc-4.4.3.tar.gz 拷贝到 /bin目录 无法拷贝怎么办&#xff1f; 出现这种情况是 Linux 拷贝文件时权限不够&#xff0c; 运行命令 sudo nautilus&#xff0c; 打开一个具有管理员权限的文件管理器&am…

微电网的概念

微电网分布式控制理论与方法  顾伟等 微电网的概念和作用 微电网是由多种分布式电源、储能、负载以及相关监控保护装置构成的能够实现自我控制和管理的自治型电力系统&#xff0c;既可以与电网并网进行&#xff0c;也可以以孤岛运行。 分布式发电是指将容量在兆瓦以内的可再…

原生JavaScript+PHP多图上传实现

摘要 很多场景下需要选择多张图片上传&#xff0c;或者是批量上传以提高效率&#xff0c;多图上传的需求自然就比较多了&#xff0c;本文使用最简单的XMLHttpRequest异步上传图片。 界面 上传示例 代码 index.html <!DOCTYPE html> <html><head><titl…

docker 部署vue

1&#xff1a; 首先部署nginx docker run --name nginx -d -p 88:80 nginx 2&#xff1a;访问 http://xxxxxxx:88/ 3: 进入nginx docker exec -it nginx /bin/sh 4: 回到vs&#xff0c;编译项目 npm run build 得到dist文件夹 5&#xff1a;创建docker 6&#xff1a; 将…

蚂蚁发布金融大模型:两大应用产品支小宝2.0、支小助将在完成备案后

9月8日&#xff0c;在上海举办的外滩大会上&#xff0c;蚂蚁集团正式发布金融大模型。据了解&#xff0c;蚂蚁金融大 模型基于蚂蚁自研基础大模型&#xff0c;针对金融产业深度定制&#xff0c;底层算力集群达到万卡规模。该大 模型聚焦真实的金融场景需求&#xff0c;在“认知…

2023 INCLUSION·外滩大会丨拓数派科技战略深度披露,大模型数据计算系统蓄势待发

近日&#xff0c;被亿欧网誉为最值得关注的全球化大模型数据计算科技新锐拓数派亮相在黄浦区世博园举行的2023 INCLUSION外滩大会。作为国际顶尖的科技盛会&#xff0c;来自全球各地的著名经济学家、诺奖得主、企业家和技术大咖们济济一堂&#xff0c;围绕“科技创造可持续未来…

无涯教程-JavaScript - IMLOG10函数

描述 IMLOG10函数以x yi或x yj文本格式返回复数的公共对数(以10为底)。可以从自然对数计算复数的公共对数,如下所示: $$\log_ {10}(x yi)(\log_ {10} e)\ln(x yi)$$ 语法 IMLOG10 (inumber)争论 Argument描述Required/OptionalInumberA complex number for which you …