hadoop大数据平台

java环境 java-1.8.0-openjdk-devel

jvm虚拟机

hadoop软件解压即可用

JAVA_HOME是java的安装路径

hadoop对主机名强依赖,意思是主机名hostname要能ping通

jar命令 是运行一个jar文件

hadoop要运行,主要依赖两个的配置

JAVA_HOME

HADOOP_CONF_DIR

hadoop里面client是切分文件

分片、副本,和es差不多

namenode管理数据分片之后存储到哪里

fsimage 名称空间与数据块的映射信息

副本策略也是namenode负责

hadoop三大核心组件

HDFS

Mapreduce

Yarn

.xml 是可扩展标记语言

配置hadoop是在做填空题

jsp命令查询java系统的角色

hdfs是hadoop的文件系统

yarn是分布式计算框架

datanode所消耗的资源主要为磁盘的io

也就是说使用raid阵列可以优化磁盘的io消耗

zookeeper 应用程序协调服务

hadoop\zookeeper\kafka都是java写的,也都是apache基金会的开源项目

hadoop的namenode有点像k8s的etcd

haproxy可以走tcp也可以走http

Haproxy对于后端服务器的健康检查默认是用tcp三次握手,可以选http状态码检查

nginx\haproxy\lvs\keepalived负载均衡反向代理健康检查,这些功能,在云平台都用一个ELB给解决了。如果在物理机上部署服务的话,keepalived高可用感觉很实用,装个软件,配个虚拟ip,就跟那个虚拟路由器是一个工作原理。

批量操作的时候,感觉ansible还有点绕,直接在命令行写循环,也挺好用的,有的也可以用windterm等软件的同步输入。

看了hadoop的视频,感觉其他软件的配置都简单多了,hadoop是真的步骤多。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/60542.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

深入Zookeeper节点操作:高级功能与最佳实践

Zookeeper之节点基本操作(二) 在《Zookeeper之节点基本操作(一)》中,我们介绍了如何创建、读取、更新、删除节点的基本操作。接下来将进一步探讨Zookeeper中节点的进阶操作和更多细节,包括节点的监视&…

PICO+Unity MR视频透视

官方链接:视频透视 | PICO 开发者平台 在 PXR_Manager (Script) 面板上,勾选 Video Seethrough 选框 2.将 Clear Flags 设置为 Solid Color。颜色设置为黑色,Alpha 通道设置为完全透明 3.在代码中开启透视 using System.Collections; usin…

Linux系统中,列出当前目录下所有文件和文件夹的大小,并按大小从大到小排序

du -sh * | sort -nr用于列出当前目录下所有文件和文件夹的大小,并按大小从大到小排序。 du -sh *:du(disk usage) 是一个用于检查文件和目录在磁盘上占用空间的命令。 -s(summarize) 选项意味着只显示每个…

单例模式详解:如何优雅地实现线程安全的单例

一、什么是单例模式? 单例模式是一种常用的设计模式,目的就是确保某个类在程序中只有一个实例,并且提供一个全局访问入口。通过这个模式,我们能够保证全局共享同一个对象实例,避免了多次实例化同一个对象,…

如何对PHP的API接口权限认证

对PHP的API接口进行权限认证是确保只有授权的用户或应用程序可以访问特定API资源的重要环节。以下是一些常用的PHP API接口权限认证方法: 一、API密钥(API Key) API密钥是一种简单的鉴权方式,通常用于限制对API的访问。每个用户…

git config 保存密码

在 Git 中保存密码可以通过几种不同的方式来实现,这样可以避免每次与远程仓库交互时都需要输入用户名和密码。以下是一些常用的方法: 使用 credential.helper Git 提供了 credential.helper 功能,可以用来存储和自动填充用户名和密码。 对…

大学生福音!用gpt-4o和o1大模型拿捏大学化学作业

文章目录 零、前言一、使用GPT操作指导作业拍照使用o1-preview大模型小结 二、感受 零、前言 昨天发了gpt-4o拿捏大学物理作业,群友说,急需要一位化学老师指导 虚竹哥是宠粉的,连夜请了一位博士级的化学老师~ 一、使用GPT 操作指导 ChatG…

2024-11-12 学习人工智能的Day25 scikit-learn库初见

简简单单的数据集 from sklearn.datasets import load_iris/fectch 简单的引用世界数据集和玩具数据集方式 #下面是在获取数据集后常用的值 feature feature_names DESCR target target_names filename from sklearn.datasets import load_iris import numpy as np import…

容器技术在持续集成与持续交付中的应用

💓 博客主页:瑕疵的CSDN主页 📝 Gitee主页:瑕疵的gitee主页 ⏩ 文章专栏:《热点资讯》 容器技术在持续集成与持续交付中的应用 容器技术在持续集成与持续交付中的应用 容器技术在持续集成与持续交付中的应用 引言 容器…

【项目场景】请求数据时测试环境比生产环境多花了1秒是怎么回事?

威哥,第一次给你发消息就是求教一个问题呢,近期我在优化系统查询的时候,在测试环境优化达标,但是发布到生产后,发现从客户端发起请求到接收响应,多花了1秒(测试环境的库数据量和生产一致&#x…

zookeeper之节点基本操作

ZooKeeper是一个分布式协调服务,它的节点操作包括创建、查询、更新、删除等,以下是ZooKeeper节点的基本操作介绍: 1. 创建节点 持久节点(Persistent Node) 含义:持久节点是ZooKeeper中最基本的节点类型。创建后,除非显式删除,否则它将一直存在于ZooKeeper树中,即使创…

C++20新特性的补充讲解

C20 标志着 C 语言的一次重要更新,除了 Concepts、Ranges、协程等被广泛讨论的特性外,还有许多值得注意的改进。本文将详细探讨其他一些核心新特性,包括 constexpr 扩展、新增的 std::format、std::span、std::bit 操作、原子智能指针、char8…

Docker无缝更新Zentao

在现代软件开发中,保持项目管理工具的更新对于提高团队效率至关重要。对于使用Docker部署Zentao(禅道)的团队来说,如何在不影响日常业务的情况下进行更新是一个常见挑战。本文将基于一个实际的Docker Compose配置,详细介绍如何在Docker环境中实现Zentao的无缝更新。 1. 当…

2024 年将 Postman 文档导出为 HTML 或 Markdown

2024 年将 Postman 文档导出为 HTML 或 Markdown

Jsp的内置对象及方法

JSP(JavaServer Pages)是一种动态网页技术,它允许开发人员在HTML页面中嵌入Java代码。JSP内置对象提供了一系列预定义的方法和属性,这些方法和属性可以直接在JSP页面中使用,无需额外的Java代码。 request对象&#xff…

微服务架构面试内容整理-API 网关-Gateway

Spring Cloud Gateway 是一个用于构建 API 网关的框架,它为微服务架构提供了灵活的路由和过滤功能。作为 Spring Cloud 生态的一部分,Gateway 提供了易于使用的 API 和强大的功能,适合用于现代微服务架构中的请求管理和服务交互。以下是 Spring Cloud Gateway 的主要特点、工…

通过命令学习k8s

1、kubectl 命令可以列出所有命令 2、kubectl version 命令可以查看版本号 3、kubectl cluster-info命令可以查看集群信息(192.168.218.136:6443 即为kube-apiserver的IP和端口。) [rootk8s-master ~]# kubectl cluster-info Kubernetes master is run…

访问网页的全过程(知识串联)

开发岗中总是会考很多计算机网络的知识点,但如果让面试官只靠一道题,便涵盖最多的计网知识点,那可能就是 网页浏览的全过程 了。本篇文章将带大家从头到尾过一遍这道被考烂的面试题,必会!!! 总…

MySql数据库Group分组内排序取数据

文章目录 业务场景 业务场景 生产中遇到一个需求,需要统计在某段时间内指定客户的财务收款信息。 比如统计A客户10月1日~11月1日之间的财务应数据,在统计汇总的时候,需要计算A用户在10月1号前的结余信息,这就需要查询10月1日前这…

服务器硬件介绍

计算机介绍 现在的人们几乎无时无刻都在使用电脑!而且已经离不开电脑了。像桌上的台式电脑(桌机)、笔记本电脑(笔电)、平板电脑、智能手机等等,这些东西都算是电脑。 台式机电脑介绍 计算机又被称为电脑。台式机电脑主要分为主机和显示器两个部分&…