Linux 桌面版系统问题分析及CDH 6影响分析,CDH做HA模式配置教程

一、问题

由于之前是第一次安装CentOS系统,基本上是按照网上的教程安装,安装了桌面版,配置默认,在安装CDH6.3后,在使用中发现没有预期的那么好用,然后请教专业人士后,得出以下2个原因

1、桌面版系统存在很多漏洞,安全性太低,不能用于正式生产
2、默认配置的话,swap交换器小,根目录分配不合理

二、原因

针对第一个问题,网上找发现有以下说法:

Linux 诞生的 31 年间,作为一款开源且免费的操作系统,称霸几乎整个 IT 服务器领域,同时全球超过 70% 的智能手机也都在运行它。

然而,与之相比,Linux 在一个领域表现的却显得异常悲惨,甚至连 Linux 之父 Linus Torvalds 也曾忍不住发声吐槽,“乱改核心,说了还没人听。对非开发者的普通用户一点也不友好。”这个领域就是桌面端。

Linux 桌面版长久以来被业界诟病,其主要原因就是因为 Linux 发行版太过碎片化,程序兼容性非常糟糕,这也让 Linus 本人无可奈何,甚至还要说上一声,“为不同版本的 Linux 制作包是真 XX 的痛苦!”

除了兼容性之外,近日,外媒 The Register 在分析主流桌面操作系统时,意外发现,看似丰富多彩的 Linux 发行版,内里实则太过单调。仅从 Linux 桌面的设计维度来看,在对比 21 个不同的用户界面环境后,发现本质上它们只有 2 种不同的基本设计,而且外观与 macOS 太过相似,最初还是从 Windows 95 中学习而来。

在这些桌面环境中,有些是用 C++ 写的,有些使用 JavaScript 写的,有些是用 Vala 写的,大多数是用普通的 C 语言写的。有些使用 Gtk,有不同的版本;有些使用 Qt;有些同时使用;还有一些,比如 Enlightenment 或 EDE,使用完全不同的东西。

综合以上说法,由于开发语言太多,参与人数众多,版本多管理难度大等问题,系统存在漏洞是在所难免的,因此在正式生产中确实不适合使用。

针对问题二

系统安装时选择桌面版默认配置,会把大部分空间分配到/home目录下,系统空间只有50Gb,那么在安装CDH6.3集群的时候选择默认配置时,有以下3个问题:

1、经常会因为操作频繁产生的日志堆在系统目录下,因为配置的是7天自动清理日志,很容易撑爆磁盘,需要修改配置文件;

2、impala查询会产生5Gb左右一个的缓存文件,也存在系统目录下;

3、系统缓存空间swap分配较小,查询性能差.

三、解决办法

在安装CentOS时,大部分的操作没什么区别,讲讲要修改的地方

选择安装类型,这里我们统一选择Basic Web Server并同时选装Development Tools
在这里插入图片描述
在这里插入图片描述

划分分区可直接将所有空间划分到根目录或选择默认,swap建议至少4G。
在这里插入图片描述
在这里插入图片描述
选择-其它存储选项Other Storage Options-分区Partitoning-我要配置分区I will configure partitioning,
点左上角的“完成Done”,进入下面的界面
在这里插入图片描述
新挂载点使用以下分区方案:标准Standard Partition 完成Done 分区前先规划好,swap #交换分区,建议至少4G,/ #剩余所有空间

自定义分区:
此处设置只做3个最基础的分区根/、boot和swap,具体可根据实际情况来进行分区。

点击“+”来设置自定义分区:

boot:一般建议设置200M。(经过多次安装虚拟机发现,如果设置200M系统会出现提示 boot空间不足,建议设置300M,就不会有提示了)

SWAP:此处设置4G。(小伙伴可自行百度查阅相关SWAP空间分配资源)

根/:剩余磁盘全部分配。(这种分区的好处就是磁盘空间全部在根/下面,可随便分配磁盘空间)

在这里插入图片描述
把/boot /swap / 这3个空间分配好后,点击Done,进入下面界面
在这里插入图片描述

配置了如上一些列项目之后,选择开始安装,安装完成后,配置网卡,单网卡或者做bond,根据具体情况决定。

网卡做bond可以参考我以前的博文或者网上找资料,CDH安装我也有相关的博文。

补充一点CDH的知识:配置HA模式教程

安装完CDH后,在CM管理界面配置HA模式,这样可以提高集群的性能

(1) NameNode机器: 运行 Active NameNode和 Standby NameNode 的机器配置应保持一样。
(2) 当 Active 状态的 NameNode 宕机后,需要手动切换Standby 状态的 NameNode 来继提供服务。如果要实现自动故障转移,必须依赖 ZooKeeper。
(3) JournalNode 机器:这些守护进程比较轻量级,可以部署在其他服务器上。至少需要部署 3个JoumalNode 节点, 便容忍一个节点故障。通常配置成奇数。
(4) 配置NameNode HA后,客户端可以通过HA的逻辑名称去访问数据,而不用指定某一台NameNode,当某一台 NameNode 失效自动切换后,客户端不必更改 HDFS的连接地址 ,仍通过逻辑名称去访问。
需要注意的是, Standby NameNode 同时完成了原来 SecondaryNameNode checkpoint (检查点)功能,因此不需要再独立部署 SecondaryNameNode。

1.进入HDFS -> 操作 -> 启用High Availability。
2、Hive 设置->更新Hive Metastore NameNode
3、YARN HA
方式一:可以跟HDFS一样添加HA
方式二:如果HDFS已经启用HA,那更简单,添加一个ResourceManager,重启即可,CDH会自动部署高可用。
4、Hive HA
同YARN。添加MataStore Server和HiveServer2,重启自动部署。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/723675.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

将圆环区域展开成矩形长条

在机器视觉领域,经常会遇到圆环型的检测目标,比如瓶口,轮胎,橡皮圈等等,比如想检测轮胎上的瑕疵,就可以通过把环形区域展开成矩形形状,然后对胎侧进行瑕疵检测,再比如对圆环扣上的字…

2024大厂Android面试集合,安卓开发面试书籍

前言 早在2017年我们就建了第一个进击BAT的Android开发进阶交流群,两年期间很多群友都分享了自己的Android面试经历。其中就有很多群友已经斩获蚂蚁金服,天猫,高德,盒马等阿里系offer 收集反馈的面经资料比较乱,最近…

2024BAT大厂Java社招最全面试题,成功入职字节跳动

前言 现在Java程序员面试都是因为没有丰富的工作经验和自己过硬的技术,所有都不知道一般互联网应该会问什么技术问题,加上自己可能去面试的时候没有准备的太充分,一面试刚跟面试官扯几个面试题就不知道自己在哪里了,被怼的体无完…

● 198.打家劫舍 ● 213.打家劫舍II ● 337.打家劫舍III

● 198.打家劫舍 动规五部曲。 1、dp[j]含义。前j个房屋偷到的金额之和最大是dp[j]。 2、递推公式。递推公式要得出dp[i],就是要确定第i个房屋是否打劫,那么也跟之前的背包问题一样,放与不放,对应的是两种结果,我们只需…

旺泓_光感WH3620_数字RGBW-IR色彩传感器

由工采网代理的WH3620是一种基于颜色的光到数字转换器;它集光电二极管、电流放大器、模拟电路和数字信号处理器于一体;提供红、绿、蓝、白和红外光传感;能调节屏幕或灯光白平衡;各通道同时并行输出,因此在白光LED、CWF、TL84、D65…

防患未然,OceanBase巡检工具应用实践——《OceanBase诊断系列》之五

1. OceanBase为什么要做巡检功能 尽管OceanBase拥有很好的MySQL兼容性,但在长期的生产环境中,部署不符合标准规范、硬件支持异常,或配置项错误等问题,这些短期不会出现的问题,仍会对数据库集群构成潜在的巨大风险。为…

脾胃论笔记

焦虑会导致脾胃受伤 焦虑等不良情绪也会导致脾胃受伤,我们称其为肝气不舒。肝气不舒会导致脾胃系统出问题,这叫肝木横逆克脾土,木克土,脾胃就容易受伤。 这样的情况在现代社会特别多。这跟古人就不一样,古人生活相对…

Python爬虫——Requests

目录 简介 基本使用​编辑 ​编辑 安装 一个类型和六个属性 请求类型 GET 代码示例 POST 代码示例 代理 古诗文网绕过验证码登录 总结 简介 Python的Requests库是一个用于发送HTTP请求的常用库。它提供了简单且人性化的API,使得发送HTTP请求变得非常容易。…

完美解决VMware中配置suse10虚拟机网络

一、注意!!!配置suse10网络,需要在虚拟机关机状态下进行,否则会配置不成功; 二、配置与主机在同一网段(仅主机模式,网卡一); 在suse系统关机状态下,Vmware中设置”虚拟网…

2024华为Android高级面试题及答案,android系统工程师面试

大厂offer是每个技术人的追求? 我觉得每一个程序员的梦想大概就是能够找一份大厂的 Offer,我觉得这很正常,这并不是我们的饭后谈资而是每个技术人的追求。像阿里、腾讯、美团、字节跳动、京东等等的技术氛围与技术规范度还是要明显优于一些创业型公司/…

0.8秒一张图40hx矿卡stable diffusion webui 高质极速出图组合(24.3.3)

新消息是。经过三个月的等待,SD Webui (automatic1111)终于推出了新版本1.8.0,本次版本最大的更新,可能就是pytorch更新到2.1.2, 不过还是晚了pytorch 2.2.2版。 不过这版的一些更新,在forget分支上早就实现了,所以。…

2核4G云服务器就服阿里云,这性能无敌了

阿里云2核4G服务器多少钱一年?2核4G配置1个月多少钱?2核4G服务器30元3个月、轻量应用服务器2核4G4M带宽165元一年、企业用户2核4G5M带宽199元一年。可以在阿里云CLUB中心查看 aliyun.club 当前最新2核4G服务器精准报价、优惠券和活动信息。 阿里云官方2…

一文了解74HCT14D的引脚图、符号、封装、数据手册及应用

74HCT14D 是一款采用硅栅 C2MOS 技术制造的高速 CMOS 施密特逆变器。它实现了类似于等效 LSTTL 的高速操作,同时保持 CMOS 的低功耗。该器件可用作电平转换器,用于将 TTL 或 NMOS 连接到高速 CMOS。 输入与 TTL、NMOS 和 CMOS 输出电压电平兼容。所有输入…

什么是工业级物联网智能网关?如何远程控制PLC?

在这个信息爆炸的时代,物联网技术已经逐渐渗透到我们生活的方方面面,而工业级物联网智能网关作为连接工业设备和云端的重要桥梁,更是引领着工业4.0时代的浪潮。那么,究竟什么是工业级物联网智能网关呢?今天&#xff0c…

Python网络请求高级篇:Requests库的深度运用

在Python网络请求中级篇中,我们了解了如何通过Requests库发送带参数的请求,处理Cookies,使用Session对象,以及设置请求头。在本文中,我们将进一步深入学习Requests库的高级功能,包括处理重定向,…

Codesys 位置式PID闭环控制系统(PID+PWM控制无刷电机)

有关Codesys位置式PID算法公式和源代码,请参考下面文章链接: 1、Codesys位置式PID https://rxxw-control.blog.csdn.net/article/details/131591254https://rxxw-control.blog.csdn.net/article/details/1315912542、博途PLC PWM输出控制 https://rxxw-control.blog.csdn.…

Flink基本原理 + WebUI说明 + 常见问题分析

Flink 概述 Flink 是一个用于进行大规模数据处理的开源框架,它提供了一个流式的数据处理 API,支持多种编程语言和运行时环境。Flink 的核心优点包括: 低延迟:Flink 可以在毫秒级的时间内处理数据,提供了低延迟的数据…

证件照制作繁琐?学会这三招轻松制作专业级证件照!

朋友们,您是否曾经为了办理各种证件、报名考试或者求职简历中的证件照而烦恼呢?是否希望能在家就能便捷高效地制作出符合规格的专业证件照?今天我将为大家推荐三款国内外备受好评的证件照处理工具,让您随时随地拥有完美证件照&…

【prompt四】Domain Prompt Learning for Efficiently Adapting CLIP to Unseen Domains

motivation 领域泛化(DG)是一个复杂的迁移学习问题,旨在学习未知领域的可泛化模型。最近的基础模型(FMs)对许多分布变化都具有鲁棒性,因此,应该从本质上提高DG的性能。在这项工作中,我们研究了采用视觉语言基础模型CLIP来解决图像分类中的DG问题的通用方法。虽然ERM使用标…

音视频开发之旅——音频基础概念、交叉编译原理和实践(LAME的交叉编译)(Android)

本文主要讲解的是音频基础概念、交叉编译原理和实践(LAME的交叉编译),是基于Android平台,示例代码如下所示: AndroidAudioDemo 音频基础概念 在进行音频开发的之前,了解声学的基础还是很有必要的。 声音…