bigfile.to服务器位置,Cloudera Manager 迁移服务器

Cloudera Manager还是比较耗资源的,想把Cloudera Manager,移动到比较好的机器上。

在这篇文章中,Cloudera Manager安装在bigserver1上面,bigserver1是奔腾双核的CPU。

1,Cloudera Manager占资源比较多

5ed7cef0ea188ca1866f3a448547c0a7.png

cloudera manager占资源挺多

停止cdh,以及cloudera manager

2,从bigserver1导出数据库,copy到新机器

# mysqldump -u cdh6 -pCdh6_123 scm -h 10.0.40.237 > scm.sql

# mysqldump -u cdh6 -pCdh6_123 amon -h 10.0.40.237 > amon.sql

# mysqldump -u cdh6 -pCdh6_123 rman -h 10.0.40.237 > rman.sql

# mysqldump -u cdh6 -pCdh6_123 hue -h 10.0.40.237 > hue.sql

# mysqldump -u cdh6 -pCdh6_123 metastore -h 10.0.40.237 > metastore.sql

# mysqldump -u cdh6 -pCdh6_123 sentry -h 10.0.40.237 > sentry.sql

# mysqldump -u cdh6 -pCdh6_123 nav -h 10.0.40.237 > nav.sql

# mysqldump -u cdh6 -pCdh6_123 navms -h 10.0.40.237 > navms.sql

# mysqldump -u cdh6 -pCdh6_123 oozie -h 10.0.40.237 > oozie.sql

# scp *.sql root@bigserver5:/root/cdh6/

3,在bigserver5(新机器)创建数据并导入

CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

use scm;

source /root/cdh6/scm.sql;

CREATE DATABASE amon DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

use amon;

source /root/cdh6/amon.sql;

CREATE DATABASE rman DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

use rman;

source /root/cdh6/rman.sql;

CREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

use hue;

source /root/cdh6/hue.sql;

CREATE DATABASE metastore DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

use metastore;

source /root/cdh6/metastore.sql;

CREATE DATABASE sentry DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

use sentry;

source /root/cdh6/sentry.sql;

CREATE DATABASE nav DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

use nav;

source /root/cdh6/nav.sql;

CREATE DATABASE navms DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

use navms;

source /root/cdh6/navms.sql;

CREATE DATABASE oozie DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

use oozie;

source /root/cdh6/oozie.sql;

grant all privileges on *.* TO cdh6@'10.%' IDENTIFIED BY 'Cdh6_123';

flush privileges;

第二,第三步,非必须。把数据库放在bigserver1(老机器)也是可以的。

4,bigserver5新机器安装cloudera-manager-server

# yum clean all && yum makecache

# yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server

这里的bigserver5,是集群中新增的一个datanode节点,怎么添加节点,请参考:cdh6 增加 datanode

5,将bigserver1文件同步到bigserver5

# scp -r /var/lib/cloudera-scm-server/* root@bigserver5:/var/lib/cloudera-scm-server/

# chown -R cloudera-scm:cloudera-scm /var/lib/cloudera-scm-server/

# scp -r /opt/cloudera/parcel-repo root@bigserver5:/opt/cloudera/

# chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

5,bigserver5上面,创建数据库配置

[root@bigserver5 ~]# /opt/cloudera/cm/schema/scm_prepare_database.sh -h bigserver5 mysql scm cdh6 Cdh6_123

JAVA_HOME=/usr/local/jdk1.8.0_231

Verifying that we can write to /etc/cloudera-scm-server

Creating SCM configuration file in /etc/cloudera-scm-server

Executing: /usr/local/jdk1.8.0_231/bin/java -cp :/opt/cloudera/cm/schema/../lib/* com.cloudera.enterprise.dbutil.DbCommandExecutor /etc/cloudera-scm-server/db.properties com.cloudera.cmf.db.

[ main] DbCommandExecutor INFO Unable to find JDBC driver for database type: MySQL

[ main] DbCommandExecutor ERROR JDBC Driver com.mysql.jdbc.Driver not found.

[ main] DbCommandExecutor ERROR Exiting with exit code 3

--> Error 3, giving up (use --force if you wish to ignore the error)

找不到mysql的jar包,/opt/cloudera/cm/schema/../lib/* ,根bigserver1上面的mysql-connector-java.jar包位置不一样。

解决办法:

# wget https://cdn.mysql.com//archives/mysql-connector-java-5.1/mysql-connector-java-5.1.47.tar.gz

# tar zxvf mysql-connector-java-5.1.47.tar.gz

# cd mysql-connector-java-5.1.47

# cp mysql-connector-java-5.1.47-bin.jar /opt/cloudera/cm/lib/mysql-connector-java.jar

注意:mysql-connector-java不要带有版本号。

6,在bigserver5启动Cloudera Management Service

# systemctl start cloudera-scm-server

如果用新的数据库,需要改数据连接,所有组件都要改

9bd22b0a32598cb6b6b7dcb6bc372d90.png

cloudera 数据库连接修改

755eea1f766fbaa57ced243444046614.png

Activity Monitor 数据库测试失败

如果报:不能测试状态不佳的主机的数据库连接。

解决办法:

# cd /var/lib/cloudera-scm-agent/

# rm -f cm_guid

# service cloudera-scm-agent restart

Cloudera Management Service启动后,在启动cdh,至此迁移结束。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/281413.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

vue定时ajax获取数据,vue 中使用 AJAX获取数据的方法

在VUE开发时,数据可以使用jquery和vue-resource来获取数据。在获取数据时,一定需要给一个数据初始值。看下例:new Vue({el:#app,data:{data:""},created:function(){var url"json.jsp";var _selfthis;$.get(url,function…

转:shell awk

简单使用: awk :对于文件中一行行的独处来执行操作 。 awk -F :{print $1,$4} :使用‘:’来分割这一行,把这一行的第一第四个域打印出来 。 详细介绍: AWK命令介绍 awk语言的最基本功能是在文件或字符串中基…

Mac使用crontab来实现定时任务

crontab 定时执行 配置文件都在/etc/crontab下,如果没有就创建 语法: crontab [-e [UserName]|-l [UserName]|-r [UserName]|-v [UserName]|File ] 说明: crontab 是用来让使用者在固定时间或固定间隔执行程序之用,换句话说&#…

前端技术周刊 2018-12-03:DOM

前端快爆 Chrome 71 开始将试用 SXG 功能,它是由 IETF 提出,Web Package 协议规范下的 Signed HTTP Exchanges 功能的缩写。该技术使得一个第三方服务器可以直接向用户提供可靠资源,且不用与原站共享 HTTPS 证书密钥。?点评:一项…

公司新来了一位阿里P9,在全员大会上讲荤段子!还是上个世纪的老段子,太烂了!...

阿里P9在坊间的名声一向不好,这几年在业界出了不少令人无语的新闻,今天又来了一个:公司新来了一位阿里P9伪高管,全员大会上来先讲了一个荤段子,这个破段子还是上个世纪的,太烂了!关于这个段子&a…

【转】博客美化(1)基本后台设置与样式设置

阅读目录 1.博客园后台设置2.自定义样式的设置博客园美化相关文章目录:博客园博客美化相关文章目录 一直都拜膜那些博客园的皮肤设计高手,由于本人对前端研究甚少,所以js,css这种东西只能看得懂最基本的,会简单改改。然后一直对自…

Airdoc创始人:工智能可以在医疗领域多个环节发挥作用 但有局限性

7月1日,在由武汉国家生物产业基地建设管理办公室主办、火石创造承办、光谷健康智慧园协办的医疗大数据与医学人工智能高峰论坛上,Airdoc创始人兼董事长张大磊做了题为《AI在医疗领域中应用的问题与局限》的演讲。 Airdoc是医疗领域人工智能领军企业&…

我的世界服务器抽奖系统怎么弄,我的世界自动识别货币抽奖机如何制作

我的世界是一款很经典的沙盒类游戏,在游戏中红石和命令方块是这部作品的核心,可以制作很多装备和道具,下面给大家分享下我的世界自动识别货币抽奖机如何制作,希望对大家有所帮助。自动识别货币抽奖机制作方法废话不多说,(貌似一句…

Java并发编程中volatile实现过程详细解析

2019独角兽企业重金招聘Python工程师标准>>> 首先并发编程有三大特性: 可见性,有序性,原子性。volatile关键字实现了前面两个特性。那么它是如何实现这两个特性的呢? 首先是可见性。可见性主要是让缓存,直接…

《ASP.NET Core 6框架揭秘》实例演示[32]:错误页面的N种呈现方式

由于ASP.NET是一个同时处理多个请求的Web应用框架,所以在处理某个请求过程中出现异常并不会导致整个应用的中止。出于安全方面的考量,为了避免敏感信息外泄,客户端在默认情况下并不会得到详细的出错信息,这无疑会在开发过程中增加…

SpringMVC接受JSON参数详解及常见错误总结我改

SpringMVC接受JSON参数详解及常见错误总结 最近一段时间不想使用Session了,想感受一下Token这样比较安全,稳健的方式,顺便写一个统一的接口给浏览器还有APP。所以把一个练手项目的前台全部改成Ajax了,跳转再使用SpringMVC控制转发…

软件定义存储的定制化怎么走?

引言 当前,软件定义存储成为业内超高速增长的典型。有研究人员称,从2014年到2019年,软件定义存储市场将从14亿美元增长到62亿美元以上,年复合增长率将达35%。软件定义存储所带来的优势显而易见,但是对于企业来说&#…

Golang并发模型:合理退出并发协程

goroutine作为Golang并发的核心,我们不仅要关注它们的创建和管理,当然还要关注如何合理的退出这些协程,不(合理)退出不然可能会造成阻塞、panic、程序行为异常、数据结果不正确等问题。这篇文章介绍,如何合…

剑网服务器维护,12月31日服务器例行维护公告

隐元秘鉴新增以下江湖行里使用趣味道具的成就:压酒唤客尝:使用压酒三十次欲解红烛意:使用烛影三十次闲情吹笛子:使用吹断三十次引弦中落雀:使用千鸟三十次黄云动风色:使用风色三十次卷抒平生意:…

一款 Windows 软件快捷助手

WPF 开发的 Windows 软件快捷助手Windows 软件快捷助手作者:WPFDevelopersOrg - 驚鏵原文链接:https://github.com/WPFDevelopersOrg/SoftwareHelper框架使用.NET40;Visual Studio 2019;项目使用 MIT 开源许可协议;项目使用 MVV…

关于8位AD_DA转换芯片的采样率问题

关于使用Keil计算程序执行时间 打开Keil程序,进入“启动/停止调试”界面。在需要暂停的地方设置断点(在该句程序前双击)。在程序上方有一行工具栏:此工具栏分别代表复位、运行、停止、步进、步越、步出、运行到光标处等。 点击运…

CYQ.Data 数据框架 V4.0 开源版本发布(源码提供下载,秋色园V2.5版本标配框架)

说明的说明: 博客园团队两次移此文出首页,说 这篇文章不属于知识分享型文章,并且有广告嫌疑。 本文的确属于分享型文章,而且分享的知识点比其它文章都多很多,看看网友回复“谢谢分享”就知道是分享型文章了。 所谓广告…

oracle 分组后取每组第一条数据

数据格式 分组取第一条的效果 sql SELECT * FROM (SELECT ROW_NUMBER() OVER(PARTITION BY x ORDER BY y DESC) rn, test1.* FROM test1) WHERE rn 1 ;

永大服务器进去显示字母,永大电梯服务器使用说明

永大电梯服务器使用说明2021-05-25一. 目的:用于工务交车前对MPU和XDR板进行调试。二. 对应作业:1-1对MPU电梯调试接线连接:1).对MPUGB2(A2)版电梯调试时(以及A2前版本),接线情况如下:连接顺序连…

树莓派Zero 2 W(ubuntu-22.04)通过.NET6和libusb操作USB读写

有这个想法的初衷喜欢电子和DIY硬件的朋友对稚晖君应该都不陌生,他定期都会分享一些自己做的好玩的硬件,他之前做了一个ElectronBot桌面机器人我就很感兴趣,所以就自己也做了一个。起初我只是自己开发了一个叫电子脑壳的上位机软件&#xff0…