bigfile.to服务器位置,Cloudera Manager 迁移服务器

Cloudera Manager还是比较耗资源的,想把Cloudera Manager,移动到比较好的机器上。

在这篇文章中,Cloudera Manager安装在bigserver1上面,bigserver1是奔腾双核的CPU。

1,Cloudera Manager占资源比较多

5ed7cef0ea188ca1866f3a448547c0a7.png

cloudera manager占资源挺多

停止cdh,以及cloudera manager

2,从bigserver1导出数据库,copy到新机器

# mysqldump -u cdh6 -pCdh6_123 scm -h 10.0.40.237 > scm.sql

# mysqldump -u cdh6 -pCdh6_123 amon -h 10.0.40.237 > amon.sql

# mysqldump -u cdh6 -pCdh6_123 rman -h 10.0.40.237 > rman.sql

# mysqldump -u cdh6 -pCdh6_123 hue -h 10.0.40.237 > hue.sql

# mysqldump -u cdh6 -pCdh6_123 metastore -h 10.0.40.237 > metastore.sql

# mysqldump -u cdh6 -pCdh6_123 sentry -h 10.0.40.237 > sentry.sql

# mysqldump -u cdh6 -pCdh6_123 nav -h 10.0.40.237 > nav.sql

# mysqldump -u cdh6 -pCdh6_123 navms -h 10.0.40.237 > navms.sql

# mysqldump -u cdh6 -pCdh6_123 oozie -h 10.0.40.237 > oozie.sql

# scp *.sql root@bigserver5:/root/cdh6/

3,在bigserver5(新机器)创建数据并导入

CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

use scm;

source /root/cdh6/scm.sql;

CREATE DATABASE amon DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

use amon;

source /root/cdh6/amon.sql;

CREATE DATABASE rman DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

use rman;

source /root/cdh6/rman.sql;

CREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

use hue;

source /root/cdh6/hue.sql;

CREATE DATABASE metastore DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

use metastore;

source /root/cdh6/metastore.sql;

CREATE DATABASE sentry DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

use sentry;

source /root/cdh6/sentry.sql;

CREATE DATABASE nav DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

use nav;

source /root/cdh6/nav.sql;

CREATE DATABASE navms DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

use navms;

source /root/cdh6/navms.sql;

CREATE DATABASE oozie DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

use oozie;

source /root/cdh6/oozie.sql;

grant all privileges on *.* TO cdh6@'10.%' IDENTIFIED BY 'Cdh6_123';

flush privileges;

第二,第三步,非必须。把数据库放在bigserver1(老机器)也是可以的。

4,bigserver5新机器安装cloudera-manager-server

# yum clean all && yum makecache

# yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server

这里的bigserver5,是集群中新增的一个datanode节点,怎么添加节点,请参考:cdh6 增加 datanode

5,将bigserver1文件同步到bigserver5

# scp -r /var/lib/cloudera-scm-server/* root@bigserver5:/var/lib/cloudera-scm-server/

# chown -R cloudera-scm:cloudera-scm /var/lib/cloudera-scm-server/

# scp -r /opt/cloudera/parcel-repo root@bigserver5:/opt/cloudera/

# chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

5,bigserver5上面,创建数据库配置

[root@bigserver5 ~]# /opt/cloudera/cm/schema/scm_prepare_database.sh -h bigserver5 mysql scm cdh6 Cdh6_123

JAVA_HOME=/usr/local/jdk1.8.0_231

Verifying that we can write to /etc/cloudera-scm-server

Creating SCM configuration file in /etc/cloudera-scm-server

Executing: /usr/local/jdk1.8.0_231/bin/java -cp :/opt/cloudera/cm/schema/../lib/* com.cloudera.enterprise.dbutil.DbCommandExecutor /etc/cloudera-scm-server/db.properties com.cloudera.cmf.db.

[ main] DbCommandExecutor INFO Unable to find JDBC driver for database type: MySQL

[ main] DbCommandExecutor ERROR JDBC Driver com.mysql.jdbc.Driver not found.

[ main] DbCommandExecutor ERROR Exiting with exit code 3

--> Error 3, giving up (use --force if you wish to ignore the error)

找不到mysql的jar包,/opt/cloudera/cm/schema/../lib/* ,根bigserver1上面的mysql-connector-java.jar包位置不一样。

解决办法:

# wget https://cdn.mysql.com//archives/mysql-connector-java-5.1/mysql-connector-java-5.1.47.tar.gz

# tar zxvf mysql-connector-java-5.1.47.tar.gz

# cd mysql-connector-java-5.1.47

# cp mysql-connector-java-5.1.47-bin.jar /opt/cloudera/cm/lib/mysql-connector-java.jar

注意:mysql-connector-java不要带有版本号。

6,在bigserver5启动Cloudera Management Service

# systemctl start cloudera-scm-server

如果用新的数据库,需要改数据连接,所有组件都要改

9bd22b0a32598cb6b6b7dcb6bc372d90.png

cloudera 数据库连接修改

755eea1f766fbaa57ced243444046614.png

Activity Monitor 数据库测试失败

如果报:不能测试状态不佳的主机的数据库连接。

解决办法:

# cd /var/lib/cloudera-scm-agent/

# rm -f cm_guid

# service cloudera-scm-agent restart

Cloudera Management Service启动后,在启动cdh,至此迁移结束。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/281413.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

公司新来了一位阿里P9,在全员大会上讲荤段子!还是上个世纪的老段子,太烂了!...

阿里P9在坊间的名声一向不好,这几年在业界出了不少令人无语的新闻,今天又来了一个:公司新来了一位阿里P9伪高管,全员大会上来先讲了一个荤段子,这个破段子还是上个世纪的,太烂了!关于这个段子&a…

【转】博客美化(1)基本后台设置与样式设置

阅读目录 1.博客园后台设置2.自定义样式的设置博客园美化相关文章目录:博客园博客美化相关文章目录 一直都拜膜那些博客园的皮肤设计高手,由于本人对前端研究甚少,所以js,css这种东西只能看得懂最基本的,会简单改改。然后一直对自…

Airdoc创始人:工智能可以在医疗领域多个环节发挥作用 但有局限性

7月1日,在由武汉国家生物产业基地建设管理办公室主办、火石创造承办、光谷健康智慧园协办的医疗大数据与医学人工智能高峰论坛上,Airdoc创始人兼董事长张大磊做了题为《AI在医疗领域中应用的问题与局限》的演讲。 Airdoc是医疗领域人工智能领军企业&…

我的世界服务器抽奖系统怎么弄,我的世界自动识别货币抽奖机如何制作

我的世界是一款很经典的沙盒类游戏,在游戏中红石和命令方块是这部作品的核心,可以制作很多装备和道具,下面给大家分享下我的世界自动识别货币抽奖机如何制作,希望对大家有所帮助。自动识别货币抽奖机制作方法废话不多说,(貌似一句…

Java并发编程中volatile实现过程详细解析

2019独角兽企业重金招聘Python工程师标准>>> 首先并发编程有三大特性: 可见性,有序性,原子性。volatile关键字实现了前面两个特性。那么它是如何实现这两个特性的呢? 首先是可见性。可见性主要是让缓存,直接…

《ASP.NET Core 6框架揭秘》实例演示[32]:错误页面的N种呈现方式

由于ASP.NET是一个同时处理多个请求的Web应用框架,所以在处理某个请求过程中出现异常并不会导致整个应用的中止。出于安全方面的考量,为了避免敏感信息外泄,客户端在默认情况下并不会得到详细的出错信息,这无疑会在开发过程中增加…

Golang并发模型:合理退出并发协程

goroutine作为Golang并发的核心,我们不仅要关注它们的创建和管理,当然还要关注如何合理的退出这些协程,不(合理)退出不然可能会造成阻塞、panic、程序行为异常、数据结果不正确等问题。这篇文章介绍,如何合…

关于8位AD_DA转换芯片的采样率问题

关于使用Keil计算程序执行时间 打开Keil程序,进入“启动/停止调试”界面。在需要暂停的地方设置断点(在该句程序前双击)。在程序上方有一行工具栏:此工具栏分别代表复位、运行、停止、步进、步越、步出、运行到光标处等。 点击运…

CYQ.Data 数据框架 V4.0 开源版本发布(源码提供下载,秋色园V2.5版本标配框架)

说明的说明: 博客园团队两次移此文出首页,说 这篇文章不属于知识分享型文章,并且有广告嫌疑。 本文的确属于分享型文章,而且分享的知识点比其它文章都多很多,看看网友回复“谢谢分享”就知道是分享型文章了。 所谓广告…

oracle 分组后取每组第一条数据

数据格式 分组取第一条的效果 sql SELECT * FROM (SELECT ROW_NUMBER() OVER(PARTITION BY x ORDER BY y DESC) rn, test1.* FROM test1) WHERE rn 1 ;

树莓派Zero 2 W(ubuntu-22.04)通过.NET6和libusb操作USB读写

有这个想法的初衷喜欢电子和DIY硬件的朋友对稚晖君应该都不陌生,他定期都会分享一些自己做的好玩的硬件,他之前做了一个ElectronBot桌面机器人我就很感兴趣,所以就自己也做了一个。起初我只是自己开发了一个叫电子脑壳的上位机软件&#xff0…

bzoj4589

fwt 原理并不知道 nim游戏石子异或和0后手赢 那么也就是求a[1]^a[2]^...^a[n]0的方案数 这个和bzoj3992一样可以dp dp[i][j]表示前i个数异或和为j的方案数 dp[0][0] 1 dp[i][j] dp[i - 1][k] * a[p] p ^ k j a[p] 0 / 1 表示有没有p这个数 这个东西也不能矩阵快速幂 但是我…

web框架之Django(一)

Python的WEB框架有Django、Tornado、Flask 等多种,Django相较与其他WEB框架其优势为:大而全,框架本身集成了ORM、模型绑定、模板引擎、缓存、Session等诸多功能。 基本配置 一、创建django程序 终端命令:django-admin startprojec…

程序员制作出价值5亿外卖神器却不能取消订单,你知道吗?

小编今日给大家带来RACDisopsable,大家可能有部分人对这个会感觉到很陌生,那么我就用一句话来表达就是他可以帮我们取消订阅。那么又会有人会对这个产生疑问了,我们什么时候需要用到这个取消订阅了打个实际的例子来说吧,今天我在饿…

《精读 Mastering ABP Framework》教程发布

精读《Mastering ABP Framework》学习总结,掌握软件开发最佳实践,构建可维护 .NET 解决方案。从 ABP Framework 框架中学习如何构建现代 WEB 应用程序。掌握 ABP Framework 框架ABP Framework 是一个完整的基础架构,遵循软件开发最佳实践&…

C# 委托知识总结

1.什么是委托,为什么要使用委托 我正在埋头苦写程序,突然想喝水,但是又不想自己去掉杯水而打断自己的思路,于是我就想让女朋友去给我倒水。她去给我倒水,首先我得让她知道我想让她干什么,通知她之后我可以继…

阿里云大学课程学习有奖征文活动现在开始

2019独角兽企业重金招聘Python工程师标准>>> "学有所获,分享为美"--阿里云大学课程学习有奖征文活动开始啦~~ 看课程,写心得,赢千元大奖,还有机会加入阿里云大学技术作者群!想试试自己的技术文笔…

Android 的系统架构

Android 的系统架构和其它操作系统一样,采用了分层的架构。android 分为四个层,从高层到低层分别是应用程序层、应用程序框架层、系统运行库层和 linux 核心层。 Android 是以 Linux 为核心的手机操作平台,作为一款开放式的操作系统&#xf…

记一次 .NET 某制造业 MES 系统崩溃分析

一:背景 1.讲故事前段时间有位朋友微信找到我,说他的程序偶尔会出现内存溢出崩溃,让我帮忙看下是怎么回事,咨询了下程序是 x86 部署,听到这个词其实心里已经有了数,不管怎么样还是用 windbg 分析一下。二&a…

首次公开!单日600PB的计算力--阿里巴巴EB级大数据平台的进击

摘要: 每年的双11之前,也是MaxCompute各种乾坤大挪移落定的时候,因为双11就是各种大折腾项目的自然deadline。在今年双11之前,一路向北迁移和在离线混部项目,将杭州集群除蚂蚁外整体迁移到张北,涉及了绝大部…