Linux软件安装部署文档,MetaQ安装部署文档

一.MetaQ安装部署情况:

地点

IP

Broker ID

Master/Slave

Slave ID:Group

合肥

192.168.52.23

1

Slave

1:meta-slave-group-hf

北京

192.168.51.33

1

Master

/

广州

192.168.70.157

1

Slave

2:meta-slave-group-gz

二.MetaQ安装

1. 前提

已有安装了ZooKeeper的机器,且三地的MetaQ都可以访问到,即三个IP都可以ping通安装了ZooKeeper的机器。ZooKeeper是用来注册MetaQ的broker、topic、pub、sub信息,用来做负载均衡的,起到协调作用。

我在上述三地都安装了ZooKeeper,目前使用的是北京192.168.51.33:2181作为ZooKeeper服务器。

Zookeeper使用Ubuntu的deb包的dpkg方式安装。

启动ZooKeeper:

Service zookeeper start

2. 下载MetaQserver 1.4.6.2

3. 部署

解压tar zxvfmetaq-server-1.4.6.2.tar.gz,将解压出来的taobao/metamorphosis-server-wrapper文件夹移动到/usr/lib下,并重命名为metaq。

Metaq的文件结构:

l bin: metaq的命令文件夹./meteServer.sh执行metaq命令

l conf:metaq的配置文件夹,async_slave.properties异步复制配置,server.ini配置broker,samsa_master.properties同步复制配置。

l lib:metaq依赖的jar包

l provided: 开发者自己开发的程序

4. master/slave集群配置

使用异步复制架构。

修改北京192.168.51.33机器的/usr/lib/metaq/conf/server.ini文件为:

[system]

;; brokerId mustbe unique, the slave should be the same with master

brokerId=1

;; topicpartitions default set to 1, I changed it to 16, it should not be too large

numPartitions=16

serverPort=8123

dashboardHttpPort=8120

unflushThreshold=0

unflushInterval=10000

maxSegmentSize=1073741824

;default 1048576

maxTransferSize=104857600

deletePolicy=delete,168

deleteWhen=0 0 6,18 * * ?

flushTxLogAtCommit=1

stat=true

putProcessThreadCount=100

;; Update consumers offsets tocurrent max offsets when consumers offsets are out of range of current broker'smessages.

;; It must be false inproduction.But recommend to be true in development or test.

updateConsumerOffsets=true

;; your zookeeperserver

[zookeeper]

zk.zkConnect=192.168.51.33:2181

zk.zkSessionTimeoutMs=30000

zk.zkConnectionTimeoutMs=30000

zk.zkSyncTimeMs=5000

;; Topics section

[topic=test]

[topic=meta-test]

;; add your topicshere before use it

[topic=oct29]

因为使用master/slave模式,因此要时刻保持合肥192.168.52.23和广州192.168.70.157的server.ini文件保持和北京192.168.51.33相同,即使添加了新的topic,也要手动向server.ini中注册。

修改三地的conf/async_slave.properties,北京的保持不变,合肥的修改为

#slave编号,大于等于0表示作为slave启动,同一个master下的slave编号应该设不同值.

slaveId=1

#作为slave启动时向master订阅消息的group,如果没配置则默认为meta-slave-group

#不同的slaveId请使用不同的group

slaveGroup=meta-slave-group

#slave数据同步的最大延时,单位毫秒

slaveMaxDelayInMills=500

#是否自动从master同步server.ini, 1.4.2新增选项

#第一次仍然需要自己拷贝server.ini,后续可以通过设置此选项为true来自动同步

autoSyncMasterConfig=true

广州的conf/async_slave.properties修改为:

#slave编号,大于等于0表示作为slave启动,同一个master下的slave编号应该设不同值.

slaveId=2

#作为slave启动时向master订阅消息的group,如果没配置则默认为meta-slave-group

#不同的slaveId请使用不同的group

slaveGroup=meta-slave-group-gz

#slave数据同步的最大延时,单位毫秒

slaveMaxDelayInMills=500

#是否自动从master同步server.ini, 1.4.2新增选项

#第一次仍然需要自己拷贝server.ini,后续可以通过设置此选项为true来自动同步

autoSyncMasterConfig=true

5. 启动MetaQ集群

首先启动两个slave:

合肥和广州将目录切换到/usr/lib/metaq/bin下,使用slave模式启动MetaQ:

./metaServer.sh start slave &

北京启动master:

./metaServer.sh start &

三.问题

1. Topic的默认分区到底去多少好?即server.ini中numPartitions的配置,目前为16,当使用1024的时候很多会导致磁盘效率太低,message发送失败几率升高。

2. 异步复制的slave将参与消费者的消费活动,消息消费者可以从slave中获取消息并消费,消费者会随机从master和slaves中挑选一台作为消费broker。如何指定consumer从slave中消费message而不跑去消费master的呢?

3. 可以添加一个topic而不重启MetaQ吗?

Metamorphosis 的详细介绍:请点这里

Metamorphosis 的下载地址:请点这里

四.参考

0b1331709591d260c1c78e86d0c51c18.png

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/498298.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

美媒:中关村取代硅谷获评全球最大科技中心

来源:澎湃 概要:北京被评为2017年度全球最大科技城市第一名,中关村已取代硅谷成为全球最大的科技中心。 美媒称,一份最新报告显示,北京被评为2017年度全球最大科技城市第一名,中关村已取代硅谷成为全球最大…

linux 和服务通讯,Android 的Activity和Service之间的通信

在Android中Activity负责前台界面展示,service负责后台的需要长期运行的任务。Activity和Service之间的通信主要由IBinder负责。在需要和Service通信的Activity中实现ServiceConnection接口,并且实现其中的onServiceConnected和onServiceDisconnected方法…

【MLA首日报告摘要】周志华、马毅等教授分享机器学习最新进展

来源:专知 概要:第15届中国机器学习及其应用研讨会今天11月4日在北京交通大学举行,海内外从事机器学习及相关领域研究的10余位专家与会进行学术交流。 第15届中国机器学习及其应用研讨会今天11月4日在北京交通大学举行,海内外从事…

埃森哲5G智慧城市报告:美国GDP将狂增5千亿

来源:智东西 概要:第五代通信技术将不仅仅带来网速的提高(eMBB),更意味着可靠的低延时(uRLLC)海量物联网(mMTC)。 5G被认为是万物互联的开始。第五代通信技术将不仅仅带来…

星际旅行、返老还童…1.3万字看完今年的WE大会,简直就是一部科幻电影

来源:腾讯科技 概要:在第五届WE大会上,科学家们的“脑洞”更大了:星际旅行、返老还童等一个个过去科幻电影里的镜头出现了。 11月5日,WE大会在老时间、老地点如约而至。 时光飞速,WE大会如今已经是第五届了…

智能优化算法应用:基于战争策略算法3D无线传感器网络(WSN)覆盖优化 - 附代码

智能优化算法应用:基于战争策略算法3D无线传感器网络(WSN)覆盖优化 - 附代码 文章目录 智能优化算法应用:基于战争策略算法3D无线传感器网络(WSN)覆盖优化 - 附代码1.无线传感网络节点模型2.覆盖数学模型及分析3.战争策略算法4.实验参数设定5.算法结果6.…

从芯片巨头沦落到收购对象 高通是怎样失去魔力的?

来源:凤凰科技 概要:过去5年,高通股价几乎是原地踏步,而其他科技公司的股价却一直在快速上涨。 据《福布斯》北京时间11月6日报道,在华尔街,高通已经失去昔日魔力。过去5年,高通股价几乎是原地踏…

2017年中国人工智能产业专题研究报告(完整版)

来源:数据观 概要:目前,中国的人工智能研究处于爆发期,行业巨头公司正逐渐完善自身在人工智能的产业链布局,而不断涌现出的创业公司将持续在垂直领域深耕深挖。 目前,中国的人工智能研究处于爆发期&#x…

周志华:最新实验表明gcForest已经是最好的非深度神经网络方法

北京时间 11月5 日到11月6日,西瓜书《机器学习》作者、南京大学机器学习与数据挖掘研究所(LAMDA)周志华教授日前在MLA 2017上的演讲:深度森林初探——讲述的关于他最新集成学习研究成果-深度森林,一种对深度神经网络可…

中国工程程院院士高文:从大数据科学到人工智能的迁移过程

概要:中国工程程院院士、北京大学教授高文应邀参加JDD京东金融全球数据探索者大会,并进行了以“探索大数据,迎接人工智能时代”为主题的演讲。 来源:亿欧 11月6日,京东举行JDD京东金融全球数据探索者大会,在…

2017全球硬科技创新大会今日开幕 科技大腕聚集共绘西安“硬科技”发展蓝图

概要:2017全球硬科技创新大会今天在西安开幕。 来源:中国科技网 科技大腕聚集共绘西安“硬科技”发展蓝图 2017全球硬科技创新大会今天在西安开幕。本次大会参会人数超过5000人,其中有诺贝尔奖获得者、国内外相关领域院士专家、科技企业领袖、…

c语言能实现帧动画吗,CSS3 animation属性中的steps实现GIF动图(逐帧动画)

相信 animation 大家都用过很多,知道是 CSS3做动画用的。而我自己就只会在 X/Y轴 上做位移旋转,使用 animation-timing-function 规定动画的速度曲线,常用到的 贝塞尔曲线。但是这些动画效果都是连续性的。今天发现个新功能 animation-timing…

Sorenson Capital:值得投资的 5 种 AI 技术

概要:身为投资者的你,如果看好AI和机器学习的前景,又该在AI公司遍地开花的市场中,选择什么样的公司进行投资? 来源:36Kr 值得投资的机器学习和人工智能的应用有哪些? 人工智能、神经网络、机器…

这个重量级产业,中国正在爆发!

来源:全球新论坛 概要:中国在汽车领域和先进国家差距很大,但是我们至少做了一件对的事情,在中国销售的车辆都是在中国制造。 集成电路产业是中国产业升级的重中之重,我们都知道汽车是人类第一大工业,中国在…

AI论文引用排行榜丨微软第一,清华第九;Alphabet董事长看AI:美国仅领先5年,大陆追赶速度快;

来源:集微网 概要:根据The Verge报导,Schmidt表示,美国在AI人工智慧领域落后的风险相当高,他预测未来5年美国还有领先的实力,但之后大陆追上来的速度会非常快。 1.AI论文引用排行榜:微软第一,清华第九; 日经…

MIT 的新型开源系统 Taco 将数据分析速度提升 100 倍 !(附论文)

来源:全球人工智能 概要:麻省理工学院(MIT)开发的一种新型计算机系统为涉及“稀疏张量”(sparse tensor)的计算加快了速度,稀疏张量是主要由0组成的多维数据数组。 麻省理工学院&#xff08…

android动态设置文本居中显示图片,Android DrawableTextView图片文字居中显示实例

在我们开发中,TextView设置Android:drawableLeft一定使用的非常多,但Drawable和Text同时居中显示可能不好控制,有没有好的办法解决呢?小编的方案是通过自定义TextView实现。实现的效果图:注:第一行为原生Te…

洪小文:以科学的方式赤裸裸地剖析AI(二)|从寒冬到复兴

来源:微软研究院AI头条 概要:1956年,在达特茅斯会议之后,包括很多国家政府,美国国家科学基金会、军方,大家满怀希望投了很多钱。但是到1975年以后发生了几件事情,让AI进入了寒冬。 谈AI的历史&a…

ios android分享代码,快速插入代码块——iOS Android

昨天看到一篇分享插入代码块的文章 Xcode 快速开发 代码块,想到把我知道的其它方案也分享一下iOS篇这种方案可行,但效率不够高方案二:DashDash 目前只有 macOS 版本,免费,但有限制(会有时间延时,可以付费取…

重磅!腾讯发布AI生态计划将赋能1000合作伙伴!

来源: 腾讯科技 概要:11月8日,腾讯2017全球合作伙伴大会,在“创想人工智能”论坛上,腾讯披露了人工智能的整体布局,以及在众多研究领域的最新技术进展与应用探索。 11月8日,腾讯2017全球合作伙伴…