Storm教程2安装部署


Storm 安装部署

部署Storm集群需要依次完成的安装步骤:
        1.安装jdk6及以上版本;
  2. 搭建Zookeeper集群;
  3. 安装Storm依赖库;
  4. 下载并解压Storm发布版本;
  5. 修改storm.yaml配置文件;
  6. 启动Storm各个后台进程。

——————————————————————————————————————


Storm包的安装配置

需要在Nimbus和Supervisor机器上安装Storm发行版本。
1. 下载Storm发行版本:
wget https://github.com/downloads/nathanmarz/storm/storm-0.9.2.zip 
2. 解压到安装目录下:
unzip storm-0.9.2.zip 
修改storm.yaml配置文件conf/storm.yaml
conf/storm.yaml中的配置选项将覆盖defaults.yaml中的默认配置。


1) storm.zookeeper.servers: Storm集群使用的Zookeeper集群地址,其格式如下:
storm.zookeeper.servers: 
- “111.222.333.444″ 
- “555.666.777.888″ 
如果Zookeeper集群使用的不是默认端口,那么还需要storm.zookeeper.port选项。
2) storm.local.dir: Nimbus和Supervisor进程用于存储少量状态,如jars、confs等的本地磁盘目录,需要提前创建该目录并给以足够的访问权限。然后在storm.yaml中配置该目录,如:
storm.local.dir: "/home/admin/storm/workdir" 


注意事项:
启动Storm后台进程时,需要对conf/storm.yaml配置文件中设置的storm.local.dir目录具有写权限。
storm后台进程被启动后,将在Storm安装部署目录下的logs/子目录下生成各个进程的日志文件。
经测试,Storm UI必须和Storm Nimbus部署在同一台机器上,否则UI无法正常工作,因为UI进程会检查本机是否存在Nimbus链接。
为了方便使用,可以将bin/storm加入到系统环境变量中。
至此,Storm集群已经部署、配置完毕,可以向集群提交拓扑运行了。

——————————————————————————————————————


Storm 相关配置项

storm.zookeeper.root
Storm在zookeeper集群中的根目录,默认是“/”

topology.workers
每个Topology运行时的worker的默认数目,若在代码中设置,则此选项值被覆盖

storm.zookeeper.servers
zookeeper集群的节点列表

storm.local.dir
Storm用于存储jar包和临时文件的本地存储目录

ui.port   
Storm集群的UI地址端口号,默认是8080

nimbus.host:
Nimbus节点的host

supervisor.slots.ports
Supervisor节点的worker占位槽,集群中的所有Topology公用这些槽位数,即使提交时设置了较大数值的槽位数,系统也会按照当前集群中实际剩余的槽位数来进行分配,当所有的槽位数都分配完时,新提交的Topology只能等待,系统会一直监测是否有空余的槽位空出来,如果有,就再次给新提交的Topology分配。

——————————————————————————————————————


Storm 常用命令

1、启动nimbus后台程序 命令格式:storm nimbus

2、启动supervisor后台程序 命令格式:storm supervisor

3、启动ui服务 命令格式:storm ui

4、提交Topologies

命令格式:storm jar 【jar路径】 【拓扑包名.拓扑类名】【stormIP地址】【storm端口】【拓扑名称】【参数】

eg: storm jar /home/storm/storm-starter.jar storm.starter.WordCountTopology wordcountTop;

#提交storm-starter.jar到远程集群,并启动wordcountTop拓扑。

5、停止Topologies

查看当前运行的topo: storm list

命令格式:storm kill 【拓扑名称】

样例:storm kill wordcountTop #杀掉wordcountTop拓扑。



本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/387281.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

matplotlib一些常用知识点的整理,

本文作为学习过程中对matplotlib一些常用知识点的整理,方便查找。 强烈推荐ipython 无论你工作在什么项目上,IPython都是值得推荐的。利用ipython --pylab,可以进入PyLab模式,已经导入了matplotlib库与相关软件包(例如…

JAVA课程09

package 月份输出;import java.util.*;public class 月份输出 {public static void main(String[] args) {// TODO Auto-generated method stubScanner sc new Scanner(System.in);int s sc.nextInt();String a[] {"January","February","March&q…

Storm教程3编程接口

Spouts Spout是Stream的消息产生源,Spout组件的实现可以通过继承BaseRichSpout类或者其他Spout类来完成,也可以通过实现IRichSpout接口来实现。 需要根据情况实现Spout类中重要的几个方法有: open方法 当一个Task被初始化的时候会调用此…

梳理操作系统概论

1、用一张图总结操作系统的结构、功能特征、采用的技术和提供服务方式等。 2、用一张图描述CPU的工作原理。 3、用一张图描述系统程序与应用程序、特权指令与非特权指令、CPU状态、PSW及中断是如何协同工作的? 转载于:https://www.cnblogs.com/ljgljg/p/10503190.ht…

机器学习01简介

Machine Learning 是人工智能的核心,主要使用归纳、综合而不是演绎。 让计算机模拟人类行为,以获取新的知识或技能 重新组织已有的知识结构使之不断改善自身性能 一个程序能从经验 E 中学习,解决任务 T,达到性能度量值P&#xf…

位置指纹法的实现(KNN)

基本原理 位置指纹法可以看作是分类或回归问题(特征是RSS向量,标签是位置),监督式机器学习方法可以从数据中训练出一个从特征到标签的映射关系模型。kNN是一种很简单的监督式机器学习算法,可以用来做分类或回归。 对于…

室内定位系列 ——WiFi位置指纹(译)

摘要 GPS难以解决室内环境下的一些定位问题,大部分室内环境下都存在WiFi,因此利用WiFi进行定位无需额外部署硬件设备,是一个非常节省成本的方法。然而WiFi并不是专门为定位而设计的,传统的基于时间和角度的定位方法并不适用于WiFi…

机器学习02线性回归、多项式回归、正规方程

单变量线性回归(Linear Regression with One Variable) 预测器表达式: 选择合适的参数(parameters)θ0 和 θ1,其决定了直线相对于训练集的准确程度。 建模误差(modeling error)&a…

最大乘积

给定一个无序数组,包含正数、负数和0,要求从中找出3个数的乘积,使得乘积最大,要求时间复杂度:O(n),空间复杂度:O(1) def solve():n input()a input().split()for i in range(len(a)):a[i] in…

机器学习03Logistic回归

逻辑回归 (Logistic Regression) 目前最流行,使用最广泛的一种学习算法。 分类问题,要预测的变量 y 是离散的值。 逻辑回归算法的性质是:它的输出值永远在 0 到 1 之间。 逻辑回归模型的假设是: 其中&a…

基础架构系列汇总

为了方便查找,把基础架构系统文章按时间正序整理了一下,记录如下: 1. 基础架构之日志管理平台搭建及java&net使用 2. 基础架构之日志管理平台及钉钉&邮件告警通知 3. 基础架构之分布式配置中心 4. 基础架构之分布式任务平台 5. 基础架…

CNN理解比较好的文章

什么是卷积神经网络?为什么它们很重要? 卷积神经网络(ConvNets 或者 CNNs)属于神经网络的范畴,已经在诸如图像识别和分类的领域证明了其高效的能力。卷积神经网络可以成功识别人脸、物体和交通信号,从而为机…

Windows 安装Angular CLI

1、安装nvm npm cnpm nrm(onenote笔记上有记录) 参考:https://blog.csdn.net/tyro_java/article/details/51232458 提示:如果发现配置完后,出现类似“npm不是内部命令……”等信息。 可采取如下措施进行解决—— 检查环…

机器学习04正则化

正则化(Regularization) 过拟合问题(Overfitting): 如果有非常多的特征,通过学习得到的假设可能能够非常好地适应训练集 :代价函数可能几乎为 0), 但是可能会不能推广到…

Adaboost算法

概述 一句话概述Adaboost算法的话就是:把多个简单的分类器结合起来形成个复杂的分类器。也就是“三个臭皮匠顶一个诸葛亮”的道理。 可能仅看上面这句话还没什么概念,那下面我引用个例子。 如下图所示: 在D1这个数据集中有两类数据“”和“-”…

Codeforces 408D Long Path (DP)

题目: One day, little Vasya found himself in a maze consisting of (n  1) rooms, numbered from 1 to (n  1). Initially, Vasya is at the first room and to get out of the maze, he needs to get to the (n  1)-th one. The maze is organized as fol…

机器学习05神经网络--表示

神经网络:表示(Neural Networks: Representation) 如今的神经网络对于许多应用来说是最先进的技术。 对于现代机器学习应用,它是最有效的技术方法。 神经网络模型是许多逻辑单元按照不同层级组织起来的网络, 每一层…

逻辑回归(Logistic Regression, LR)又称为逻辑回归分析,是分类和预测算法中的一种。通过历史数据的表现对未来结果发生的概率进行预测。例如,我们可以将购买的概率设置为因变量,将用户的

逻辑回归(Logistic Regression, LR)又称为逻辑回归分析,是分类和预测算法中的一种。通过历史数据的表现对未来结果发生的概率进行预测。例如,我们可以将购买的概率设置为因变量,将用户的特征属性,例如性别,年龄&#x…

解决SecureCRT无法用非root账号登录ssh

链接失败,提示这个: --------------------------- SecureCRT --------------------------- 连接到会话 192.168.1.100 失败 : The server has disconnected with an error. Server message reads: A protocol error occurred. Change of username or se…

机器学习06神经网络--学习

代价函数 标记方法: 神经网络的训练样本有 m 个 每个包含一组输入 x 和一组输出信号 y L 表示神经网络层数 Sl表示每层的 neuron 个数(SL 表示输出层神经元个数) 将神经网络的分类定义为两种情况: 二类分类:SL1, y0 or 1 表示哪一类&…