Storm tick 功能

1. tick的功能

Apache Storm中内置了一种定时机制——tick,它能够让任何bolt的所有task每隔一段时间(精确到秒级,用户可以自定义)收到一个来自__systemd的__tick stream的tick tuple,bolt收到这样的tuple后可以根据业务需求完成相应的处理。

2017-06-20 14:39:08.100 STDIO [INFO] 我是定时执行任务pipade,消息为:source: __system:-1, stream: __tick, id: {}, [10]

2. 在代码中使用tick及其作用

在代码中如需使用tick,可以参照下面的方式

2.1. 为指定bolt设置tick

希望某个bolt每隔一段时间做一些操作,那么可以将bolt继承BaseBasicBolt/BaseRichBolt,并重写getComponentConfiguration()方法。
在方法中设置Config.TOPOLOGY_TICK_TUPLE_FREQ_SECS的值,单位是秒。

Config config=new Config();
config.put(Config.TOPOLOGY_TICK_TUPLE_FREQ_SECS, 10);

getComponentConfiguration()是org.apache.storm.topology.IComponent接口中定义的方法,在该方法定义此Bolt特定的Config

@Override
public Map<String, Object> getComponentConfiguration() {// TODO Auto-generated method stubConfig config=new Config();config.put(Config.TOPOLOGY_TICK_TUPLE_FREQ_SECS, 10);return config;
}

-这样设置之后,此bolt的所有task都会每隔一段时间收到一个来自__systemd的__tick stream的tick tuple,因此execute()方法可以实现如下:

@Override
public void execute(Tuple input) {// TODO Auto-generated method stubif (input.getSourceComponent().equals(Constants.SYSTEM_COMPONENT_ID)|| input.getSourceStreamId().equals(Constants.SYSTEM_TICK_STREAM_ID)) {this.outputCollector.ack(input);System.out.println("我是定时执行任务pipade,消息为:"+input.toString());return;}//收到正常的Tuple,正常处理逻辑...
}

2.2. 为Topology全局设置tick

若希望Topology中的每个bolt都每隔一段时间做一些操作,那么可以定义一个Topology全局的tick,同样是设置Config.TOPOLOGY_TICK_TUPLE_FREQ_SECS的值:

//在main函数启动中设置
Config conf = new Config();
conf.put(Config.TOPOLOGY_TICK_TUPLE_FREQ_SECS, 10);
StormSubmitter.submitTopology("wordcount-online", conf, builder.createTopology());

2.3. tick设置的优先级

与Linux中的环境变量的优先级类似,storm中的tick也有优先级,全局tick的优先级低于局部Bolt定义的tick,即两个同时存在以局部为准,否则以全局为准。

这个参数的名字TOPOLOGY_TICK_TUPLE_FREQ_SECS具有一定的迷惑性,一眼看上去应该是Topology全局的,但实际上每个bolt也可以自己定义。

2.4. tick的精确度

Config.TOPOLOGY_TICK_TUPLE_FREQ_SECS是精确到秒级的。例如某bolt设置
Config.TOPOLOGY_TICK_TUPLE_FREQ_SECS为10s,理论上说bolt的每个task应该每个10s收到一个tick tuple。

实际测试发现,这个时间间隔的精确性是很高的,一般延迟(而不是提前)时间在1ms左右。测试环境:3台虚拟机做supervisor,每台配置:4Cpu、16G内存、千兆网卡。

3. storm tick的实现原理

在bolt中的getComponentConfiguration()定义了该bolt的特定的配置后,storm框架会在TopologyBuilder.setBolt()方法中调用bolt的getComponentConfiguration()方法,从而设置该bolt的配置。

调用路径为:TopologyBuilder.setBolt()-> TopologyBuilder.initCommon()-> getComponentConfiguration()

注:当topologyDeactivate时,tick任务还是依然执行

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/510133.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

cuda的shared momery

CUDA SHARED MEMORY 在global Memory部分&#xff0c;数据对齐和连续是很重要的话题&#xff0c;当使用L1的时候&#xff0c;对齐问题可以忽略&#xff0c;但是非连续的获取内存依然会降低性能。依赖于算法本质&#xff0c;某些情况下&#xff0c;非连续访问是不可避免的。使用…

图的表示方法和C++实现

图的表示最长用的两种方法是&#xff1a; 1&#xff09;、邻接矩阵表示法 2&#xff09;、邻接表表示 下面是两种构造图的方法 1&#xff09;邻接矩阵&#xff1a; [cpp] view plaincopy#include <iostream> #include <vector> using namespace std; //枚…

html中contextmenu属性

contexmenu属性用于定义<div>元素的上下文菜单&#xff0c;所谓上下文菜单就是用书右键点击元素时候出现。 示例代码&#xff1a; <!doctype html> <html> <head> <meta charset"utf-8"> <title> </title> </head>…

Hive 分区表操作 创建、删除

删除某个分区指定数据 ALTER TABLE tableName DROP PARTITION (times 201851); ALTER TABLE user_portrait_task DROP PARTITION (times > 201801);

成为专业程序员的 6 个技巧

1.在你责怪别人之前&#xff0c;先检查自己的代码 先想一想自己的假设和其他人的假设。来自不同供应商的工具可能内置不同的假设&#xff0c;即便是相同的供应商对于不同的工具&#xff0c;其假设也可能不同。 当其他人正在报告一个你不能重复的问题的时候&#xff0c;去看看他…

HUE集成Hbase

目录 一、Hbase开启代理用户相关配置 二、代理用户授权认证 三、检查HUE在hue.ini文件中指定的HBASE的本地配置目录 一、Hbase开启代理用户相关配置 Cloudera Manager修改Hbase配置或Hbase配置文件-hbase-site.xml <property><name>hbase.thrift.support.proxyu…

OpenCV中cornerSubPixel()亚像素求精原理

采用的方法为最小二乘法&#xff1a; 首先我们要构建以下方程&#xff1a; 我们讨论角点的情况&#xff1a; q是我们要求的角点 p0和p1为q周围的点 &#xff08;q-pi&#xff09;为一个向量 Gi为pi处的梯度 所以满足一下公式 Gi*(q-pi)0 有以下两种情况&#xff1a; &a…

HBase 2.0 之修复工具 HBCK2 运维指南

HBase 2.0 之修复工具 HBCK2 运维指南 转载自&#xff1a;https://mp.weixin.qq.com/s/GVMWwB1WsKcdvZGfvX1lcA?spma2c4e.11153940.blogcont683107.11.49d762a815MegW 概述 目前社区已经发布了 HBase 的 2.0 版本&#xff0c;很多公司都希望去尝试新版本上的新功能&#xff0c…

html中article、section、aside的区别与联系

首先看看我做的图(PS:有点丑)&#xff0c;通俗易懂

ros学习网站

1.turtlebot ROS平台介绍和学习资源 https://www.ncnynl.com/turtlebot2.html 2.古月居 https://www.guyuehome.com/ http://www.fetorobot.com/NewsDetail/1133238.html# 官方&#xff1a; http://wiki.ros.org/ sudo sh -c . /etc/lsb-release && echo "d…

优秀的程序员都避开了哪些坑?

程序员薪水有高有低&#xff0c;有的人一个月可能拿30K、50K&#xff0c;有的人可能只有2K、3K。同样有五年工作经验的程序员&#xff0c;可能一个人每月拿20K&#xff0c;一个拿5K。是什么因素导致了这种差异&#xff1f;我特意总结了容易导致薪水低的九大行为表现&#xff0c…

Springboot 集成 Swagger

1、问题描述 随着互联网技术的发展&#xff0c;现在的网站架构基本都由原来的后端渲染&#xff0c;变成了&#xff1a;前端渲染、先后端分离的形态&#xff0c;而且前端技术和后端技术在各自的道路上越走越远。 前端和后端的唯一联系&#xff0c;变成了API接口&#xff1b;API文…

email类型

<!DOCTYPE html> <html><head><meta charset"utf-8" /><title></title></head><body><form action"demo_form.php"method"get">请输入您的email地址: <input type"email" n…

优秀程序员的 18 大法则

经过多年的积累&#xff0c;我发现&#xff0c;下面这些基本的指导法则&#xff0c;可以帮助我成为一个更加高效的程序员。 程序设计法则&#xff0c;与设计和工程的原理密切相关。下面这些编程法则帮助我让我获益匪浅&#xff0c;所以我想分享给大家&#xff0c;希望也能帮助大…

ros学习(1)工作空间创建和功能包

&#xff11;.创建空间 mkdir -p ~/testROS_ws/src cd ~/testROS_ws/src catkin_init_workspace 2.编译工作空间 cd ~/testROS_ws catkin_make catkin_maek install &#xff13;.设置环境变量 &#xff14;.创建功能包 cd ~/testROS_ws/src 格式&#xff1a; catkin…

Hbase 表名修改

禁用表&#xff1a;disable ods_temp:artcile_tableName快照生成&#xff1a;snapshot ods_temp:artcile_tableName, artcile_tableName_Snapshot克隆快照为新的名字&#xff1a;clone_snapshot artcile_tableName_Snapshot, ods_temp:article_tableName删除快照&#xff1a;de…

url类型

<!DOCTYPE html> <html><head><meta charset"utf-8" /><title></title></head><body><form action"demo_form.php"method"get">请输入网址: <input type"url" name"us…

低效程序员的7个坏习惯

程序员总是想做到尽可能的高效&#xff0c;但很多人往往会觉得力不从心。这是因为他们在多年的编码过程中养成了一些不好的习惯。下面这7个坏习惯绝对是软件工程师需要改掉的。 1.缺乏激情 这已经是一个老生常谈的话题了&#xff0c;但却是真理。写了多年的代码后&#xff0c;程…

Storm消费Kafka异常 - topic其中两个分区达到某个值不进行消费,持续阻塞

Kafka消费storm&#xff0c;突然有两个分区无法消费数据(或重复消费无法提交offset) offset是我们自己进行管理&#xff0c;kafka日志也是正常没有报错&#xff0c;storm日志也是没有报错~ 就是卡住了 1.尝试将partition为0,1的offset记录删除&#xff0c;重新跑一遍&#xff…

ros(2) 发布者publisher的编程实现

&#xff11;.创建功能包 cd ~/testROS_ws/src catkin_create_pkg topic_publisher std_msgs rospy roscpp geometry_msgs turtlesim cd ~/testROS_ws/src/topic_publisher/src 2.编辑代码 tourch test.cpp /*** 该例程将发布turtle1/cmd_vel话题&#xff0c;消息类型ge…