Storm消费Kafka异常 - topic其中两个分区达到某个值不进行消费,持续阻塞

Kafka消费storm,突然有两个分区无法消费数据(或重复消费无法提交offset)

offset是我们自己进行管理,kafka日志也是正常没有报错,storm日志也是没有报错~ 就是卡住了

1.尝试将partition为0,1的offset记录删除,重新跑一遍,结果还是到那个offset处卡住

2.再次尝试手动修改offset跳过卡住的那一条数据(这种做法会丢失一条数据,在数据不允许丢失或无法重新恢复的情况下不可使用)

set /stormoffset/xxx/partition_0 {"topology":{"id":"topology-name-28-1547535229","name":"topology-name"},"offset":417958889,"partition":0,"broker":{"host":"xxx","port":9092},"topic":"test_data"}

 重启storm程序,记住要kill掉再次启动才会生效,Deactivate/Activate无法生效

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/510114.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

为什么跳槽加薪会比内部调薪要高?

有网友在知乎提问: 最近在思考一个问题,为什么跳槽往往意味着加薪? 如果一个人确有价值,为什么在原来的公司没有在薪水上体现出来?如果没有价值,为什么跳槽以后就会加薪?还是可以单纯的解释为&a…

浏览器多代理配置 - SwitchyOmega

转自 https://www.switchyomega.com/settings/ 下载链接:https://proxy-switchyomega.com/download/ 情景模式 代理服务器 代理服务器可以支持 HTTP、HTTPS、SOCKS4、SOCKS5 代理协议。SOCKS 代理协议不支持验证。下图以配置 Shadowsocks 的 SOCKS5 代理协议为例。…

number类型

step&#xff1a;数字间隔 <!DOCTYPE html> <html><head><meta charset"utf-8" /><title></title></head><body><form action"demo_form.php"method"get">请输入数值: <input type&qu…

居然还能这样——程序员加薪的新方法

我的朋友A君是个典型的.NET开发人员&#xff0c;技术不错&#xff0c;人品也不错&#xff0c;在一家小公司&#xff08;姑且称为甲公司&#xff09;做项目开发&#xff0c;是技术骨干。 3个月前&#xff0c;他找到我说想跳槽&#xff0c;让我帮忙介绍工作。我说为什么想跳了&am…

range类型

输入包含一定范围内的数字 <!DOCTYPE html> <html><head><meta charset"utf-8" /><title></title></head><body><form action"demo_form.php"method"get">请输入数值: <input type&qu…

程序员真的很穷吗?

前几天一位做市场的同事跑过来问&#xff0c;池老师&#xff0c;我有一位朋友&#xff0c;快30了&#xff0c;想转行写程序&#xff0c;您觉得有戏吗&#xff1f;我看了看满目疮痍的他说&#xff0c;如果是你就没戏。 30多岁转行做程序员当然可行&#xff0c;毕竟历史上存在一些…

Hive 行转列,列传行 - Impala 暂不支持

注&#xff1a;Impala 不支持 lateral view explode 一、行转列 (对某列拆分&#xff0c;一列拆多行) 使用函数&#xff1a;lateral view explode(split(column, ,)) num eg: 如表&#xff1a;t_row_to_column_tmp 数据如下&#xff0c;对tag列进行拆分 SQL代码&#xff1a…

Hive 外部表关联分区数据

0. 说明 已经安装好Hadoop和hive环境&#xff0c;hive把元数据存储在mysql数据库。这里仅讨论外部表和HDFS的关联&#xff0c;并且删掉外部表之后&#xff0c;对HDFS上的文件没有影响。 1. 在HDFS创建分区&#xff0c;并存有文件 手工创建或者由程序在HDFS上生成了分区目录&a…

日期选择器date、week、time、datetime、datetime-local类型

下面只写两个类型的代码案例&#xff0c;其他都大同小异 date类型&#xff1a; <!DOCTYPE html> <html><head><meta charset"utf-8" /><title>hello</title></head><body><form action"demo_form.php"…

野生程序员的故事

野生程序员是指仅凭对计算机开发的兴趣进入这个行业&#xff0c;从前端到后台一手包揽&#xff0c;但各方面能力都不精通的人。野生程序员有很强大的单兵作战能力&#xff0c;但是在编入“正规军”之后&#xff0c;可能会不适应新的做事方法。 遭遇“野生程序员” 腾讯公司内部…

output.properties data exceeds its limit [2048] HUE执行脚本异常

Hue执行Shell脚本报错 java.io.IOException: output.properties data exceeds its limit [2048]at org.apache.oozie.action.hadoop.LocalFsOperations.getLocalFileContentAsString(LocalFsOperations.java:86)at org.apache.oozie.action.hadoop.LauncherAM.processActionDa…

5种类型的程序员

在我的代码旅程和编程冒险中&#xff0c;我遇到过很多奇怪的敌人&#xff0c;以及陌生的盟友。我发现至少有五种不同类型的代码战士&#xff0c;有的人能成为并肩合作的战友&#xff0c;而有些人似乎只能衬托我的每一个计划。 不过&#xff0c;他们在软件开发这个万神殿中也有着…

html中怎么定义搜索框?html中search类型?

<!DOCTYPE html> <html><head><meta charset"utf-8" /><title>hello</title></head><body><form action"demo_form.php"method"get">请输入搜索关键字: <input type"search"…

程序员要如何学英语?

一般来说&#xff0c;程序员可算是英语水平比较好的群体&#xff0c;因为在这个行业&#xff0c;英文资料是最全面、最及时&#xff0c;对英文资料的需求也最迫切的。就我观察&#xff0c;刚入门不久的程序员一般都能查阅英文文档&#xff0c;找到需要的信息。但是另一方面&…

html怎么设计自动出现提示的数据列表?怎么设计数据列表像百度一样怎么随用户输入而更新

<!DOCTYPE html> <html><head><meta charset"utf-8" /><title>hello</title></head><body><h2>输入查询的城市</h2><form autocomplete"on"><input type"text" id"s…

程序员从优秀到卓越的几点建议

和其他技术一样&#xff0c;编程也有层次阶段之分——业余爱好者、普通级别和专家级别。关于这个问题我问过很多很多次—— 如何从优秀到卓越&#xff1f;这是一个程序员应该扪心自问的最重要的问题。至少&#xff0c;在他们职业生涯的某些时候。 为了给出一个令人满意的答案&a…

Impala UDF - Impala调用Hive UDF函数

Impala 中运行 Hive UDF 场景&#xff1a;部分查询需要快速返回&#xff0c;使用Impala进行快速、复杂的查询 1.简单的UDF函数过滤&#xff0c;判断是否包含“好”字&#xff0c;返回boolean类型 import org.apache.hadoop.hive.ql.exec.UDF;/*** ClassName: UdfTest* Descri…

想要成为真正优秀的程序员是不是真的很难?

很多人认为要想成为一名优秀的程序员&#xff0c;那就需要一天24小时每天不断地编程——睁开眼睛要编程&#xff0c;闭上眼睛睡觉的时候还要梦到编程——我认为这是一种矫枉过正的方法。沿着这条路走&#xff0c;只会让你精疲力尽&#xff0c;犹如夸父逐日一般&#xff0c;死在…

Impala查询 - HDFS缓存数据

HDFS缓存数据命令 查看缓存池信息 hdfs cacheadmin -listPools -stats 查看已缓存的数据信息 hdfs cacheadmin -listDirectives -stats Impala表卸载缓存数据 alter table dw_crawler.bsl_zhongda_weibo_article_hive set uncached; 创建缓存池 hdfs cacheadmin -addPool a…

html怎样实现数据列表的下拉效果

目前支持浏览器&#xff1a;火狐、欧朋。。 谷歌不支持 <!DOCTYPE html> <html> <head> <meta charset"utf-8" /> <title>hello</title> </head> <body> <form action"testform.php"method&q…