Kafka消费storm,突然有两个分区无法消费数据(或重复消费无法提交offset)
offset是我们自己进行管理,kafka日志也是正常没有报错,storm日志也是没有报错~ 就是卡住了
1.尝试将partition为0,1的offset记录删除,重新跑一遍,结果还是到那个offset处卡住
2.再次尝试手动修改offset跳过卡住的那一条数据(这种做法会丢失一条数据,在数据不允许丢失或无法重新恢复的情况下不可使用)
set /stormoffset/xxx/partition_0 {"topology":{"id":"topology-name-28-1547535229","name":"topology-name"},"offset":417958889,"partition":0,"broker":{"host":"xxx","port":9092},"topic":"test_data"}
重启storm程序,记住要kill掉再次启动才会生效,Deactivate/Activate无法生效