消息丢失
- 生产者方:设置ack为1或-1/all可以防止生产的消息丢失,如果要做到生产消息成功率提高到最高,ack设置成all,把min.insync.replicas配置成分区备份数,把ack设置成1或者-1/all,这样生产者生产的消息发送到broker中,会等待leader或者至少leader和一个副本同步到消息才会返回ack,如果生产者同步消息失败,会进行重试
$conf->set('message.send.max.retries', 5);$conf->set('request.required.acks', 1);
- 消费者方:把自动提交改为手动提交offset
重复消费
- 生产者:通过ack设置,尽量保证消息不回重复发送,但是因为网络抖动和重试机制,还是会导致消息重复
- 消费者:对关键数据进行幂等处理,防止关键数据重复处理。一般实现幂等的操作:
- 数据投递之前生成唯一uuid
- 数据消费的时候,使用乐观锁,防止重复消费
保持数据有序
- 生产者投递数据时,支持根据关键数据(例如uid)生成哈希值,同一个uid可以投递到指定的partition
- 日志类的数据,可以在投递数据前,就记录生成时间,消费的时候,根据时间存储到db中