中间件 | Kafka - [常见问题]

INDEX

      • §1 消息丢失
        • §1.1 消息丢失位置
        • §1.2 如何避免消息丢失
      • §2 顺序消费

§1 消息丢失

§1.1 消息丢失位置

在这里插入图片描述

  • 1:producer 向 kafka 投递消息时
  • 2:kafka-topic 中 leader 已经写入了消息,向副本写入消息前挂了时
  • 3:消费者从 kafka 拉取了消息,提交了 offset 但没有真实消费时
§1.2 如何避免消息丢失

发送时:

  • 启动独立消息服务,持久化所有需要发送的消息
    • 不是所有消息都需要持久化,没有可靠性要求的消息可以直接发送
    • 先持久化消息数据,再投递消息,消息收到 ACK 后需要更新消息状态
  • 开启定时任务,轮询持久化的消息,长期没有变更状态的消息需要回查

复制时

  • ACK 机制的选择
    • 可以保持默认的 all 级别
    • 但因为有独立消息服务在,可以置为 1(写入 leader 即返回)
  • 指定合适 ISR
    • ISR 即 In-Sync Replica set,是与 leader 正常通信的 broker 的集合
    • leader 包含在这个集合中
    • 通过 max.insync.replica 可以确定 ACK 返回的时机
      • 必须在 ACK == all/-1 时,此配置才有效
      • 通常配置为 副本数/2
      • 默认值 1,但这样配置 ACK 的 ALL 与 1 等价,都是只写入 leader 就 ACK

消费时:

  • 需要正确的提交 offset
  • offset 可以漏提交,但不能空提交(还没消费就提交了)
  • 消费端必须补全幂等

§2 顺序消费

  • 业务没有要求的情况下不用保证顺序消费
  • 局部顺序消费由 partition 保证,partition 中的消息是有序的,会顺序消费
  • 如果希望全局顺序消费,需要 topic 只有一个 partition
  • 不能保证顺序消费的场景
    • 消息加入到死信队列(重试队列) 中
      已经脱离了原来的顺序
    • 消费端开了并发消费,比如监听到的消息扔到线程池里处理

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/741970.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

java正整数校验

在Java中,校验一个字符串是否表示正整数通常可以通过以下几种方法实现: 方法1:使用正则表达式 import java.util.regex.Pattern; import java.util.regex.Matcher;public class NumberValidationUtils {public static boolean isPositiveIn…

3月13日做题总结(Linux真题)

第一题 SPI接口的三线制有哪三线? A---MISO B---MOSI C---CS D---CLK 正确答案:ABD 解析:SPI通常有4根线(四线制),可实现全双工通信 【CLK】: 串行时钟(Serial Clock) 【MOSI…

OSCP靶场--Depreciated

OSCP靶场–Depreciated 考点(1. graphql枚举 2.CVE-2021-4034提权) 1.nmap扫描 ┌──(root㉿kali)-[~/Desktop] └─# nmap -sV -sC -p- 192.168.155.170 --min-rate 2500 Starting Nmap 7.92 ( https://nmap.org ) at 2024-03-13 04:19 EDT Nmap scan report for 192.168.…

平台靠不住了,独立站,自主权,LTD营销枢纽助力企业应对全球化挑战

当今全球化的市场环境中,我国的出海品牌和供应链面临着很大的挑战,但同时也蕴含着机遇。随着跨境电商的兴起,像亚马逊、TikTok等大的电商平台成为中国卖家走向世界的重要桥梁。不过,平台的政策改变和外部环境的不确定性因素给依赖…

Rabbit算法:轻量高效的加密利器

title: Rabbit算法:轻量高效的加密利器 date: 2024/3/13 18:14:31 updated: 2024/3/13 18:14:31 tags: Rabbit算法流密码高安全性高性能密钥调度加密解密抗攻击性 Rabbit算法起源: Rabbit算法是由Martin Boesgaard和Mette Vesterager提出的一种流密码算…

(C语言)strcpy与strcpy详解,与模拟实现

目录 1. strcpy strcpy模拟实现&#xff1a; 实现方法1&#xff1a; 实现方法2&#xff1a; 2. strcat strcat模拟实现&#xff1a; 1. strcpy 作用&#xff1a;完成字符串的复制。 头文件&#xff1a;<string.h> destination是字符串要复制到的地点&#xff0c;s…

这款自动引流软件居然能让你的营销效果翻倍提升!

在数字化时代&#xff0c;营销策略的高效执行对企业来说至关重要。自动引流软件作为现代企业营销工具箱中的一员&#xff0c;其重要性不言而喻。这类软件通过智能化、自动化的方式&#xff0c;将潜在客户吸引到企业的销售渠道中&#xff0c;从而为企业带来可观的收益和品牌曝光…

SpringBoot集成netty实现websocket通信

实现推送消息给指定的用户 一、依赖 <?xml version"1.0" encoding"UTF-8"?> <project xmlns"http://maven.apache.org/POM/4.0.0"xmlns:xsi"http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation"http://m…

武汉儿童医院变电所电力运维平台系统的设计及应用

彭姝麟 Acrelpsl 1 引言 2015年国务院发布《中共中央、国务院关于进一步深化电力体制改革的若干意见》&#xff08;中发[2015]9号&#xff09;&#xff0c;简称“电改9号文”。而本次新电改的重点是“三放开一独立三强化”&#xff1a;输配以外的经营性电价放开、售电业务放开…

法规解读 | 坚持总体国家安全观,新修订的《保守国家秘密法》今年5月1日起施行!

2024年2月27日&#xff0c;第十四届全国人大常委会第八次会议表决通过新修订的《中华人民共和国保守国家秘密法》&#xff08;以下简称保密法&#xff09;&#xff0c;自2024年5月1日起施行。 本次保密法修订坚持总体国家安全观&#xff0c;统筹发展与安全。 一方面吸收了一些工…

政务云安全风险分析与解决思路探讨

1.1概述 为了掌握某市政务网站的网络安全整体情况&#xff0c;在相关监管机构授权后&#xff0c;我们组织人员抽取了某市78个政务网站进行安全扫描&#xff0c;通过安全扫描&#xff0c;对该市政务网站的整体安全情况进行预估。 1.2工具扫描结果 本次利用漏洞扫描服务VSS共扫…

EDGE pkl 播放

目录 EDGE pkl 播放 python代码: EDGE pkl 播放 python代码: import os import pickle from pathlib import Path from tempfile import TemporaryDirectoryimport librosa as lr import matplotlib.animation as animation import matplotlib.pyplot as plt import numpy a…

管道...

问题描述 有一根长度为 len的横向的管道&#xff0c;该管道按照单位长度分为len段&#xff0c;每一段的中央有一个可开关的阀门和一个检测水流的传感器。 开始管道是空的&#xff0c;位于工&#xff0c;的阀门会在S时刻打开&#xff0c;并不断让水流入管道。 对于位于 工的阀门…

app逆向-ratel框架-sekiro框架的安装使用

文章目录 一、前言二、初次尝试三、原⽣APP的使⽤四、ratel框架结合sekiro框架使用 一、前言 sekiro主要支持多节点的程序调用&#xff0c;所以他归属于RPC&#xff08;Remote Procedure Call&#xff09;框架&#xff1a;API管理、鉴权、分布式、负载均衡、跨语言 开源文档&…

如何在群晖NAS部署WPS容器并实现无公网IP远程访问本地office软件

文章目录 1. 拉取WPS Office镜像2. 运行WPS Office镜像容器3. 本地访问WPS Office4. 群晖安装Cpolar5. 配置WPS Office远程地址6. 远程访问WPS Office小结 7. 固定公网地址 wps-office是一个在Linux服务器上部署WPS Office的镜像。它基于WPS Office的Linux版本&#xff0c;通过…

【C语言】指针详解2

&#x1f451;个人主页&#xff1a;啊Q闻 &#x1f387;收录专栏&#xff1a;《C语言》 &#x1f389;道阻且长&#xff0c;行则将至 前言 这篇博客分享的指针部分为与数组有关的指针知识&#xff0c;包括一位数组和二维数组 指针详解1的博客 【C语言】指针…

算法思想总结:双指针算法

一、移动零 . - 力扣&#xff08;LeetCode&#xff09; 移动零 该题重要信息&#xff1a;1、保持非0元素的相对位置。2、原地对数组进行操作 思路&#xff1a;双指针算法 class Solution { public:void moveZeroes(vector<int>& nums){int nnums.size();for(int cur…

高性能服务系列【七】网络的延迟构成

上文讲过&#xff0c;在以太网中&#xff0c;不论要发多少字节的TCP数据&#xff0c;78个字节的固定协议格式是必须的。很显然&#xff0c;每个以太网帧越大&#xff0c;最大不超过1538个字节&#xff0c;则有效载荷占比越高。而以太网帧越小&#xff0c;同样字节的应用层数据&…

如何将本地开发完成后的数据库文件迁移到服务器中

将本地开发完成后的数据库文件迁移到服务器中的数据库是一个常见的操作&#xff0c;尤其是在项目部署阶段。这个过程大致可以分为导出&#xff08;备份&#xff09;本地数据库、传输文件到服务器、以及导入数据库到服务器数据库中三个步骤。这里我将以 MySQL 和 MongoDB 为例来…

【Linux】Shell编程【二】

目录 Shell流程控制条件测试注意事项示例[ condition ]与[[ condition ]]的区别 if条件单分支语法示例1&#xff1a;统计根分区使用率示例2&#xff1a;创建目录 双分支if条件语句语法案例1&#xff1a;备份mysql数据库案例2&#xff1a;判断apache是否启动&#xff0c;如果没有…