《深入理解kafka-核心设计与实践原理》

本文是对于《深入理解kafka-核心设计与实践原理》的笔记和提纲整理

主要用于复习和知识点快速复习

第一章:概念

链接:《深入理解kafka-核心设计与实践原理》第一章:概念

第一章:概念

  • [1.1] 基本概念
    • [1.1.1] 基本角色与概念
    • [1.1.2] 其他概念(AR、ISR、OSR、HW、LEO)
  • [1.2] 概念图

第二章:生产者

链接:《深入理解kafka-核心设计与实践原理》第二章:生产者

第二章:生产者

  • [2.1] api使用
    • [2.1.1] 生产者:KafkaProducer
    • [2.1.2] 消息体:ProducerRecord
    • [2.1.3] 序列化器:Serializer
    • [2.1.4] 分区器:Partitioner
    • [2.1.5] 拦截器:Interceptor
  • [2.2] 生产者客户端的原理
    • [2.2.1] 整体架构
    • [2.2.2] 元数据的更新
  • [2.3] 重要的生产者参数
    • [2.3.1] acks
    • [2.3.2] max.request.size
    • [2.3.3] retries和retry.backoff.ms
    • [2.3.4] 其他参数 

第三章:消费者

链接:《深入理解kafka-核心设计与实践原理》第三章:消费者

第三章:消费者

  • [3.1] 消费者与消费组
    • [3.1.1] 消费者(Consumer)
    • [3.1.2] 消费组(Consumer Group)
    • [3.1.3] 消息投递模式
  • [3.2] 客户端开发
    • [3.2.1] 必要的配置参数
    • [3.2.2] 订阅主题与分区
    • [3.2.3] 反序列化
    • [3.2.4] 消费消息
    • [3.2.5] 位移提交
      • [3.2.5.1] offset
      • [3.2.5.2] 消费后的提交方式:自动提交/手动提交
    • [3.2.6] 控制/关闭消费
    • [3.2.7] 指定位移消费
    • [3.2.8] 再均衡(Rebalance)
    • [3.2.9] 消费者拦截器
    • [3.2.10] 多线程实现
  • [3.3] 重要的消费者参数

补充:一些实际问题的理解

链接:《深入理解kafka》对于实际问题的理解

Q1:消息可靠性(不重不漏)

  • 1.1 如何保证消息不丢
  • 1.2 如何保证消息不重

Q2:积压/消费能力

  • 2.1 线上积压排查思路
  • 2.2 增加消费能力

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/7407.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

教程分享:如何为跨境电商、外贸、国际展会制作二维码?

不论是做跨境电商、在全球做产品推广,还是国外的餐厅运营、参加国际展会,或者是做创意户外广告、制作个性化的个人名片、有趣的产品包装……只要是在国外使用二维码,你都可以在QR Tiger去制作您需要的二维码! 一、认识QR Tiger 二…

SpringBoot+Redission实现排行榜功能

SpringBootRedission实现排行榜功能 demo地址:ranking-demo: 排行榜DEMO (gitee.com) 一、业务需求 实现一个排行榜,要求按照分数和达成这个分数的时间排序,即相同分数下,时间早的在上面 二、Redis中的zSet(有序集合) 1.简介 …

Flutter 中的 @immutable:深入解析与最佳实践

在 Flutter 开发中,immutable 注释扮演着至关重要的角色,用于标记不可变类。不可变类顾名思义,其状态一旦创建便不可更改,这与可变类截然不同。后者允许在创建后对实例进行修改。 immutable 的利好 引入不可变类可以带来诸多优势…

GO日志打印添加goroutineid

今天想给日志添加一个前缀,以区分不同goroutine的日志,方便做并发问题的排查,做日志跟踪。 为了解决goroutineid,网上各出奇招,有的使用runtime包未公开的方法获取: func Goid() int {defer func() {if e…

如何在Windows 11中查找产品密钥?这里提供两种办法

Windows 11使用产品密钥来确保你的操作系统是正版的,换句话说,不是盗版的。你可以在你的电脑上找到正在使用的产品密钥,如果你自己购买了Windows并需要重新安装,该密钥特别有用。 什么是Windows产品密钥 产品密钥是微软确保所使用的Windows副本是正版的方法。当激活Windo…

docker容器 怎么查看运行日志

在Docker中,查看容器的运行日志可以使用docker logs命令。该命令允许你获取容器的日志输出,这对于调试和监控容器的状态非常有用。 以下是docker logs命令的一些常用用法: 基本用法 docker logs [OPTIONS] CONTAINERCONTAINER 是容器的ID或…

【Pytorch】3.Transforms的运用

什么是Transforms 在PyTorch中,transforms是用于对数据进行预处理、增强和变换的操作集合。transforms通常用于数据载入和训练过程中,可以包括数据的归一化、裁剪、翻转、旋转、缩放等操作,以及将数据转换成PyTorch可以处理的Tensor格式。 Tr…

leetcode---岛屿数量

. - 力扣(LeetCode) 代码: //岛屿题目的思想:二维矩阵图的DFS就是,上下左右遍历如果是0或者出界的话就return //规定的是陆地上下左右是水的话它就是岛屿。当遍历矩阵图中每一个点, //在调用递归算法之前…

高频次的低价监测如何实现

品牌在做控价的过程中,需要对渠道中的低价数据进行监测,但价格数据变化快,涉及的促销信息也很多,如何将这些变化的数据监测到位,同时对于低价的凭证还要截图留证,以便有效的进行渠道治理,这就需…

【redis】redis持久化分析

目录 持久化Redis持久化redis持久化的方式持久化策略的设置1. RDB(快照)fork(多进程)RDB配置触发RDB备份自动备份手动执行命令备份(save | bgsave)flushall命令主从同步触发动态停止RDB RDB 文件恢复验证 RDB 文件是否被加载 RDB …

【海豚调度 开机启动】dophischeduler 如何开启开机自启动功能

DolphinScheduler 是一个分布式、去中心化的大数据工作流调度系统,支持大数据任务调度。若要设置 DolphinScheduler 开机自启动,通常需要将其配置为系统服务。以下是一般步骤,具体操作可能因操作系统的不同而有所差异: 在 Linux …

AI大模型探索之路-训练篇16:大语言模型预训练-微调技术之LoRA

系列篇章💥 AI大模型探索之路-训练篇1:大语言模型微调基础认知 AI大模型探索之路-训练篇2:大语言模型预训练基础认知 AI大模型探索之路-训练篇3:大语言模型全景解读 AI大模型探索之路-训练篇4:大语言模型训练数据集概…

图像处理(二)

图像处理(2) 裁剪图片 from skimage import io,dataiimg io.imread(rD:\工坊\图像处理\十个勤天2.png)roiiimg[50:150,120:200,:]io.imshow(roi) 运行结果: 将图片进行二值化 from skimage import io,data,colorimg io.imread(r"…

影响项目成功的六个“致命”错误

项目经理作为项目的负责人,肩负着巨大的责任和挑战。他们需要具备专业知识、出色的综合管理能力以及敏锐的洞察力,以便在项目执行过程中及时关注项目动态,处理好各种问题,并避免那些可能影响项目实施的致命错误。 一、缺乏明确的…

基于Netty的websocket的简单介绍

1、websocket简介 「WebSocket」是一种在单个TCP连接上进行全双工通信的协议。 「WebSocket」使得客户端和服务器之间的数据交换变得更加简单,允许服务端主动向客户端推送数据。在「WebSocket API」中,浏览器和服务器只需要完成一次握手,两…

羊大师解析,鲜为人知的羊奶冷知识

羊大师解析,鲜为人知的羊奶冷知识 羊奶的脂肪球更小:相较于牛奶,羊奶中的脂肪球直径更小,这有助于其更快地被人体消化和吸收。 羊奶含有更多的中链脂肪酸:羊奶中含有较多的中链脂肪酸(MCT)&am…

5个好用AI绘画工具,让你秒变艺术家!

AI绘画现在可谓是相当火爆,各种AI绘画工具如雨后春笋般涌出。很多人想自己尝试用AI来创作,却不知道使用什么工具,今天就给大家分享5个好用AI绘画工具,有的只需一段文字便可生成一幅美轮美奂的大作,让你秒变艺术家&…

Spring Cloud Stream的作用和用法

Spring Cloud Stream是一个用于构建消息驱动型微服务的框架,它在Spring Cloud生态系统中扮演着关键角色。以下是关于Spring Cloud Stream的作用和用法的详细描述: 一、作用 简化消息中间件集成:Spring Cloud Stream旨在简化和统一消息中间件…

基于springboot实现的疫情网课管理系统

开发语言:Java 框架:springboot JDK版本:JDK1.8 服务器:tomcat7 数据库:mysql 5.7(一定要5.7版本) 数据库工具:Navicat11 开发软件:eclipse/myeclipse/idea Maven…

Implicit Diffusion Models for Continuous Super-Resolution

CVPR2023https://github.com/Ree1s/IDM问题引入: – LIIF方法可以实现任意分辨率的输出,但是因为是regression-based方法,所以得到的结果缺少细节,而生成的方法(gan-based,flow-based,diffusion-based等)可以生成细节&…