Java架构师必备框架技能核心笔记,工作感悟

01 kafka入门

1.1 什么是kafka

1.2 kafka中的基本概念

1.2.1 消息和批次

1.2.2 主题和分区

1.2.3 生产者和消费者、偏移量、消费者群组

1.2.4 Broker和集群

1.2.5 保留消息

image.png

image.png

02 为什么选择kafka

2.1 优点

2.2 常见场景

2.2.1 活动跟踪

2.2.2 传递消息

2.2.3 收集指标和日志

2.2.4 提交日志

2.2.5 流处理

image.png

03 kafka的安装、管理和配置

3.1 安装

3.1.1 预备环境

3.1.2 下载和安装kafka

3.1.3 运行

3.1.4 kafka基本的操作和管理

3.2 Broker配置

3.3 硬件配置对kafka性能的影响

3.3.1 磁盘吞吐量/磁盘容量

3.3.2 内存

3.3.3 网络

3.3.4 CPU

3.3.5 总结

image.png

image.png

04 kafka的集群

4.1 为何需要kafka集群

4.2 如何估算kafka集群中Broker的数量

4.3 Broker如何加入kafka集群

image.png

05 第一个kafka程序

5.1 创建我们的主题

5.2 生产者发送消息

5.2.1 必选属性(bootstrap.servers、key.serializer、value.serializer)

5.3 消费者接受消息

5.3.1 必选参数(group.id)

5.4 演示示例

image.png

06 kafka的生产者

6.1 生产者发送消息的基本流程

6.2 使用kafka生产者

6.2.1 三种发送方式(发送并忘记、同步发送、异步发送)

6.2.2 多线程下的生产者

6.2.3 更多发送配置(acks、buffer.mempry、max.block.ms、retries、batch.size、linger.ms、compression.type、client.id、、、顺序保证)

6.3 序列化

6.3.1 自定义序列化需要考虑的问题

6.4 分区

6.4.1 自定义分区器

image.png

07 kafka的消费者

7.1 消费者的入门

7.1.1 消费者群组

7.1.2 消费者配置

7.2 消费者中的基础概念

7.2.1 消费者群组

7.2.2 订阅

7.2.3 轮询

7.2.4 提交和偏移量

7.3 消费者中的核心概念

7.4 kafka中的消费安全

7.5 消费者提交偏移量导致的问题

7.5.1 自动提交

7.5.2 手动提交(同步)

7.5.3 异步提交

7.5.4 同步和异步组合

7.5.5 特定提交

7.6 分区再均衡

7.7 优雅1退出

7.8 反序列化

7.9 独立消费者

image.png

image.png

08 深入理解kafka

8.1 集群的成员关系

8.2 什么是控制器

8.3 复制-kafka的核心

8.3.1 replication-factor

8.3.2 副本类型

8.3.3 工作机制

8.4 处理请求的内部机制

8.4.1 生产请求

8.4.2 获取请求

8.4.3 ISR

8.5 物理存储机制

8.5.1 分区分配

8.5.2 文件管理

8.5.3 文件格式

8.5.4 索引

8.5.5 超时数据的清理机制

image.png

image.png

09 可靠的数据传递

9.1 kafka提供的可靠性保证和架构上的权衡

9.2 复制

9.3 Broker配置对可靠性的影响

9.3.1 复制系数

9.3.2 不完全的首领选举

9.3.3 最少同步副本

9.4 可靠系统里的生产者

9.4.1 发送确认

9.4.2 配置生产者的重试参数

9.4.3 额外的错误处理

9.5 可靠系统里的消费者

9.5.1 消费者的可靠性配置

9.5.2 显式提交偏移量

image.png

10 kafka和Spring的整合

10.1 与Spring集成

10.1.1 pom文件

10.1.2 统一配置

10.1.3 生产者端

10.1.4 消费者端

image.png

11 SpringBoot和kafka的整合

image.png

12 kafka实战之削峰填谷

13 数据管道和流式处理(了解即可)

13.1 数据管道基本概念

13.2 流式处理基本概念

image.png

最后

这份《“java高分面试指南”-25分类227页1000+题50w+字解析》同样可分享给有需要的朋友,感兴趣的伙伴们可挑战一下自我,在不看答案解析的情况,测试测试自己的解题水平,这样也能达到事半功倍的效果!(好东西要大家一起看才香,下载请点击这里

image

image

最后

这份《“java高分面试指南”-25分类227页1000+题50w+字解析》同样可分享给有需要的朋友,感兴趣的伙伴们可挑战一下自我,在不看答案解析的情况,测试测试自己的解题水平,这样也能达到事半功倍的效果!(好东西要大家一起看才香,下载请点击这里

[外链图片转存中…(img-2J1C5jQZ-1624875859362)]

[外链图片转存中…(img-5MHAdWlW-1624875859363)]

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/385840.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

java将某个数按比例分配应用题,按比例分配应用题

按比例分配(一)1、甲乙两数的和是72,甲乙两数的比是4:5,甲、乙两数各是多少?。2、一个等腰三角形,顶角和一个底角的比是1:4,这个三角形两个底角各是多少。3、六(1)班有女生24人,女生和男生人数的比是4:5&am…

Java架构师必备框架技能核心笔记,附相关架构及资料

技术焦虑 现在的技术圈子很火热,任何技术点,任何知识,只要你肯搜索,都能找到资料。但是现在技术圈确实有一个不好的地方,就是贩卖焦虑。这种贩卖焦虑的点并不在于形式,而是一种普遍的心态。特别是对于那种…

php智能裁剪黑边,图片裁剪去除黑边

前言从浏览器保存的图片有透明度,但是python打开其透明通道是黑色的,因此我利用python的OpenCV模块去除了其上下左右的黑边。效果展示计算机中效果python打开效果python裁剪后效果代码import cv2def change_size(read_file):image cv2.imread(read_file…

Java架构师教你如何突破瓶颈,持续更新中

1、上下文切换 上下文定义 cpu发生进程或者线程切换时,所依赖的数据集合,比如一个函数有外部变量,函数运行时,必须获取外部变量,这些变量值的集合就是上下文。 引发问题 对于CPU密集型任务,多线程处理会…

matlab dwt 多层分解,利用matlab对图片进行多层小波分解 会的加QQ511607771 加过作图之后积分加倍送...

利用matlab对图片进行多层小波分解 会的加QQ511607771 加过作图之后积分加倍送mip版 关注:96 答案:2 悬赏:0解决时间 2021-01-23 13:02已解决2021-01-23 04:23(Haar小波、Daubechies小波、Coiflets小波和Symlets小波) 三层分解下的去噪图可以直接发信息15836900853 立马上线…

Java校招面试经验汇总,最终入职阿里

一面 自我介绍项目中的监控:那个监控指标常见的有哪些?微服务涉及到的技术以及需要注意的问题有哪些?注册中心你了解了哪些?consul 的可靠性你了解吗?consul 的机制你有没有具体深入过?有没有和其他的注册…

matlab确定位置,Hurlin 的PSTR模型包,怎样确定位置参数个数

http://www.runmycode.org/companion/view/2564我用的是这个包1.怎样确定位置参数个数?2. 门限变量也是解释变量时,结果中(结果如下)的warning 是什么意思?3. 这个包中是否能够把门限变量也作为解释变量?我跑出的结果是这样的&…

Java校招面试经验汇总,看完直接跪服

美团技术一面20分钟 晚7点,因为想到下周一才面试,我刚准备出去打个羽毛球,北京的电话就来了。面试官各种抱歉,说开会拖延了。 1、自我介绍 说了很多遍了,很流畅捡重点介绍完。 2、问我数据结构算法好不好 挺好的&…

nginx alias php 404,Nginx配置静态服务器以及404问题解决,root和alias的区别

最近在使用Nginx配置一个图片静态服务器来通过http请求访问图片,在配置的时候,发现遇到访问有404的问题,结果发现是在配置路径的时候,和路径属性是root还是alias的有关。nginx配置文件server {listen 88;server_name localhost;#c…

Java框架体系架构的知识,轻松拿下offer

算法 ⼏道常⻅的字符串算法题总结最⻓公共前缀回⽂串两数相加翻转链表链表中倒数第k个节点删除链表的倒数第N个节点合并两个排序的链表剑指offer部分编程题跳台阶问题变态跳台阶问题⼆维数组查找替换空格题⽬描述:数值的整数次⽅调整数组顺序使奇数位于偶数前⾯链表…

php函数网,php函数

时间相关1.time(),可获得当前时间的时间戳.2.strtotime(),可将一个文本类型的datetime转化成时间戳.3.格式输出:比如输出时间为01/31/2011date(m/d/Y,时间戳).再如: date ( Y-m-d H:i:s , 时间戳 ); 2011-01-31 04:20:59.输入输出相关echo sprintf("%.2f",0.24236); …

java开发学生管理系统,看这篇足矣了!

20道常见MySQL数据库面试题解析 事务四大特性(ACID)原子性、一致性、隔离性、持久性? 事务的并发?事务隔离级别,每个级别会引发什么问题,MySQL默认是哪个级别? MySQL常见的三种存储引擎&#…

oracle频,Oracle动作频频 Java或浴火重生

【51CTO观察】自从今年(2010)的1月27日Oracle正式宣布完成并购Sun以来,Java的前途和命运一直是众多Java开发者的所关心的话题。4月9日,被称为Java之父的James Gosling又在个人博客上宣布离开Oracle,这一事件更为Java的前景增加了一层迷雾。但…

java开发实战经典第二版百度网盘,灵魂拷问

一面(一个小时左右) 算法:写冒泡排序,问如何优化,简单讲了快排和堆排序的原理数据库:解释左连接数据库第一第二第三范式,数据库死锁linux:怎么查看内存;怎么查看进程&am…

php用户之间的数据,什么是位于用户与操作系统之间的一层数据管理软件

什么是位于用户与操作系统之间的一层数据管理软件?DBMS是位于用户与操作系统之间的一层数据管理软件。数据库管理系统(Database Management System)是一种操纵和管理数据库的大型软件,用于建立、使用和维护数据库,简称DBMS。它对数据库进行统…

java开发实战经典答案百度云,含面试题+答案

1、上下文切换 上下文定义 cpu发生进程或者线程切换时,所依赖的数据集合,比如一个函数有外部变量,函数运行时,必须获取外部变量,这些变量值的集合就是上下文。 引发问题 对于CPU密集型任务,多线程处理会…

redius和oracle怎么配置,求个 交换机radius 详细配置案例

配置采用RADIUS协议进行认证和计费示例组网需求如图1所示,用户通过SwitchA访问网络,用户同处于huawei域。SwitchB作为目的网络接入服务器。用户首先需要穿越SwitchA和SwitchB所在的网络,然后通过服务器的远端认证才能通过SwitchB访问目的网络…

java开发小程序好吗,看完必懂

1关于MySQL,面试官会问哪些问题? 第一个:MySQ性能优化最佳实践21个(有具体的解释)你知道哪些? 为查询缓存优化你的查询 EXPLAIN你的SELECT查询 当只要一行数据时使用LIMIT 1 为搜索字段建索引 在Join表…

linux拉取指定时间内,Linux 日期和时间操作详解

Linux将时钟分为系统时钟(System Clock)和硬件(Real Time Clock,简称RTC)时钟两种。系统时间是指当前Linux Kernel中的时钟,而硬件时钟则是主板上由电池供电的那个主板硬件时钟,当Linux启动时,硬件时钟会去读取系统时钟的设置,然后…

java开发属于后端吗,值得一读!

1. 垃圾回收机制 Stop-the-World:   JVM由于要执行GC而停止了应用程序的执行称之为Stop-the-World,该情形会在任何一种GC算法中发生。当Stop-the-world发生时,除了GC所需的线程以外,所有线程都处于等待状态直到GC任务完成。事实…