Kafka#4:存储设计 分布式设计 源码分析

https://sites.google.com/a/mammatustech.com/mammatusmain/kafka-architecture/4-kafka-detailed-architecture.pdf?attredirects=2&d=1

https://news.ycombinator.com/item?id=7386652

https://www.quora.com/Why-does-Kafka-scale-better-than-other-messaging-systems-like-RabbitMQ

https://stackoverflow.com/questions/48665257/why-kafka-index-files-use-memory-mapped-files-but-log-files-dont

kafka 設計文檔,设计哲学。。。。

https://cwiki.apache.org/confluence/display/KAFKA/Kafka+Improvement+Proposals

https://cwiki.apache.org/confluence/display/KAFKA/Index

https://cwiki.apache.org/confluence/display/KAFKA/KIP-101+-+Alter+Replication+Protocol+to+use+Leader+Epoch+rather+than+High+Watermark+for+Truncation

https://cwiki.apache.org/confluence/display/KAFKA/Writing+a+Driver+for+Kafka

Exactly Once Delivery and Transactional Messaging

design details

https://docs.google.com/document/d/11Jqy_GjUGtdXJK94XGsEIK7CP1SnQGdp2eF0wSw9ra8/

https://thehoard.blog/how-kafkas-storage-internals-work-3a29b02e026

https://thehoard.blog/building-a-kafka-that-doesnt-depend-on-zookeeper-2c4701b6e961

 

https://cwiki.apache.org/confluence/display/KAFKA/KIP-98+-+Exactly+Once+Delivery+and+Transactional+Messaging

https://cwiki.apache.org/confluence/display/KAFKA/Transactional+Messaging+in+Kafka

https://cwiki.apache.org/confluence/display/KAFKA/Idempotent+Producer

 

KAFKA protocol

http://kafka.apache.org/protocol.html

https://cwiki.apache.org/confluence/display/KAFKA/A+Guide+To+The+Kafka+Protocol#AGuideToTheKafkaProtocol-ProduceRequest

 

ProduceRecord协议的实现----- important!!!!!!!!!!

http://blog.csdn.net/chunlongyu/article/details/52651960

 

Kafka源码深度解析-序列5 -Producer -RecordAccumulator队列分析

http://blog.csdn.net/chunlongyu/article/details/52704213

 

Kafka源码深度解析-序列15 -Log文件结构与flush刷盘机制

http://blog.csdn.net/chunlongyu/article/details/53784033

 

Kafka源码深度解析-序列14 -Server核心组件之3-SocketServer与NIO- 1+N+M 模型

http://blog.csdn.net/chunlongyu/article/details/53036414

http://blog.csdn.net/aabv54321/article/details/54892641

 

Kafka源码深度解析-序列8 -Consumer -Fetcher实现原理与offset确认机制

http://blog.csdn.net/chunlongyu/article/details/52796639

 

Kafka源码深度解析-序列2 -Producer -Metadata的数据结构与读取、更新策略

http://blog.csdn.net/chunlongyu/article/details/52622422

 

Kafka源码深度解析-序列3 -Producer -Java NIO

http://blog.csdn.net/chunlongyu/article/details/52636762

 

KAFKA源码分析

https://www.jianshu.com/p/aa274f8fe00f

https://www.jianshu.com/p/22d4a733ec5d

 

Kafka#4:存储设计

http://blog.csdn.net/kisimple/article/details/42747197

 

为了加速index文件的读写, 采用了文件内存映射的方式

https://www.jianshu.com/p/e20449a396b1

 

Zero-Copy tech

https://www.ibm.com/developerworks/library/j-zerocopy/index.html

Zero Copy I: User-Mode Perspective

http://www.linuxjournal.com/article/6345

Kafka Zero-Copy 使用分析

https://www.jianshu.com/p/d47de3d6d8ac

 

Kafka#3:分布式设计

http://blog.csdn.net/kisimple/article/details/42747097

 

apache kafka系列之源码分析走读-server端网络架构分析

http://blog.csdn.net/lizhitao/article/details/38442733

 

apache kafka系列之源码分析走读-SocketServer分析

http://blog.csdn.net/lizhitao/article/details/44698323

http://blog.csdn.net/wl044090432/article/details/50987168

 

apache kafka系列之源码分析走读-kafkaApi详解

http://blog.csdn.net/lizhitao/article/details/43987319

http://blog.csdn.net/u014393917/article/details/52042920

 

kafka源码解析之十二KafkaController(上篇)

http://blog.csdn.net/wl044090432/article/details/51118966

 

kafka源码解析之十一KafkaApis

http://blog.csdn.net/wl044090432/article/details/51068413

 

Kafka源码深度解析-序列14 -Server核心组件之3-SocketServer与NIO- 1+N+M 模型

http://blog.csdn.net/chunlongyu/article/details/53036414

 

Kafka源码深度解析-序列4 -Producer -network层核心原理

http://blog.csdn.net/chunlongyu/article/details/52651960

 

Kafka源码深度解析-序列3 -Producer -Java NIO

http://blog.csdn.net/chunlongyu/article/details/52636762

转载于:https://www.cnblogs.com/WCFGROUP/p/8206272.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/368281.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

协作机器人(Collaborative-Robot)安全碰撞的速度与接触力

协作机器人(Collaborative-Robot)的安全碰撞速度和接触力是一个非常重要的安全指标。在设计和使用协作机器人时,必须确保其与人类或其他物体的碰撞不会对人员造成伤害。 对于协作机器人的安全碰撞速度,一般会设定一个上限值&…

jackson - @JsonProperty的使用

jackson的maven依赖 <dependency><groupId>com.fasterxml.jackson.core</groupId><artifactId>jackson-databind</artifactId><version>2.5.3</version> </dependency> 所以引入这一个依赖就可以了 JsonProperty 此注解用于属…

python 表达式求值数据结构_python 数据结构与算法

python 数据结构与算法1 python常见数据结构性能1.1 List1.1.1 安索引取值和赋值1.1.2 列表append和__add__()1.1.3 使用timeit模块测试执行时间1.1.4 List基本操作的大O数量级1.2 Dict1.2.1 dict数据类型2 线性结构 Linear Structure2.1 栈Stack2.1.1 抽象数据类型Stack2.1.2 …

CSS3新特性罗列

接触CSS3这么久了&#xff0c;总是到要用的时候直接拿来用&#xff0c;却没有好好地总结归纳一下&#xff0c;那就在这里好好梳理一下吧。 CSS3边框&#xff1a; 圆角边框&#xff1a; 关键&#xff1a;border-radius <!DOCTYPE html> <html> <head> <…

Log4j 2:性能接近疯狂

最近&#xff0c;Apache社区中一位受人尊敬的成员尝试了Log4j 2并在Twitter上写道&#xff1a; TheASF &#xff03;log4j2摇摇欲坠 &#xff01; 性能接近疯狂^^ http://t.co/04K6F4Xkaa — Mark Struberg&#xff08;struberg&#xff09; 2013年5月7日 &#xff08;来自M…

Uncaught SyntaxError: Invalid Unicode escape sequence异常处理

今天碰到一个问题&#xff0c;页面报错&#xff1a;Uncaught SyntaxError: Invalid Unicode escape sequence ,{index:operate,name:operate,label:<s:text name"com.vrv.cems.ptp.installSoft.operate"></s:text>,width:getPerWidth(0.1),formatter:fun…

26、jQuery

一. jQuery简介 (一) jQuery是什么&#xff1a; 是一个javascript代码仓库 是一个快速的简洁的javascript框架&#xff0c;可以简化查询DOM对象、处理事件、制作动画、处理Ajax交互过程。 (二) jQuery优势 体积小&#xff0c;使用灵巧(只需引入一个js文件)方便的选择页面元素(模…

python做自动化如何定位动态元素_python-web自动化-元素定位

# -*- coding:utf-8 -*-from selenium import webdriverfrom selenium.webdriver.common.by import By# 打开Chrome浏览器和百度网页driver webdriver.Chrome()driver.get(https://www.baidu.com/)# 元素定位&#xff1a;id绝对唯一&#xff0c;name其次# id 定位‘百度首页输…

玩转ajax

1.什么是ajax&#xff1f; Ajax 是 Asynchronous JavaScript and XML&#xff08;以及 DHTML 等&#xff09;的缩写。 2.ajax需要什么基础? HTML 用于建立 Web 表单并确定应用程序其他部分使用的字段。 JavaScript 代码是运行 Ajax 应用程序的核心代码&#xff0c;帮助改…

Spring MVC:验证器和@InitBinder

很难想象没有针对用户数据的验证逻辑的Web应用程序。 几乎所有用户的数据都有一些限制&#xff0c;例如&#xff0c;出生日期应由日&#xff0c;月&#xff0c;年等组成。SpringMVC拥有自己的数据验证解决方案&#xff0c;并且在Validator界面的帮助下可用。 Spring MVC Vali…

ADB 调试

1、adb简介 adb的全称为Android Debug Bridge&#xff0c;就是起到调试桥的作用。通过adb我们可以在Eclipse中方面通过DDMS来调试Android程序&#xff0c;说白了就是debug工具。adb的工作方式比较特殊&#xff0c;采用监听Socket TCP 5554等端口的方式让IDE和Qemu通讯&#xff…

python 函数式编程尾递归优化 day16

函数编程的特征&#xff1a; 1不可变&#xff1a;不用变量保存状态&#xff0c;不修改变量 #非函数式 a 1 def incr_test1():global a#一旦更改全局变量后后面再调用a就容易乱a 1return a incr_test1() print(a) def bar():print(from bar) def foo():print(from foo)return …

java英文试题_Java试题及答案英文版

1&#xff0e;Which two demonstrate an “is a” relationship? (Choose Two)A. public interface Person { }public class Employee extends Person { }B. public interface Shape { }public class Employee extends Sha pe { }C. public interface Color { }public class E…

margin折叠-从子元素margin-top影响父元素引出的问题

正在做一个手机端电商项目&#xff0c;顶部导航栈的布局是一个div包含一个子div&#xff0c;如果给在正常文档流中的子div一个垂直margin-top&#xff0c;神奇的现象出现了&#xff0c;两父子元素的边距没变&#xff0c;但父div跟着一起往下走了&#xff01; html代码&#xff…

js时间转换

window.οnlοadfunction(){setInterval("mytime()",1000); } function mytime(){document.getElementById("time").innerHTML fmtDate(new Date()); } function fmtDate(obj){var date new Date(obj);var y 1900date.getYear();var m "0"(…

Lambdas:来到您附近的Java 8!

什么是Lambda&#xff1f; Lambda表达式是一种匿名函数&#xff0c;可以在方法中内联编写&#xff0c;并且可以在使用表达式的任何地方使用。 有时您可能会发现它们被称为闭包&#xff0c;尽管我在下面解释了对该参考的一些注意事项。 像普通的Java方法一样&#xff0c;它具有参…

CPU-内存-IO-网络调优

一、关于CPU 中央处理器调优 1、 CPU处理方式&#xff1a; 批处理&#xff0c;顺序处理请求。(切换次数少&#xff0c;吞吐量大)分时处理。(如同"独占"&#xff0c;吞吐量小)(时间片&#xff0c;把请求分为一个一个的时间片&#xff0c;一片一片的分给CPU处理)我们现…

spark抽取mysql数据到hive_使用spark将内存中的数据写入到hive表中

使用spark将内存中的数据写入到hive表中hive-site.xmlhive.metastore.uristhrift://master:9083Thrift URI for the remote metastore. Used by metastore client to connect to remote metastore.javax.jdo.option.ConnectionURLjdbc:mysql://master:3306/metastore?createDa…

使用Merge存储引擎实现MySQL分表

使用Merge存储引擎实现MySQL分表 学习了&#xff1a;https://www.cnblogs.com/try-better-tomorrow/p/4987620.html https://www.cnblogs.com/xbq8080/p/6628034.html http://blog.csdn.net/java_bruce/article/details/71077985 https://www.cnblogs.com/johnnyzhang/articles…

Flexible 弹性盒子模型之CSS flex-shrink 属性

实例 让第二个元素收缩到其他元素的三分之一&#xff1a; 效果预览 div:nth-of-type(2){flex-shrink:3;}浏览器支持 表格中的数字表示支持该属性的第一个浏览器的版本号。 紧跟在 -webkit-, -ms- 或 -moz- 后的数字为支持该前缀属性的第一个版本。 属性 flex-shrink29.021.…