Github数据库集群的升级部署思路

Github 花了一年多的时间,将他们的 1200 台 MySQL 集群从 v5.6 升级到了 v8.0,这里的难度非常之大,没做过大规模集群服务器运维的难以理解此中的难度、难以理解其中庞大的业务量,难以想象升级过程中的海量问题的解决等等。

Github 的运维做了非常多的工作,整个过程集群升级有值得借鉴的东西。

过去几年,我做过Gentoo服务器的运维和安全防护工作。平时在单位也兼顾作137台计算机的运维,平均在线量也有58台/天,当然这个QPS(TPS)没法和 Github 这个规模比较,Github 的 QPS 达到了 550w,极其恐怖。

Github 采用的是分库分表的设计,在数据库调用这一层上,做的相对比较复杂,架构的复杂自然也带来了工具和工程的复杂度,从而增加了大量的运维成本。尤其是集群操作上,如何借鉴单机操作的思路和容灾模式,对集群进行滚动,如何多版本共存等,都是超级值得借鉴的。

在Gentoo服务器上,早先几年就开始出现沟道处理技术。沟道处理技术是一种容灾机制,随着硬盘容量的提升,可以在服务器上建立多个(至少2个)沟道(slot),先将系统的内核等埋在slot A 上,当滚动更新时,一旦滚动更新出现问题,也无法回滚,那么在Slot B保持现有问题系统,回滚slot A 进行复位回滚。这说起来简单,实际操作中经常遇到slot conflict。注意现在安卓手机13、14的系统上也使用了沟道技术。

Github 将自己的升级工作共享了,这篇文章提到了一些对抗软件复杂度的方法和细节,包括集群的脚本升级策略降低重复工作,提高效率;低回滚机制的设计;混合版本提供服务等,肯定有Gentoo或者Arch的资深玩家,很多系统上的技术直接用到了集群操作上,格局一下打开了。

只不过对细节的描述偏少,只是宏观的蓝图,所以可实际操作的太少,只能原理性的借鉴学习。很多东西不会简单的共享出来,我懂,真是太遗憾了。

github升级思路公开的地址:https://github.blog/2023-12-07-upgrading-github-com-to-mysql-8-0/

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/602167.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Kafka消息阻塞:拯救面试的八大终极解决方案!

大家好,我是小米,一个对技术充满热情的90后程序员。最近在准备社招面试的过程中,遇到了一个超级有挑战性的问题:“Kafka消息阻塞怎么解决?”今天,我就来和大家一起深入剖析这个问题,分享我在解决…

C#-特性

C# 程序中的类型、成员和其他实体都支持修饰符,这些修饰符控制它们的行为的某些方面。 例如,方法的可访问性是使用 public、protected、internal 和 private 修饰符来控制的。C# 使此功能一般化,以便能够将用户定义类型的声明信息附加到程序实体,并在运行时检索。 这种附加…

kubernetes(k8s)集群常用指令

基础控制指令 # 查看对应资源: 状态 $ kubectl get <SOURCE_NAME> -n <NAMESPACE> -o wide 查看默认命名空间的pod [rootk8s-master ~]# kubectl get pod NAME READY STATUS RESTARTS AGE nginx 1/1 Running 0 3h53m查看所有pod [roo…

Vue3-36-路由-路由的元数据信息 meta

什么是 meta 简单的理解&#xff0c;meta 就是路由对象 的一个属性对象&#xff0c; 可以 通过这个 属性给 路由对象添加 一些必要的属性值&#xff0c; 在使用路由对象时可以获取到这个属性型对象&#xff0c;从而进行一些其他的逻辑判断。 meta 这个非常的简单&#xff0c;就…

这几个自学前端/编程的苦,你千万不要吃

作为一个靠自学&#xff0c;不到两年时间就当上前端 Leader&#xff0c;年薪近 30w 的过来人&#xff0c; 今天我给你们分享一些前端自学路上&#xff0c;你会吃的苦&#xff0c;以及如何避免和解决。 这些让你吃苦的地方&#xff0c;是造成你前端学不好、并且学不下去的根本…

深入了解ReadDirectoryChangesW并应用其监控文件目录

简介 监视指定目录的更改&#xff0c;并将有关更改的信息打印到控制台&#xff0c;该功能的实现不仅可以在内核层&#xff0c;在应用层同样可以。程序中使用 ReadDirectoryChangesW 函数来监视目录中的更改&#xff0c;并使用 FILE_NOTIFY_INFORMATION 结构来获取有关更改的信息…

BERT(从理论到实践): Bidirectional Encoder Representations from Transformers【1】

预训练模型:A pre-trained model is a saved network that was previously trained on a large dataset, typically on a large-scale image-classification task. You either use the pretrained model as is or use transfer learning to customize this model to a given t…

Nacos vs. Eureka:微服务注册中心的对比

Nacos vs. Eureka&#xff1a;微服务注册中心的对比 前言: 欢迎来到本篇博客&#xff0c;今天我们将深入研究两个常用的微服务注册中心&#xff1a;Nacos 和 Eureka。微服务架构的兴起使得服务注册中心成为整个体系中不可或缺的一部分&#xff0c;而选择一个适合自己项目的注…

Python中的装饰器

顾名思义&#xff0c;函数装饰器就是对这个函数进行了装饰&#xff0c;比如在函数的前后进行日志打印等。在Python中&#xff0c;装饰器是一种特殊的语法&#xff0c;用于简化函数或方法的定义和调用。装饰器允许你在不修改原始函数代码的情况下&#xff0c;通过在其上应用装饰…

Apple M2 Pro芯片 + docker-compose up + mysql、elasticsearch pull失败问题的解法

背景 &#xff08;1&#xff09;从github上git clone了一个基于Spring Boot的Java项目&#xff0c;查看readme&#xff0c;发现要在项目的根目录下&#xff0c;执行“docker-compose up”。&#xff08;2&#xff09;执行“docker-compose up”的前提是&#xff0c;在macos上要…

Vue中break关键字

Change() {//每次触发该事件&#xff0c;都要讲data重新赋值一次this.data JSON.parse(JSON.stringify(this.data1));// 根据选中的等级更新数据switch (this.selectedlevel) {case 1:// 更新数据为一级数据this.data this.data.filter(item > item.level "1"…

练习-双指针的使用

目录 前言一、双指针遍历数组1.1 题目一 总结 前言 最近感觉有点疲倦&#xff0c;学习的时间不多&#xff0c;但不想中断写博客的连续&#xff0c;本篇文章就记录一下在写c语言练习过程中利用双指针解题。 一、双指针遍历数组 1.1 题目一 题目&#xff1a;将一个数组中的奇数…

【shell漫步】3 条件分支结构

碎碎念 接上文的运算符的内容&#xff0c;这一章终于开始接触控制结构 【shell漫步】2 运算符-CSDN博客 分支结构的写法 当我们要对不同情况采取不同措施的时候就要用到分支结构 在shell中分支结构的写法如下 if [ 情况1 ] then代码1 elif [ 情况2 ] then代码2 elif [ 情…

mysql四大引擎、账号管理以及建库

目录 一.数据库存储引擎1.1存储引擎的查看1.2InnoDB1.3MyISAM1.4 MEMORY1.5 Archive 二.数据库管理2.1元数据库分类2.2 操作2.3 MySQL库 三.数据表管理3.1三大范式3.2 整形3.3 实数3.4 字符串3.5 text&blob3.6 日期类型3.7 选中标识符 四.数据库账号管理4.1 查询用户4.2查看…

【论文阅读|冷冻电镜】DISCA: High-throughput cryo-ET structural pattern mining

论文题目 High-throughput cryo-ET structural pattern mining by unsupervised deep iterative subtomogram clustering 摘要 现有的结构排序算法的吞吐量低&#xff0c;或者由于依赖于可用模板和手动标签而固有地受到限制。本文提出了一种高吞吐量的、无需模板和标签的深度…

Kotlin协程学习之-01

由于协程需要支持挂起、恢复、因此对于挂起点的状态保存就显得机器关键。类似的&#xff0c;线程会因为CPU调度权的切换而被中断&#xff0c;它的中断状态会保存在调用栈当中&#xff0c;因而协程的实现也按照是否开辟相应的调用栈存在以下两种类型&#xff1a; 有栈协程&…

Zookeeper注册中心实战

Java学习手册面试指南&#xff1a;https://javaxiaobear.cn Spring Cloud Zookeeper通过自动配置和绑定到 Spring 环境和其他 Spring 编程模型习惯用法&#xff0c;为 Spring Boot 应用程序提供Apache Zookeeper集成。通过一些简单的注释&#xff0c;您可以快速启用和配置应用…

知识笔记(七十二)———链式语句中table用法

用法 一般情况下&#xff0c;操作模型的时候系统能够自动识别当前对应的数据表&#xff0c;所以&#xff0c;使用table方法的情况通常是为了&#xff1a; 切换操作的数据表&#xff1b;对多表进行操作&#xff1b; 例如&#xff1a; Db::table(think_user)->where(statu…

12.5 【Screen配置】配置winmgr(三)

四,class段 class子段指定了窗口属性的默认值。 Windows 必须与显示器相关联。因此,只有在系统支持显示器,或者系统上有需要显示器的应用程序时,才需要在配置文件中包含此部分。此class部分必须以 begin class class_name 开头并以 end class 结尾。 class子段用于设置该…

c++,mutex,unique_lock,recursive_mutex,shared_mutex对比分析

当处理多线程并发时&#xff0c;正确使用锁是确保线程安全的关键。 1. std::mutex&#xff08;互斥锁&#xff09;&#xff1a; std::mutex 是C标准库提供的最基本的锁。它的基本使用如下&#xff1a; #include <iostream> #include <mutex> #include <threa…