Ticket Servers: Distributed Unique Primary Keys on the Cheap(经济高效的分布式ID生成方案) 翻译

本文是对Ticket Servers: Distributed Unique Primary Keys on the Cheap https://code.flickr.net/2010/02/08/ticket-servers-distributed-unique-primary-keys-on-the-cheap/ 的翻译,此文主要讲述了flicker公司的用于生成分布式ID的Ticker Servers 的背景、原理、具体方法、以及存在的问题。

翻译的文中,穿插着我的一些总结和思考,如果影响阅读,可以移步至原文,如果有错误, 请各位批评指正。

目录

  • Ticket Servers:经济高效的分布式ID生成方案
  • 为什么使用Ticket Servers?
  • 为什么不用GUIDs?
  • 为什么不用一致性哈希?
  • 直接使用集中自增的方式有什么问题?
  • 借助REPLACE INTO 避免表过大的问题
  • 具体实施方法
  • 如何处理单点故障
  • 更多的序列
  • 总结

Ticket Servers:经济高效的分布式ID生成方案

Ticket Servers本身并无特别之处,但它们是Flickr的重要构建模块,是稍后将讨论的核心主题,比如分片和主-主复制。Ticket Servers为的分布式系统提供了全局唯一的整数ID。

为什么使用Ticket Servers?

分片(也称为数据分区)是扩展Flickr数据存储的方式。不是将所有数据存储在一个非常大的数据库上,而是拥有许多数据库,每个数据库存储部分数据,并在它们之间分散负载。有时需要在数据库之间迁移数据,所以需要的主要键是全局唯一的。此外,的MySQL分片构建为主-主复制对,以提高弹性。这意味着需要能够保证在一个分片内的唯一性,以避免键冲突。很想像其他人一样继续使用MySQL自增列作为主键,但MySQL不能保证跨越物理和逻辑数据库的唯一性

为什么不用GUIDs?

考虑到需要全局唯一的ID,一个明显的问题是,为什么不使用GUIDs?主要是因为GUIDs体积大,并且在MySQL中索引效果不佳。保持MySQL快速的一种方式是对所有想要查询的内容进行索引,并且只对索引进行查询。因此,索引大小是一个关键考虑因素。如果你无法将索引保持在内存中,你就无法保持数据库的快速。此外,TicketServer为提供了序列性,这具有一些非常好的属性,包括使报告和调试更加直接,并使得一些缓存技巧成为可能。(GUID太大,非单调增,无法索引)

为什么不用一致性哈希?

一些项目,如亚马逊的Dynamo,在数据存储之上提供了一个一致性哈希环来处理GUID/分片问题。这更适合写入成本低的环境(例如LSMTs),而MySQL则针对快速随机读取进行了优化。

直接使用集中自增的方式有什么问题?

如果不能使MySQL自增功能跨越多个数据库工作,那么如果只使用一个数据库会怎样?如果每次有人上传照片时,都向这个数据库插入一个新行,那么就可以直接使用该表的自增ID作为所有数据库的主键。

当然,以每秒60多张照片的速度,那个表会变得非常大。可以去掉有关照片的所有额外数据,只在集中式数据库中保留ID。即便如此,该表仍然会迅速变得难以管理。而且还有评论、收藏、群组发帖、标签等等,这些都需要ID。(直接使用数据库自增属性,会导致表快速增大,不便管理)

借助REPLACE INTO 避免表过大的问题

大约十多年前,MySQL推出了一个非标准的扩展,对ANSI SQL规范进行了修改,即“REPLACE INTO”。后来,“INSERT ON DUPLICATE KEY UPDATE”出现了,并更好地解决了原始问题。然而,REPLACE INTO仍然得到了支持。

REPLACE works exactly like INSERT, except that if an old row in the table has the same value as a new row for a PRIMARY KEY or a UNIQUE index, the old row is deleted before the new row is inserted.REPLACE操作与INSERT几乎完全相同,不同的是,如果表中已有的行在主键或唯一索引上的值与新行的值相同,那么在插入新行之前,旧行将被删除。

这允许在数据库中原子性地更新一个单独的行,并获取一个新的自动递增的主键ID。(核心方法是借助REPLACE INTO插件,这种方式就避免表过大的问题,同时能获得自增的ID。切记,目的是获取唯一自增ID,而不是真的插入数据)

具体实施方法

Flickr的Ticket Servers是一个专用的数据库服务器,上面只有一个数据库,在该数据库中,有像Tickets32这样的表用于32位ID,以及Tickets64用于64位ID。

Tickets64的模式看起来像这样:

CREATE TABLE `Tickets64` (`id` bigint(20) unsigned NOT NULL auto_increment,`stub` char(1) NOT NULL default '',PRIMARY KEY  (`id`),UNIQUE KEY `stub` (`stub`)
) ENGINE=InnoDB

从Tickets64中选择*返回一个单独的行,看起来像这样:

+-------------------+------+
| id                | stub |
+-------------------+------+
| 72157623227190423 |    a |
+-------------------+------+

当我需要一个新的全局唯一的64位ID时,执行以下SQL:

REPLACE INTO Tickets64 (stub) VALUES ('a');
SELECT LAST_INSERT_ID();

如何处理单点故障

如果不想让Ticket Servers成为一个单点故障。可以通过运行两个Ticket Servers来实现“高可用性”。在当前的写入/更新量下,服务器之间的复制会有问题,而锁定会严重影响网站的性能。但是,可以通过将ID空间一分为二,分别处理偶数和奇数,具体配置如下:

TicketServer1:

auto-increment-increment = 2
auto-increment-offset = 1

TicketServer2:

auto-increment-increment = 2
auto-increment-offset = 2

通过轮流使用两个服务器来进行负载均衡和处理停机时间。两边确实会有点不同步,目前奇数对象比偶数对象多出几十万个,但是目前看这并无大碍。(使用两个服务器,分别处理奇数和偶数,来避免单点故障问题)

更多的序列

实际上,在TicketServer上的表不仅仅是Tickets32和Tickets64。还有照片的序列、账户的序列、离线任务的序列和群组的序列等。离线任务有自己的序列,因为消耗了太多,不想不必要地增加其他事物的计数。群组和账户有自己的序列,因为得到的相对较少。照片有自己的序列,在切换时确保与旧的自增表同步,因为知道上传了多少照片是很好的,使用ID作为跟踪的简写。(可以为不同的实体分别设置不同的表,以增加区分度,提高可扩展性,这是flicker自己的使用逻辑)

总结

所以就是这样 它并不是特别优雅,但自从2006年1月13日(黑色星期五)投入生产以来,它对来说工作得惊人的好,是Flickr工程“会工作的最愚蠢事物”设计原则的一个很好的例子。(有缺点,但是能用)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/806471.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

爬虫逆向实战(40)-某江酒店登陆(AES、MD5)

一、数据接口分析 主页地址:某江酒店 1、抓包 通过抓包可以发现数据接口是/api/member/login 2、判断是否有加密参数 请求参数是否加密? 通过查看“载荷”模块可以发现,有TDFingerprint、blackBoxMd5、password和sw四个加密参数&#x…

Android自定义控件ScrollView实现上下滑动功能

本文实例为大家分享了Android ScrollView实现上下滑动功能的具体代码,供大家参考,具体内容如下 package com.example.zhuang; import android.content.Context; import android.util.AttributeSet; import android.util.DisplayMetrics; import android…

Python---Numpy酒鬼漫步

import numpy as np# 模拟随机游走过程,返回每一步的结果(0或1) def random_walks(steps):draws np.random.randint(0, 2, sizesteps)return draws# 根据随机游走的结果计算每一步的方向步长,返回方向数组(1或-1&…

HTML5学习记录

简介 超文本标记语言&#xff08;HyperText Markup Language&#xff0c;简称HTML&#xff09;&#xff0c;是一种用于创建网页的标准标记语言。 编辑器 下载传送门https://code.visualstudio.com/ 下载编辑器插件 标题 标题通过 <h1> - <h6> 标签进行定义。 …

科技助力输电线安全隐患预警,基于YOLOv5全系列参数【n/s/m/l/x】模型开发构建电力设备场景下输电线安全隐患目标检测预警系统

电力的普及让我们的生活变得更加便利&#xff0c;四通八达的电网连接着生活的方方面面&#xff0c;电力能源主要是依托于庞大复杂的电网电力设备进行传输的&#xff0c;有效地保障电网场景下输电线的安全对于保障我们日常生活所需要的电力有着重要的意义&#xff0c;但是电力设…

Spring Boot项目启动时执行指定的方法

项目场景&#xff1a; 本文介绍Spring Boot项目启动时执行指定的方法两种常用方式和他们之间的区别。 实现方案&#xff1a; 方式一&#xff1a;使用注解PostConstruct Component public class PostConstructTest {PostConstructpublic void postConstruct() {System.out.prin…

【Web开发】jquery图片放大镜效果制作变焦镜头图片放大

jquery图片放大镜效果制作变焦镜头图片放大实现 整体步骤流程&#xff1a; 1. 前端html实现 <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns"…

【测试开发学习历程】python面向对象

1 面向对象的基本概念 面向对象&#xff1a;是把构成问题事务分解成各个对象&#xff0c;建立对象的目的不是为了完成一个步骤&#xff0c;而是为了描叙某个事物在整个解决问题的步骤中的行为。 怎么理解面向对象&#xff1f; 面向对象是一种编程思想&#xff0c;就是把要解决…

ruoyi-nbcio-plus基于vue3的flowable的自定义业务提交申请组件的升级修改

更多ruoyi-nbcio功能请看演示系统 gitee源代码地址 前后端代码&#xff1a; https://gitee.com/nbacheng/ruoyi-nbcio 演示地址&#xff1a;RuoYi-Nbcio后台管理系统 http://122.227.135.243:9666/ 更多nbcio-boot功能请看演示系统 gitee源代码地址 后端代码&#xff1a…

NAV2 ros galactic安装教程

sudo apt install ros-galactic-gazebo-* 这个必须下载 sudo apt-get install -y ros-galactic-rmw* 这个也是 使用操作系统中的包管理器安装 Nav2 包: sudo apt install ros-galactic-navigation2 sudo apt install ros-galactic-nav2-bringup安装Turtlebot 3 软件包: sudo…

Java快速入门系列-8(Web开发基础)

第8章 Web开发基础 8.1 Servlet与JSP8.1.1 Servlet简介8.1.2 JSP简介与使用8.1.3 Servlet与JSP协作8.2 Web服务器与Tomcat8.2.1 安装与配置Tomcat8.2.2 配置与管理Web应用8.3 MVC设计模式与Java Web应用8.3.1 MVC原理8.3.2 MVC在Java Web中的应用8.4 RESTful API设计与实现8.4.…

参数化方案对耦合模式影响试验

今天建立几个实验 HIST_model_test_lthf_tbf HIST_model_test_lthf_phiq HIST_model_test_sshf_tbf HIST_model_test_pblh_zli HIST_model_test_nocouple 十天过去了&#xff0c;这次运行的速度显然慢了好多&#xff0c;还没运行到2000年&#xff0c;没办法只能就地取材了。 我…

虚拟货币:数字金融时代的新工具

在数字化时代的到来之后&#xff0c;虚拟货币逐渐成为了一种广为人知的金融工具。虚拟货币是一种数字化的资产&#xff0c;它不像传统货币那样由政府或中央银行发行和监管。相反&#xff0c;虚拟货币通过密码学技术和分布式账本技术来实现去中心化的发行和交易。 虚拟货币的代…

xss跨站脚本攻击笔记

1 XSS跨站脚本攻击 1.1 xss跨站脚本攻击介绍 跨站脚本攻击英文全称为(Cross site Script)缩写为CSS&#xff0c;但是为了和层叠样式表(CascadingStyle Sheet)CSS区分开来&#xff0c;所以在安全领域跨站脚本攻击叫做XSS 1.2 xss跨战脚本攻击分类 第一种类型:反射型XSS 反射…

JVM规范中的运行时数据区

✅作者简介&#xff1a;大家好&#xff0c;我是Leo&#xff0c;热爱Java后端开发者&#xff0c;一个想要与大家共同进步的男人&#x1f609;&#x1f609; &#x1f34e;个人主页&#xff1a;Leo的博客 &#x1f49e;当前专栏&#xff1a;每天一个知识点 ✨特色专栏&#xff1a…

Qt 多窗体

前言 在 Qt编程中经常会遇到要在多个界面之间切换的情况&#xff0c;如从登录界面跳转到主界面&#xff0c;从主界面跳转到设置界面&#xff0c;再返回到主界面。我们将会用一个简单的示例来实现多窗体功能。 登录窗口 创建基类为QMainWindow&#xff0c;类名为LoginWin。再使用…

SpringBoot中的Redis的简单使用

在Spring Boot项目中使用Redis作为缓存、会话存储或分布式锁等组件&#xff0c;可以简化开发流程并充分利用Redis的高性能特性。以下是使用Spring Boot整合Redis的详细步骤&#xff1a; 1. 环境准备 确保开发环境中已安装&#xff1a; Java&#xff1a;用于编写和运行Spring…

特征工程(III)--特征构造

有这么一句话在业界广泛流传&#xff1a;数据和特征决定了机器学习的上限&#xff0c;而模型和算法只是逼近这个上限而已。由此可见&#xff0c;特征工程在机器学习中占有相当重要的地位。在实际应用当中&#xff0c;可以说特征工程是机器学习成功的关键。 特征工程是数据分析…

comfyui便携版(绿色版)安装CLIP报错no module named ‘CLIP‘

具体说来就是其中的ImageRewardFilter需要用到。 要求得有CLIP 我们一般装模块都通过 pip install xxx这样的命令来装&#xff0c; 具体到comfyui便携版的模块安装上&#xff0c;一般用的是 python -m pip install xxx这样的形式&#xff08;以模块化的形式安装到当前便携版的…