分布式配置管理平台Disconf

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

摘要

为了更好的解决分布式环境下多台服务实例的配置统一管理问题，本文提出了一套完整的分布式配置管理解决方案（简称为disconf[4]，下同）。首先，实现了同构系统的配置发布统一化，提供了配置服务server，该服务可以对配置进行持久化管理并对外提供restful接口，在此基础上，基于zookeeper实现对配置更改的实时推送，并且，提供了稳定有效的容灾方案，以及用户体验良好的编程模型和WEB用户管理界面。其次，实现了异构系统的配置包管理，提出基于zookeeper的全局分布式一致性锁来实现主备统一部署、系统异常时的主备自主切换。通过在百度内部以及外部等多个产品线的实践结果表明，本解决方案是有效且稳定的。

技术背景

在一个分布式环境中，同类型的服务往往会部署很多实例。这些实例使用了一些配置，为了更好地维护这些配置就产生了配置管理服务。通过这个服务可以轻松地管理成千上百个服务实例的配置问题。

王阿晶提出了基于zooKeeper的配置信息存储方案的设计与实现[1], 它将所有配置存储在zookeeper上，这会导致配置的管理不那么方便，而且他们没有相关的源码实现。淘宝的diamond[2]是淘宝内部使用的一个管理持久配置的系统，它具有完整的开源源码实现，它的特点是简单、可靠、易用，淘宝内部绝大多数系统的配置都采用diamond来进行统一管理。他将所有配置文件里的配置打散化进行存储，只支持KV结构，并且配置更新的推送是非实时的。百度内部的BJF配置中心服务[3]采用了类似淘宝diamond的实现，也是配置打散化、只支持KV和非实时推送。

同构系统是市场的主流，特别地，在业界大量使用部署虚拟化（如JPAAS系统，SAE，BAE）的情况下，同一个系统使用同一个部署包的情景会越来越多。但是，异构系统也有一定的存在意义，譬如，对于“拉模式”的多个下游实例，同一时间点只能只有一个下游实例在运行。在这种情景下，就存在多台实例机器有“主备机”模式的问题。目前国内并没有很明显的解决方案来统一解决此问题。

功能特点与设计理念

disconf是一套完整的基于zookeeper的分布式配置统一解决方案。

它的功能特点是

  • 支持配置（配置项+配置文件）的分布式化管理
    • 配置发布统一化
    • 配置发布、更新统一化（云端存储、发布）:配置存储在云端系统，用户统一在平台上进行发布、更新配置。
    • 配置更新自动化：用户在平台更新配置，使用该配置的系统会自动发现该情况，并应用新配置。特殊地，如果用户为此配置定义了回调函数类，则此函数类会被自动调用。
  • 配置异构系统管理
    • 异构包部署统一化：这里的异构系统是指一个系统部署多个实例时，由于配置不同，从而需要多个部署包（jar或war）的情况（下同）。使用Disconf后，异构系统的部署只需要一个部署包，不同实例的配置会自动分配。特别地，在业界大量使用部署虚拟化（如JPAAS系统，SAE，BAE）的情况下，同一个系统使用同一个部署包的情景会越来越多，Disconf可以很自然地与他天然契合。 异构主备自动切换：如果一个异构系统存在主备机，主机发生挂机时，备机可以自动获取主机配置从而变成主机。
    • 异构主备机Context共享工具：异构系统下，主备机切换时可能需要共享Context。可以使用Context共享工具来共享主备的Context。
  • 注解式编程，极简的使用方式：我们追求的是极简的、用户编程体验良好的编程方式。通过简单的标注+极简单的代码撰写，即可完成复杂的配置分布式化。
  • 需要Spring编程环境

它的设计理念是：

  • 简单，用户体验良好：
    • 摒弃了打散化配置的管理方式[2,3]，仍旧采用基于配置文件的编程方式，这和程序员以前的编程习惯（配置都是放在配置文件里）一致。特别的，为了支持较为小众的打散化配置功能，还特别支持了配置项。
    • 采用了基于XML无代码侵入编程方式：只需要几行XML配置，即可实现配置文件发布更新统一化、自动化。
    • 采用了基于注解式的弱代码侵入编程方式：通过编程规范，一个配置文件一个配置类，代码结构简单易懂。XML几乎没有任何更改，与原springXML配置一样。真正编程时，几乎感觉不到配置已经分布式化
  • 可以托管任何类型的配置文件，这与[2,3]只能支持KV结构的功能有较大的改进。
  • 配置更新实时推送
  • 提供界面良好Web管理功能，可以非常方便的查看配置被哪些实例使用了。

详细设计

架构设计

disconf服务集群模式：

disconf的模块架构图：

每个模块的简单介绍如下：

  • Disconf-core
    • 分布式通知模块：支持配置更新的实时化通知
    • 路径管理模块：统一管理内部配置路径URL
  • Disconf-client
    • 配置仓库容器模块：统一管理用户实例中本地配置文件和配置项的内存数据存储
    • 配置reload模块：监控本地配置文件的变动，并自动reload到指定bean
    • 扫描模块：支持扫描所有disconf注解的类和域
    • 下载模块：restful风格的下载配置文件和配置项
    • watch模块：监控远程配置文件和配置项的变化
    • 主备分配模块：主备竞争结束后，统一管理主备分配与主备监控控制
    • 主备竞争模块：支持分布式环境下的主备竞争
  • Disconf-web
    • 配置存储模块：管理所有配置的存储和读取
    • 配置管理模块：支持配置的上传、下载、更新
    • 通知模块：当配置更新后，实时通知使用这些配置的所有实例
    • 配置自检监控模块：自动定时校验实例本地配置与中心配置是否一致
    • 权限控制：web的简单权限控制
  • Disconf-tools
    • context共享模块：提供多实例间context的共享。

流程设计

运行流程详细介绍：

与2.0版本的主要区别是支持了：主备分配功能/主备切换事件。

  • 启动事件A：以下按顺序发生。
    • A3：扫描静态注解类数据，并注入到配置仓库里。
    • A4+A2：根据仓库里的配置文件、配置项，去 disconf-web 平台里下载配置数据。这里会有主备竞争
    • A5：将下载得到的配置数据值注入到仓库里。
    • A6：根据仓库里的配置文件、配置项，去ZK上监控结点。
    • A7+A2：根据XML配置定义，到 disconf-web 平台里下载配置文件，放在仓库里，并监控ZK结点。这里会有主备竞争。
    • A8：A1-A6均是处理静态类数据。A7是处理动态类数据，包括：实例化配置的回调函数类；将配置的值注入到配置实体里。
  • 更新配置事件B：以下按顺序发生。
    • B1：管理员在 Disconf-web 平台上更新配置。
    • B2：Disconf-web 平台发送配置更新消息给ZK指定的结点。
    • B3：ZK通知 Disconf-cient 模块。
    • B4：与A4一样。
    • B5：与A5一样。
    • B6：基本与A4一样，唯一的区别是，这里还会将配置的新值注入到配置实体里。
  • 主备机切换事件C：以下按顺序发生。
    • C1：发生主机挂机事件。
    • C2：ZK通知所有被影响到的备机。
    • C4：与A2一样。
    • C5：与A4一样。
    • C6：与A5一样。
    • C7：与A6一样。

模块实现

disconf-web提供了前后端分离的web架构，具体可见：https://github.com/knightliao/disconf/tree/master/disconf-web

本部分会重点介绍disconf-client的实现方式。

注解式disconf实现

本实现会涉及到 配置仓库容器模块、扫描模块、下载模块、watch模块，

http://ww1.sinaimg.cn/bmiddle/60c9620fjw1eqj9zzgc7yj20b20pn41v.jpg

使用AOP拦截的一个好处是可以比较轻松的实现配置控制，比如并发环境下的配置统一生效。关于这方面的讨论可以见这里。

特别地，本方式提供的编程模式非常简单，例如使用以下配置类的程序在使用它时，可以直接@Autowired进来进行调用，使用它时就和平常使用普通的JavaBean一样，但其实它已经分布式化了。配置更新时，配置类亦会自动更新。

@Service
@DisconfFile(filename = "redis.properties")
public class JedisConfig {// 代表连接地址private String host;// 代表连接portprivate int port;/*** 地址, 分布式文件配置* * @return*/@DisconfFileItem(name = "redis.host", associateField = "host")public String getHost() {return host;}public void setHost(String host) {this.host = host;}/*** 端口, 分布式文件配置* * @return*/@DisconfFileItem(name = "redis.port", associateField = "port")public int getPort() {return port;}public void setPort(int port) {this.port = port;}
}

基于XML配置disconf实现

本实现提供了无任何代码侵入方式的分布式配置。

ReloadablePropertiesFactoryBean继承了Spring Properties文件的PropertiesFactoryBean类，管理所有当配置更新时要进行reload的配置文件。对于被管理的每一个配置文件，都会通过 配置仓库容器模块、扫描模块、下载模块、watch模块 进行配置获取至配置仓库里。

ReloadingPropertyPlaceholderConfigurer继承了Spring Bean配置值控制类PropertyPlaceholderConfigurer。在第一次扫描spring bean里，disconf会记录配置文件的配置与哪些bean有关联。

ReloadConfigurationMonitor是一个定时任务，定时check本地配置文件是否有更新。

当配置中心的配置被更新时，配置文件会被下载至实例本地，ReloadConfigurationMonitor即会监控到此行为，并且通知 ReloadingPropertyPlaceholderConfigurer 对相关的bean类进行值更新。

特别的，此种方式无法解决并发情况下配置统一生效的问题。

主备分配实现

在实现中，为每个配置提供主备选择的概念。用户实例在获取配置前需要先进行全局唯一性竞争才能得到配置值。在这里，我们采用基于zookeeper的全局唯一性锁来实现。

Comparisons

 淘宝Diamond[2]Disconf比较
数据持久性存储在mysql上存储在mysql上都持久化到数据库里，都易于管理
推拉模型拉模型，每隔15s拉一次全量数据基于Zookeeper的推模型，实时推送disconf基于分布式的Zookeeper来实时推送，在稳定性、实效性、易用性上均优于diamond
配置读写支持实例对配置读写。支持某台实例写配置数据，并广播到其它实例上只支持实例对配置读。通过在disconf-web上更新配置到达到广播写到所有应用实例从目前的应用场景来看，实例对配置的写需求不是那么明显。disconf支持的中心化广播方案可能会与人性思考更加相似。
容灾多级容灾模式，配置数据会dump在本地，避免中心服务挂机时无法使用多级容灾模式，优先读取本地配置文件。双方均支持在中心服务挂机时配置实例仍然可以使用
配置数据模型只支持KV结构的数据，非配置文件模式支持传统的配置文件模式（配置文件），亦支持KV结构数据(配置项)使用配置文件的编程方式可能与程序员的编程习惯更为相似，更易于接受和使用。
编程模型需要将配置文件拆成多个配置项，没有明显的编程模型在使用配置文件的基础上，提供了注解式和基于XML的两种编程模型无
并发性多条配置要同时生效时，无法解决并发同时生效的问题基于注解式的配置，可以解决并发性问题无

Reference

  1. 王阿晶，邹仕洪: 基于ZooKeeper的配置信息存储方案的设计与实现
  2. 淘宝diamod实现：http://code.taobao.org/p/diamond/src/, 2012
  3. 百度BJF配置中心, 2014
  4. disconf github: https://github.com/knightliao/disconf, 2014
  5. 淘宝分布式配置管理服务Diamond
  6. zooKeeper和Diamond有什么不同
  7. diamond专题（一）-- 简介和快速使用

转载于:https://my.oschina.net/yq0128/blog/711310

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/398079.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

1.ELF之Elf Header

1.ELF之Elf Header

1.ELF的三个文件头 每个ELF文件有三个文件头，用来索引信息。 (1).EH ELF file Header　可在此读到PH，SH在文件中的offset。 (2).PH Program Header　与load program有关的索引，.o的PH为空。 (3).SH Section Header　组成此文件的所有secti…
阅读更多...
java路径1.7_Java环境配置原理详解1.Jdk安装目录文件说明：一般jdk安装目录及路径 Javajdk1.7.0_79lib，里面主要包含以下文件夹。bin...

java路径1.7_Java环境配置原理详解1.Jdk安装目录文件说明：一般jdk安装目录及路径 Javajdk1.7.0_79lib，里面主要包含以下文件夹。bin...

Java环境配置原理详解1.Jdk安装目录文件说明：一般jdk安装目录及路径 Javajdk1.7.0_79lib，里面主要包含以下文件夹。bin：主要存放的是java工具中常用命令如：java，javac等。db：安装java db的路径。include&am…
阅读更多...
2018年5月5日论文阅读

2018年5月5日论文阅读

国外精读！title（27）：We don’t need no bounding-boxes: Training object class detectors using only human verification（我们不需要任何边界框：只使用人工验证来训练对象类别检测器）---20170…
阅读更多...
sql2005主从数据库同步配置

sql2005主从数据库同步配置

网站规模到了一定程度之后，该分的也分了，该优化的也做了优化，但是还是不能满足业务上对性能的要求；这时候我们可以考虑使用主从库。主从库是两台服务器上的两个数据库，主库以最快的速度做增删改操作最新数据的查询操作…
阅读更多...
InceptionV2----Batch Normalization层

InceptionV2----Batch Normalization层

一、BN层的操作 1.BN层的操作位置：在非线性映射之前，目的是为了减少梯度消失和梯度爆炸。 1.对输入的x做归一化 2.增加2个参数，提高模型表达能力 3.理想情况下E和Var应该是针对整个数据集的，但显然这是不现实的。因此，…
阅读更多...
前端技术之_CSS详解第五天

前端技术之_CSS详解第五天

前端技术之_CSS详解第五天 一、行高和字号 1.1 行高 CSS中&#xff0c;所有的行&#xff0c;都有行高。盒模型的padding&#xff0c;绝对不是直接作用在文字上的&#xff0c;而是作用在“行”上的。 <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN&qu…
阅读更多...
pxe装机dhcp获取不到_关于PXE服务器环境搭建流程中遇到的问题及解决方法

pxe装机dhcp获取不到_关于PXE服务器环境搭建流程中遇到的问题及解决方法

环境准备中遇到的问题首先需要将系统镜像挂载到 /mnt&#xff1a;#mount /dev/sdd2 /mnt/usb_disk 将U盘挂载#cp rhel-server-7.6-x86_64-dvd.iso /home 系统镜像拷到本地#mount -o loop rhel-server-7.6-x86_64-dvd.iso /mnt问题&#xff1a;ifconfig命令未找到解决&#xff1…
阅读更多...
一小时包教会 —— webpack 入门指南

一小时包教会 —— webpack 入门指南

什么是 webpack&#xff1f; webpack是近期最火的一款模块加载器兼打包工具&#xff0c;它能把各种资源&#xff0c;例如JS&#xff08;含JSX&#xff09;、coffee、样式&#xff08;含less/sass&#xff09;、图片等都作为模块来使用和处理。 我们可以直接使用 require(XXX) 的…
阅读更多...
java 简单图片浏览器_Java实现简单的图片浏览器

java 简单图片浏览器_Java实现简单的图片浏览器

第一次写博客&#xff0c;不喜勿喷。最近一个小师弟问我怎么用Java做图片浏览器&#xff0c;感觉好久没玩Java了&#xff0c;就自己动手做了一下。学校的教程是用Swing来做界面的&#xff0c;所以这里也用这个来讲。首先要做个大概的界面出来&#xff0c;eclipse有一个很好用的…
阅读更多...
60. Spring Boot写后感【从零开始学Spring Boot】

60. Spring Boot写后感【从零开始学Spring Boot】

从2016年4月15日到2016年7月20日经历长达3个月的时间&#xff0c;【从零开始学习Spring Boot】系列就要告一段落了。国内的各种资源都比较乱或者是copy 来copy去的&#xff0c;错了也不加以修正下&#xff0c;导致通过百度找到的资源可能都是错误的&#xff0c;正是由于这么一种…
阅读更多...
五角星

五角星

import turtle turtle.setup(600,400,0,0) turtle.bgcolor(red) turtle.color(yellow) turtle.fillcolor(yellow) turtle.begin_fill() for i in range(5):turtle.forward(200)turtle.right(144) turtle.end_fill()turtle.done()转载于:https://www.cnblogs.com/Paris-YY/p/900…
阅读更多...
java customerservlet_顾客管理系统java+servlet

java customerservlet_顾客管理系统java+servlet

首先我先搭好网页的框架先写一个登陆的html&#xff0c;名字是login.html1)在js中跳转页面的方法&#xff0c;我这里用的是get提交&#xff0c;只传递了一个name。function mylogin() {var usernamedocument.getElementById("name").value;window.location.href"…
阅读更多...
mysql给root开启远程访问权限，修改root密码

mysql给root开启远程访问权限，修改root密码

1.MySql-Server 出于安全方面考虑只允许本机(localhost, 127.0.0.1)来连接访问. 这对于 Web-Server 与 MySql-Server 都在同一台服务器上的网站架构来说是没有问题的. 但随着网站流量的增加, 后期服务器架构可能会将 Web-Server 与 MySql-Server 分别放在独立的服务器上, 以便得…
阅读更多...
Qt_Window@Qt Command Prompt从命令行创建工程

Qt_Window@Qt Command Prompt从命令行创建工程

#include <QApplication> #include <QLabel>int main(int argc, char *argv[]) {QApplication app(argc, argv);QLabel *label new QLabel("Hello Qt!");label->show();return app.exec(); }第1 行和第2 行包含了两个类的定义&#xff1a;QApplicat…
阅读更多...
linux中的守护进程

linux中的守护进程

一、守护进程守护进程&#xff0c;也叫精灵进程&#xff08;daemon&#xff09;它和普通后台进程的区别在于以下三点1、守护进程自成会话&#xff0c;而普通后台进程则不一定2、守护进程不受终端的控制3、守护进程就是后台进程&#xff0c;而后台进程不同于守护进程用ps axj命令…
阅读更多...
mysql主从复制 lvs+ keepalived

mysql主从复制 lvs+ keepalived

2019独角兽企业重金招聘Python工程师标准>>> 一、环境 Master&#xff08;主机A&#xff09;&#xff1a;192.168.1.1 Slave&#xff08;主机B&#xff09; &#xff1a;192.168.1.2 W-VIP&#xff08;写入&#xff09; &#xff1a;192.168.1.3 R-VIP&#xff…
阅读更多...
php 逗号编码,php有几种编码

php 逗号编码,php有几种编码

当前 mbstring 模块支持以下的字符编码。这些字符编码中的任意一个都能指定到 mbstring 函数中的 encoding 参数。该 PHP 扩展支持的字符编码有以下几种&#xff1a;UCS-4*UCS-4BE (推荐学习&#xff1a;PHP视频教程)UCS-4LE*UCS-2UCS-2BEUCS-2LEUTF-32*UTF-32BE*UTF-32LE*UTF-…
阅读更多...
jmeter命令行运行-分布式测试

jmeter命令行运行-分布式测试

秒秒开心jmeter命令行运行-分布式测试 上一篇文章我们说到了jmeter命令行运行但是是单节点下的&#xff0c; jmeter底层用java开发&#xff0c;耗内存、cpu&#xff0c;如果项目要求大并发去压测服务端的话&#xff0c;jmeter单节点难以完成大并发的请求&#xff0c;这时就需要…
阅读更多...
ambari 自定义组件安装

ambari 自定义组件安装

借鉴&#xff1a;http://www.ibm.com/developerworks/cn/opensource/os-cn-bigdata-ambari3/index.htmlAmbari 在启动的时候&#xff0c;会扫描 resource 目录下 Stack 下面的 service 配置。也就是每个 Service 的 metainfo.xml&#xff0c;同时会将这些配置信息放在自己的数据…
阅读更多...
android 双向滑动 seekbar

android 双向滑动 seekbar

实现原理&#xff1a;1、自定义View&#xff0c;在onDraw(Canvas canvas)中&#xff0c;画出2个Drawable滑动块&#xff0c;2个Drawable滑动条&#xff0c;2个Paint&#xff08;text&#xff09;2、监听onTouchEvent()事件&#xff0c;修改滑块和滑动条的坐标&#xff0c;调用i…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023