apollo 配置中心_配置中心——Apollo小记

cbf6558d6151c403297b9e247a881e1c.png

一、什么是配置

配置是程序运行时,动态调整行为的能力。

配置有以下属性:

  • 配置是独立于程序的只读变量
    • 同一份程序在不同的配置下才会有不同的行为,而且配置对于程序来说是只读的,所以程序可以通过读取配置来改变自己的行为,但是不能自己改动配置文件。
  • 配置伴随应用的整个生命周期
    • 应用在启动的时候通过读取配置来初始化,在运行时根据配置改变自己的行为。
  • 配置有多中加载方式
    • 程序内部hard code,这种做法是反模式,十分不建议。
    • 配置文件。
    • 环境变量,配置可以预置在操作系统的环境变量里,程序运行时读取。
    • 启动参数,可以在程序启动时一次性提供参数。
    • 基于数据库,将易变配置放在数据库中,这样可以在运行期灵活调整配置。
  • 配置需要治理
    • 权限控制:对配置的修改需要有比较完善的权限控制,否则不正确的配置会引起灾难。
    • 不同环境、集群配置管理:同一份程序在不同环境(开发、测试、生产)、不同的集群(如不同的数据中心)经常需要有不同的配置,所以需要完善的环境、集群配置管理。
    • 框架类组件配置管理:如CAT客户端的配置。

二、为什么需要配置中心

在没有引入配置中心之前,一般研发的时候会有以下痛点:

  • 配置格式散乱不规范
    • 有的用properties格式,有的用yml格式,有的用xml格式,还有存DB的,做法五花八门。
  • 主要采用本地静态配置,配置修改麻烦
    • 在分布式微服务环境下,当服务实例很多的时候,配置修改费时费力。
  • 易引发生产事故
    • 如将测试环境的配置带到生产环境上。
  • 配置缺乏安全审计和版本控制功能
    • 无法查看到修改配置的人,修改了什么内容,以及修改的时间,除了问题也无法及时回滚。

三、配置中心的核心需求

  1. 交付件和配置分离
    传统做法应用在打包部署的时候,会为不同环境打出不同配置的包,每个包里头包含环境特定配置。而现在推荐采用如容器镜像方式打包和交付微服务,应用镜像一般只打一份,可以部署到不同环境,所以这要求交付件和配置进行分离,交付件只制作一份,并且是不可变的,可以部署到任意环境。但是所有环境的配置都可以在配置中心集中配置,运行期应用可以根据自身环境到配置中心动态拉取相应的配置。
  2. 抽象标准化
    配置中心应该封装屏蔽配置管理的细节和配置的不同格式,方便用户进行自主式配置管理,一般用户只需要关注两个抽象和标准化的接口即可:
  • 配置管理界面UI,方便应用开发人员管理和发布配置。
  • 封装好的客户端API,方便应用集成和获取配置。
多环境多集群
微服务应用大多采用多环境部署,一般标准的环境有开发/测试/生产等,有的应用还需要多集群部署,如支持跨机房或多版本部署。配置中心需要支持对多环境和多集群应用配置的集中式管理。高可用
配置中心不能挂,否则会大面积影响微服务。实时性
配置更新需要尽快通知到客户端,有些配置的实时性要求很高,像是主备切换配置或者蓝绿部署配置,这些需要秒级切换配置的能力。治理
配置需要治理,具体包括:
  • 配置审计,需要记录修改人,修改内容和修改事件,方便出现问题时能后追溯。
  • 配置版本控制,每次变更需要版本化,出现问题可以及时回滚到上一版本。
  • 配置权限控制,配置变更发布需要认证授权。
  • 灰度发布,配置发布时可以先让少数实例生效,确定没有问题就可以扩大应用范围。

四、什么是Apollo

Apollo是携程框架部门研发的开源配置管理中心,能够集中化管理应用不同环境、不同集群的配置,配置修改后能够实时推送到应用端,并且具备规范的权限、流程治理等特性。

Apollo的特性如下:

  • 统一管理不同环境、不同集群的配置。
    • Apollo提供了一个统一界面集中式管理不同环境、不同集群、不同命名(namespace)空间的配置,而且同一份代码部署在不同集群,可以有不同的配置。
  • 配置修改实时生效(热发布)
  • 版本发布管理
  • 灰度发布
  • 客户端配置信息监控
    • 可以在界面上方便地看到配置在被哪些实例使用。
  • 提供Java和.Net原生客户端
  • 提供开放平台API
  • 部署简单

可以看到,Apollo的特性几乎符合上文配置中心的核心需求。

五、Apollo的基本模型

309942265c0d8913735abcebad744b11.png
  1. 用户现在UI界面修改/发布配置。
  2. Apollo配置中心会将配置更新信息推送到Apollo客户端。
  3. 客户端再从Apollo配置中心拉取最新配置,更新本地配置之后,通知到应用。

六、Apollo客户端设计

1、Apollo客户端实现原理

058dea9031b5b381292dc3b65ce71c14.png
  1. 客户端和服务端会保持一个长连接,从而第一时间获取配置更新的推送。
  2. 客户端还会定时从Apollo配置中心服务端拉取应用的最新配置,而且客户端定时拉取会上报给本地版本,默认每隔5分钟拉取一次,也可以通过运行时指定apollo.refreshInterval来覆盖,单位为分钟。
  3. 客户端从Apollo配置中心服务端获取到应用的最新配置后,会保存在内存。
  4. 客户端会把从服务端拉取到的配置在本地文件系统缓存一份,保证在遇到服务不可用或网路故障时,依赖能从本地恢复配置,也实现了一定的高可用性。
  5. 应用程序从客户端获取到罪行的配置、订阅配置更新通知。

2、配置更新推送实现

上文提到Apollo客户端和服务端保持了一个长连接,从而可以第一时间获得配置更新的推送,实际上长连接是通过Http Long Polling实现的:

  • 客户端发起Http请求给服务端
  • 服务端保持60s连接
    • 如果在60s中有客户端关心的配置变化,则请求会立即返回,并告知客户端有配置变化的namespace信息,客户端会据此拉取该namespace的最新配置。
    • 如果60s内没有客户端关心的配置变化,则返回http状态码304给客户端。

在服务端,是用async servlet(Spring DeferredResult)来服务Http Long Polling请求。

七、Apollo总体设计

c920c0a916d8c5daac18fb5848c72b44.png

在捋清思路之前,先对其中的模块进行了解:

主要模块:

  • ConfigService
    • 提供配置获取接口
    • 提供配置推送接口
    • 服务于Apollo客户端
  • AdminService
    • 提供配置管理接口
    • 提供配置修改发布接口
    • 服务于管理界面Portal
  • Client
    • 为应用获取配置,支持实时更新
    • 通过MetaServer获取ConfigService的服务列表
    • 使用客户端软负载SLB方式调用ConfigService
  • Portal
    • 配置管理页面
    • 通过MetaServer获取AdminService的服务列表
    • 使用客户端软负载SLB方式调用AdminService

辅助模块:

  • Eureka
    • 用于服务发现和注册
    • Config/AdminService注册实例并定期报心跳
    • 和ConfigService一起部署
  • MetaServer
    • Portal通过域名访问MetaServer获取AdminService的地址列表
    • Client通过域名访问MetaServer获取ConfigService的地址列表
    • 相当于Eureka Proxy
    • 和ConfigService一起部署
  • NginxLB
    • 和域名系统配合,协助Portal访问MetaServer获取AdminService的地址列表
    • 和域名系统配合,协助Client访问MetaServer获取ConfigService的地址列表
    • 和域名系统配置,协助用户访问Portal进行配置管理。

1、简化架构A

aa6960af3fee4ff13d76b1c8cbd6f931.png

假设没有分布式微服务的服务发现,那么:

  1. Portal会调用AdminService进行配置管理和发布
  2. ConfigService和Client保持长连接,ConfigService服务于Client进行配置获取,ConfigService和Client通过一种推拉结合的方式,实现配置实时更新 的同时,保证配置更新不丢失。
  3. ConfigService和AdminService共享ConfigDB,ConfigDB中存放项目在某个环境的配置信息,而且这三者在每个配置环境(DEV/FAT/UAT/PRO)中都要部署一份。
  4. Protal有个独立的PortalDB,存放用户权限、项目和配置的元数据信息。Portal只需部署一份,它可以管理多套环境。

2、简化架构B

265865e245b1957a4f5e587fbcaa0e98.png

因为Client要找ConfigService需要地址列表,Portal找到AdminService也需要地址列表,这时候就需要服务发现了。

  1. Config/AdminService启动后都会注册到Eureka服务注册中心,并定期发送保持心跳。
  2. Eureka采用集群方式部署,使用分布式 一致性协议保证每个势力的状态最终一致。
  3. Client和Portal可以通过Eureka发现ConfigService和AdminService的地址列表。

3、简化结构C

265865e245b1957a4f5e587fbcaa0e98.png

因为携程需要跟自家的.Net的系统兼容,所以引入了MetaServer服务,这相当于是代理Proxy,将Eureka的服务发现接口以更简单明确的HTTP接口的形式暴露出来。

但是MetaServer本身也是无状态以集群方式部署的,那么Client/Protal该如何发现MetaServer呢?传统的方式是借助硬件(可以在其中指定MetaServer的位置)或者是软件负载均衡器。

4、简化结构4

c920c0a916d8c5daac18fb5848c72b44.png

使用NginxLB(也称Software Load Balancer),由运维为MetaServer集群配置一个域名,指向NginxLB集群,NginxLB再对MetaServer进行负载均衡和流量转发。Client/Portal通过域名+NginxLB间接访问MetaServer集群。

-----------------------------------------------------------------------------------------------

这里踩个坑,因为一套Portal就可以集中管理多套环境(DEV/FAT/UAT/PRO)中的配置,所以当切换环境的时候,需要注意到.properties(.yml)等配置文件中(SpringBoot)是否有明确标记处需要取出哪些namespace的配置,否则Client将会拉取不了配置中心的配置到本地。

参考:

微服务架构 为什么需要配置中心携程 Apollo 配置中心架构深度剖析Apollo配置中心介绍

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/559538.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

云南计算机专修学校附中,昆明高中哪家强? 师附中和昆一中高考尖子生最多...

原标题:昆明高中哪家强? 师附中和昆一中高考尖子生最多云南网讯(记者 念新洪)昆明高中哪家强?来从11月16日公示的“昆明市2015年高中教育质量考核结果”中找答案吧!据悉,根据年初签订的责任书和目标考核规定&#xff0…

python在线编辑器import_maya_关于脚本编辑器导入python模块

import sys for p in sys.path: print p rigDir C:\Users\lenovo\Documents\maya\scripts\python\rigLib if not rigDir in sys.path: sys.path.append( rigDir ) from rigLib.base.control import * ArmCtl rigLib.base.control.Control(prefix 1_arm) 问题与解决方法 # Er…

css button 四种状态,css中按钮的四种状态

css中按钮有四种状态普通状态hover 鼠标悬停状态active 点击状态focus 取得焦点状态.btn:focus{outline:0;} 可以去除按钮或a标签点击后的蓝色边框下面的例子中.btn1用focus按钮会按下,不弹起.btn2用active按钮点击按下,会弹起html:Save Sett…

html红色星号怎么做_码农的插花艺术:HTML(一)

这是笔者学习html的过程中的小小心得和体会,由于笔者也是前端初学者,能力有限难免出错,恳请各位读者看到有错误的地方多多包涵,也欢迎各位在评论区积极讨论。严格来讲html并不算一种“语言”。html的文档可以以txt的形式保存&…

scrapy没有运行结果_关于Scrapy爬虫项目运行和调试的小技巧(下篇)

前几天给大家分享了关于Scrapy爬虫项目运行和调试的小技巧上篇,没来得及上车的小伙伴可以戳超链接看一下。今天小编继续沿着上篇的思路往下延伸,给大家分享更为实用的Scrapy项目调试技巧。三、设置网站robots.txt规则为False一般的,我们在运用…

信佑无盘主服务器密码,(信佑无盘帮助手册.doc

(信佑无盘帮助手册1.无盘服务器配置:1.系统盘:1 块2.数据盘和内存最底配置: 内存:4G数据盘: 1块回写盘: 1,块150台以下:intel 3000-5000 芯片系列主板 或AMD平台,64位CPU8 -16G3块sas做读,3块sas做写.100台以下&#…

easyui datagrid oncheck 修改行样式_100 种 PPT 图表样式送给你

你好,这里是诺灰屋我是诺灰距离上一篇推文,已有近一个月的时间没有给大家写推送了。这期间,我一直在进行数据图表方面知识的网络调研。甚至于在知网上找了几篇论文来看,当然,内容很枯燥,不实用。同时&#…

学excel还是学python_已经会Excel了还需要学python吗?

作为一名现代职场人,相信Excel是我最熟悉不过的工具了。作为数据处理的日常办公软件,Excel以其优秀的数据分析处理功能,简单易用的操作成为大家的最爱。也许你不知道python是什么,但是一定知道Excel。 作为一名小白,我…

系统如何启动数据库服务器,怎么启动sql数据库服务器

怎么启动sql数据库服务器 内容精选换一换PostgreSQL支持逻辑备份。您可使用pg_dump逻辑备份功能,导出备份文件,再通过psql导入到RDS中,实现将PostgreSQL的数据导入到云数据库RDS中。云数据库RDS服务支持开启公网访问功能,通过弹性…

富士康服务器主板X58维修,富士康X58 Blood Rage主板BIOS预览

富士康X58主板Blood Rage在软硬件方面都已经设计完成,下边就来看看BIOS设定部分。通用条目这里暂且略过,只看看富士康独特的“Quantum BIOS”部分,有关系统各部件的条件以及超频都要在这儿完成。Quantum BIOS主界面:分为处理器功能…

python手动安装包_python pip如何手动安装二进制包

python中使用pip安装扩展包的时候,有时候会遇到如下类似报错: Running setup.py install for mysqlclient ... error ...(中间报错信息省略) building MySQLdb._mysql extension error: Microsoft Visual C 14.0 is required. Get it with "Build T…

amd cpu不能在cmd环境下运行java代码_00 开发环境搭建

我们来着手在本地计算机环境安装 TensorFlow 最新版框架。TensorFlow 框架支持多种常见的操作系统,如 Windows 10、Ubuntu 18.04、Mac OS 等等,同时也支持运行在 NVIDIA 显卡上的 GPU 版本和仅适用 CPU 完成计算的 CPU 版本。我们以最为常见 Windows 10 …

更新无限无线连接更新服务器,02-H3C WBC560多业务无线控制器软件升级操作指导...

本文中的绿洲平台指的是WBC560多业务无线控制器中的本地绿洲。1.1.1 软件升级方式简介AC支持通过命令行进行软件升级和通过Web页面进行软件升级,命令行升级方式只能通过以太网口telnet到AC进行升级,无法通过HDM进行升级。升级方式说明需要重启AC来实现A…

pythonista_Pythonista20190325伤不起

图片发自简书App print("You enter a dark room with two doors. Do you go through door #1 or door #2?") door input("> ") if door "1": print("Theres a giant bear here eating a cheese cake,What do you do?") print(&…

nfc卡模式与标准模式_渠道如何标准化管理,建立新的销售模式,提升业绩完成率...

请您关注,转发,点赞!转化能力持续为您创作实用有效的营销工具,管理工具,计划表格,如何完成业绩方法,战略如何规划,如何总结和规划等实用文件,提高职场营销人的营销能力和…

计算机组成原理r型指令logisim实现_第一章 计算机体系结构

需要掌握的内容:存储程序计算机计算机系统的多级层级结构计算机体系结构计算机组成计算机实现计算机体系结构、组成与实现三者的关系存储程序计算机透明性Amdahl定律CPU 性能公式程序局部性原理计算机性能的若干定义计算机体系结构分类计算机体系结构的发展影响计算…

智力问答选择题_经典智力问答题汇总

经典智力问答题汇总1、什么动物最没有方向感?答案:麋鹿(迷路)2、什么动物猜拳永远不会有输赢?答案:螃蟹3、什么动物最容易摔倒?答案:狡猾的狐狸(脚滑)4、什么鸡没有翅膀?答案:田鸡5、…

两个矩阵是否相交的算法_算法血拼:Google+百度+Alibaba+字节+Tencent+网易+360+拼夕夕...

最热的三伏天来了,相信有许多小伙伴们都已马不停蹄的在准备各大厂的秋招提前批了吧,不知算法与数据结构会不会成为你的坎?恰好,我这两天花了点时间,整理了些各大厂(Google百度Alibaba字节Tencent网易360拼夕夕美团小米…

神经网络 顾晓东_基于神经网络的图像边缘检测方法

!DJ1$0’’"0’"’/’&/)-%$(’"-%%’>,$2%’/5-,NYW;_K)1>L05%fPDb05>-51%MP;b01>81#/(--525(.P.(*V,71(W2155*12%/01,’1-1,23145*6178%K,2L0()A!%%!G%/01,$!(/,$&/(DV570(J(.5J25J57571(%O,65J(5)*,-57U(*R616S*(S(65J1705S,S5*:E05V570…

安装python缺少dll_Microsoft.PythonTools.dll

我该如何安装从金山毒霸下载的DLL文件? 一: 1、从金山毒霸下载压缩文件。 2、将DLL文件解压到电脑上的某个地方。 3、把该文件跟要求使用它的程序放在同一路径上。注意32位程序需要使用32位的DLL文件,64位程序需要使用64位的DLL文件。否则会出…