etcd nginx 容器_Etcd+Confd实现Nginx配置文件自动管理

一、需求

我们使用Nginx做七层负载均衡,后端是Tomcat。项目采用灰度发布方式,每次项目升级,都要手动先从Nginx下摘掉一组,然后再升级这组,当项目快速迭代时,手动做这些操作显然会增加部署时间,于是就想通过脚本实现自动化管理Nginx配置文件。

当时考虑自己写Shell脚本对Nginx配置文件操作,需要用到sed流编辑器,sed本身没有条件判断语句,并不能灵活判断配置文件中要添加/删除位置,因此会增加配置错误风险。

在查资料无意间发现confd能自动管理配置文件,通过模板渲染生成配置文件,避免了配置错误风险,觉得挺好,就实验了下,于是就有了本章博文。

二、架构图

三、涉及软件

etcd:分布式KV存储系统,一般用于共享配置和服务注册与发现。是CoreOS公司发起的一个开源项目。 ETCD存储格式类似于文件系统,以根"/"开始下面一级级目录,最后一个是Key,一个key对应一个Value。

etcd集群:使用Raft协议保证每个节点数据一致,由多个节点对外提供服务。这里只用单台。

confd:管理本地应用配置文件,使用etcd或consul存储的数据渲染模板,还支持redis、zookeeper等。

confd有一个watch功能,通过HTTP API定期监测对应的etcd中目录变化,获取最新的Value,然后渲染模板,更新配置文件。

四、部署

环境说明:CentOS7,IP 192.168.1.99 # 为了试验服务都安装这台上。

4.1 下载软件包

4.2 安装Nginx并启动# yum install -y gcc gcc-c++ make openssl-devel pcre-devel

# useradd nginx -s/sbin/nologin

# wget http://nginx.org/download/nginx-1.10.3.tar.gz

# tar zxvf nginx-1.10.3.tar.gz

# cd nginx-1.10.3

# ./configure--prefix=/usr/local/nginx --user=nginx --group=nginx --with-http_ssl_module--with-http_gzip_static_module --with-http_realip_module--with-http_stub_status_module

# make && make install

独立出来虚拟主机:

# mkdir /usr/local/nginx/conf/vhost

# vi /usr/local/nginx/conf/nginx.conf # 在http{}段中末尾添加包含虚拟主机配置文件

http {

includevhost/*.conf;

}

# /usr/local/nginx/sbin/nginx  # 启动Nginx

4.3 安装etcd并启动# tar zxvf etcd-v3.1.4-linux-amd64.tar.gz

# mv etcd etcdctl /usr/bin/  # etcd提供封装好的包,直接使用即可

# nohup etcd--data-dir /var/lib/data.etcd --listen-client-urls http://192.168.1.99:2379--advertise-client-urls http://192.168.1.99:2379 &>/var/log/etcd.log &

4.4 安装confd

confd也是一个封装好的包,直接使用即可。# mv confd-0.11.0-linux-amd64 /usr/bin/confd

key规划:

keyvalue

/nginx/www/server_name域名

/nginx/www/upstream/server01节点01

/nginx/www/upstream/server02节点02

/nginx/www/upstream/server03节点03

创建配置目录# mkdir -p /etc/confd/{conf.d,templates}

conf.d    # 资源模板,下面文件必须以toml后缀

templates # 配置文件模板,下面文件必须以tmpl后缀

创建资源模板# vi /etc/confd/conf.d/app01.conf.toml

[template]

src = "app01.conf.tmpl"    # 默认在/etc/confd/templates目录下

dest = "/usr/local/nginx/conf/vhost/app01.conf"  # 要更新的配置文件

keys = [

"/nginx",            # 监测的key

]

reload_cmd ="/usr/local/nginx/sbin/nginx -s reload"   # 最后执行的命令

创建Nginx配置文件模板# vi /etc/confd/templates/app01.conf.tmpl

upstream www.{{getv "/nginx/www/server_name"}} {

{{range getvs "/nginx/www/upstream/*"}}

server ``.``;

`end`

}

server {

server_name  www.{{getv "/nginx/www/server_name"}};

location / {

proxy_pass       http://www.{{getv  "/nginx/www/server_name"}};

proxy_redirect off;

proxy_set_header Host $host;

proxy_set_header X-Real-IP $remote_addr;

proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

}

}

博客地址:http://lizhenliang.blog.51cto.com

QQ群:323779636(Shell/Python运维开发群)

五、测试

使用etcdctl客户端操作etcd,常用的几个选项如下:USAGE:

etcdctl [global options] command [command options] [arguments...]

COMMANDS:

ls          retrieve a directory

get         retrieve the value of a key

set         set the value of a key

rm          remove a key or a directory

GLOBAL OPTIONS:

--peers, -C     a comma-delimited list of machine addresses in the cluster (default: "http://127.0.0.1:2379,http://127.0.0.1:2379")

5.1 向etcd添加k/v# etcdctl -C http://192.168.1.99:2379 set domain.com

domain.com

# etcdctl -C http://192.168.1.99:2379 set /nginx/www/upstream/server01 "192.168.1.10:80"

192.168.1.10:80

# etcdctl -C http://192.168.1.99:2379 set /nginx/www/upstream/server02 "192.168.1.11:80"

192.168.1.11:80

5.2 启动confd监测etcd中的keys

当你启动后,confd就会从etcd获取key的值并填充到Nginx配置文件模板,并更新到/usr/local/nginx/conf/vhost/app01.conf,并nginx reload。

5.3 近一步测试

向etcd中/nginx/www/upstream/再添加一个节点:

OK!这样就实现了自动管理Nginx配置文件,无感知加入后端节点。

六、etcd Rest API使用curl -X PUT http://192.168.1.99:2379/v2/keys/test/a_key -d value="789"  # 增改key

curl -X DELETE http://192.168.1.99:2379/v2/keys/test/a_key     # 删除key

curl http://192.168.1.99:2379/v2/keys/test/a_key                 # 查询key的值

curl -X PUT http://192.168.1.99:2379/v2/keys/dir -d dir=true   # 创建目录

curl http://192.168.1.99:2379/v2/keys             # 查看所有keys

curl -X PUT http://192.168.1.99:2379/v2/keys/ttlvar -d value="ttl_value" -d ttl=10 # 创建过期时间的key,单位秒

curl http://192.168.1.99:2379/version             # 查看etcd版本

curl http://192.168.1.99:2379/v2/members            # 列出所有集群成员

curl http://192.168.1.99:2379/v2/stats/leader         # 查看leader

curl http://192.168.1.99:2379/v2/stats/self           # 节点自身信息

curl http://192.168.1.99:2379/v2/stats/store          # 查看集群运行状态

七、总结

总体来说,etcd+confd要比自己写脚本管理Nginx配置文件更方便!当然,增加一套组件也会增加一点运维成本。

当初始化一台Web节点,可以增加一步操作去把自己信息注册到etcd,从而实现自动加入节点。

如果应用在生产环境,有些功能需要更加完善些,比如向etcd添加数据用Rest API或者用Python封装接口,confd写一个后台进程脚本运行等。

如果线上已经有redis或者zookeeper的话,那么就可以直接作为k/v存储信息,而不需要再搭建一套etcd集群!

由于keys的每次更新confd都会Nginx reload,在高并发访问量会有一点影响,比较好的解决方案就是写lua去动态加载Nginx参数。但应付中小规模还是可以的!

由此看来,confd不但局限管理Nginx配置文件,对于其他应用软件也是可以的,比如Haproxy,LVS等。

confd使用文档:

资源模板其他参数:

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/501085.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

java ftp获取文件名的方法_小猿圈Java学习-URL地址的组成格式

URL的全称是Uniform Resource Locator,意思是统一资源定位符,俗称网络地址或网址。网络上的每个文件及接口,都有对应的URL网址,它规定了其他设备如何通过一系列的路径找到自己,犹如网购的包裹一路送至收货地址所描述的…

ceph编译_Ceph编译安装教程

Ceph官方版本目前支持的纠删码很有限,实验室这块希望能够整合我们自主开发的纠删码BRS(Binary Reed–Solomon encoding),所以需要编译Ceph环境。Ceph官方目前推荐的安装方式都是通过Ceph-deploy的工具来安装配置,搭建起来十分简单。目前直接通…

JAVA进阶教学之(Object类中的equals方法)

public boolean equals(Object obj){return (this obj); } 原始equals方法是判断两个对象的内存地址是否相等的(内存地址相等,保存的值也相等) 比较是判断两个对象的值是否相等(保存的值相等) 在Object类中的equal…

hashmap扩容机制_图文并茂:HashMap经典详解!

点击上方 Java后端,选择 设为星标优质文章,及时送达代码中的注解多看几遍,其中HashMap的扩容机制是要必懂知识!结合图片一起理解!什么是 HashMap?HashMap 是基于哈希表的 Map 接口的非同步实现。此实现提供所有可选的…

python使用高阶函数实现_18.python高阶函数

什么是高阶函数:一个函数可以作为参数传给另外一个函数(一个函数可以用来接收另一个函数作为参数),或者一个函数的返回值为另外一个函数(若返回值为该函数本身,则为递归),满足其一则为高阶函数。函数的形参位置必须接受一个函数对…

JAVA进阶教学之(Object类中的hashCode方法)

import java.util.Objects;/* hashCode方法 在Object中的hashCode方法是怎样的? public native int hashCode(); 这个方法不是抽象方法,带有native关键字,底层调用的是c程序hashCode() 方法返回的是int类型的哈希码 实际上就是一个java对象的…

nfc加密卡pm3和pm5区别_小米手环4/5 NFC添加加密门禁

什么是 NFC近场通信技术(Near-field communication,NFC)由非接触式射频识别(RFID)演变而来,由飞利浦半导体(现恩智浦半导体)、诺基亚和索尼共同于2004年研制开发,其基础是RFID及互连技术。近场通信是一种短距高频的无线电技术,在1…

JAVA进阶开发之(内部类概述)

匿名内部类(相当于此类没有名字): 1.什么是内部类:在类的内部又定义了一个新的类 2.内部类的分类: 静态内部类:类似静态变量 实例内部类:类似实例变量 局部内部类:类似局部变量…

python图书管理系统增删改查_固定资产管理系统,高效管理企业资产

固定资产管理系统是面向资产密集型单位信息化解决方案的总称,是一款通用性极强的管理软件,能够对单位所有的固定资产进行全方位掌控,并规范其管理流程,适用于企业、机关、学校、医院等单位。系统围绕固定资产的“进、出、用”各个…

JAVA进阶教学之(一维数组)

1、java语言中的数组是一种引用数据类型。不属于基本数据类型 数组的父类是object 2、数组实际上是一个容器,可以同时容纳多个元素(数组是一个数据的集合) 3、字面意思:数组意味着一组数据 4、数组当中可以存储“基本数据类型”的…

python画五角星填充不同颜色_不同颜色牡丹怎么画?3种牡丹图解教你画,适合0基础学习,收藏...

不同颜色的牡丹画法【黄牡丹】1 选取小号羊毫笔,笔肚先蘸取白粉,再在笔尖蘸藤黄稍加调和,运用斡水法,瓣片环花心而发,第一层花瓣要成弧形排列。2 再在笔尖上蘸藤黄,待蘸饱后,笔尖向内&#xff0…

stm32程序怎么设置apb2总线时钟_stm32学习笔记

整理了一些STM32相关知识点,平时有空可以看看,如果是面试STM32相关工作的也可以看看。相信对你一定会有所帮助的。1、AHB系统总线分为APB1(36MHz)和APB2(72MHz),其中2>1,意思是AP…

JAVA进阶开发之(二维数组)

1、二维数组其实是一个特殊的一维数组,特殊在这个二维数组中每一个元素是一个一维数组 2、就是一维数组里面都是一样的元素,二维数组就是把元素换成了一维数组 3、实际开发中,使用最多的就是一维数组,二维数组很少使用&#xff0c…

java steam 去重_Java中对List去重, Stream去重

问题当下互联网技术成熟,越来越多的趋向去中心化、分布式、流计算,使得很多以前在数据库侧做的事情放到了Java端。今天有人问道,如果数据库字段没有索引,那么应该如何根据该字段去重?大家都一致认为用Java来做&#xf…

python语言中包含的标准数据类型_Python对象——标准类型的分类

如果让我们最啰嗦的描述标准类型,我们也许会称它们是Python 的“基本内建数据对象原始类型”。 z “基本”,是指这些类型都是Python 提供的标准或核心类型。 z “内建”,是由于这些类型是Python 默认就提供的 z “数据”,因为他们…

JAVA进阶级开发之(Array工具类)

目录 常见的算法: 1、排序算法: 2、查找算法: 3、算法: 4、冒泡排序算法(理论) 4、选择排序算法(理论) 5、数组的元素查找: 6、介绍一下java.util.Arrays工具类 …

css怎么使元素绝对定位有过度效果_CSS定位属性Position实例分析

CSS所提供的Position定位属性在进行网页页面布局过程中非常重要,通过使用Position定位属性可以实现对页面元素进行精确定位,最终达到较好的设计及页面展示效果。本文主要针对Position属性设计教学案例,实现教学。CSS学习教程Position定位属性…

JAVA进阶开发之(String字符串的存储原理)

我们现在开始学习的就是一些工具类 这些工具类只需要我们学会查阅帮助文档进行开发就可以实现很多功能 例如:我们查看工具类String 关于java JDK中内置的一个类:java.lang.String 1、String表示字符串类型,属于引用数据类型,不属…

sqlmap使用_sqlmap于sql labs下使用

本文主要是写sqlmap在sql labs下的使用学习记录,目的在于模拟黑盒测试,不太在意原理。(当然,原理还是要学习好才这么干的。)不得不说收获还是蛮大的。首先推荐下sqlmap使用的学习视频。1-9:python sqlmap.p…

cad解除块的快捷命令_47个快捷键50个CAD技巧,快收藏起来

终于知道为什么别人用CAD总比我快了,原来他们早就掌握了这些实用的CAD技巧,还没看完我就默默地转了,总有用得到的时候。0147个快捷键1. 创建直线的快捷方式是L空格2. 创建圆的快捷方式是C空格3. 创建圆弧的快捷方式是A空格4. 创建矩形的快捷方…