基于abtest思想的流量切换(nginx lua redis)

使用前提:

项目重构了,旧项目还在线上运行,新项目准备替换线上的旧项目

最终目标:

要实现实时切换新旧项目,保证如果新项目上线后有问题,可以立刻快速的将流量切回旧项目

方案:

关于abtest的基本原理本文不再多说,本文重点是实践，先看图
在这里插入图片描述
如上图所示,用户访问的永远都是dns,单独集群部署,由dns上的配置决定后面的访问的集群
旧项目nginx和旧项目tomcat在一组linux上部署
新项目nginx和新项目tomcat在一另组linux上部署

只有旧项目的时候,就是dns直接打到旧项目nginx
升级新项目后,需要将新项目无感知的上线,并换下旧项目

第一步是嵌入新项目nginx,dns将流量打到新项目nginx,再转到旧项目nginx,
稳定后再下掉dns打到旧项目nginx的流量,最终结果就是图中第一步所示

第二步是使用lua模块引入外部redis,在nginx中配置,将新项目nginx的流量可配置的转到新项目tomcat

第三步是备用步骤,如果切到新项目后,发现线上有问题,就可以通过操作redis来控制新项目nginx的负载分配,可以达到几秒内迅速切回旧项目

有人会问,为什么不直接在dns这一层来做负载分配,其实也是可以的,只不过对于大的公司来说,这一层普通开发一般没有操作权限,即使可以通过一些配置完成,其中也经过了很多转换,导致切换一次所耗费的时间达到一分钟以上,而本次想实现的目标是快速切流量,所以用了本地的nginx

具体实现

新项目的nginx–config核心逻辑:

#首先在机器上要安装lua模块,来支持lua语言
lua_package_path "/export/servers/lualib/?.lua;;";
lua_package_cpath "/export/servers/lualib/?.so;;";
resolver 172.16.16.16  10.16.16.16;#这里加载了init.lua和worker.lua
init_by_lua_file        /export/Packages/新项目名/latest/WEB-INF/classes/conf/abtesting/init.lua;
init_worker_by_lua_file   /export/Packages/新项目名/latest/WEB-INF/classes/conf/abtesting/worker.lua;#设置新项目
upstream tomcat_mytomcat01 {server 127.0.0.1:1601  weight=10 max_fails=2 fail_timeout=30s ;
}
#设置旧项目01
upstream tomcat_oldtomcat01 {server XX.XXX.XXX.XX1:80  weight=10 max_fails=2 fail_timeout=30s ;server XX.XXX.XXX.XX2:80  weight=10 max_fails=2 fail_timeout=30s ;
}
#设置旧项目02(原来是两个项目,重构后合成一个项目,所以要有旧项目02)
upstream tomcat_oldtomcat02  {server XX.XXX.XXX.XX3:80  weight=10 max_fails=2 fail_timeout=30s ;server XX.XXX.XXX.XX4:80  weight=10 max_fails=2 fail_timeout=30s ;
}#nginx日志格式
log_format newmain         	'$remote_addr - "$http_x_forwarded_for" - $remote_user [$time_local]''"$request" $status $bytes_sent ''"$http_referer" "$http_user_agent" ''"$gzip_ratio" - "$http_x_proto" - "$host" ';
server {listen          80;server_name     *.*.com ;access_log      /export/servers/nginx/logs/otcfront.jd.com/otcfront.jd.com_access.log newmain;error_log       /export/servers/nginx/logs/otcfront.jd.com/otcfront.jd.com_error.log warn;root /export/Packages/项目名/latest/;#默认流量打在新项目set $default_backend 'tomcat_mytomcat01';location / {proxy_next_upstream     http_500 http_502 http_503 http_504 error timeout invalid_header;proxy_set_header        Host  $host;proxy_set_header        X-Forwarded-For $proxy_add_x_forwarded_for;expires                 0;#首先将默认值给backend,proxy_pass最终会以backend的值为准set $backend $default_backend;#匹配host,判断是否修改backend的值,以(www.zhangs01.com为例,是旧项目01对应的域名)if ($host ~* ^www\.zhangs01\.com$){#先默认将流量打到旧项目上set $backend "tomcat_oldtomcat01 ";#如果读出来在diversion01.lua中有对$backend的值做修改,则使用新的值rewrite_by_lua_file '/export/Packages/新项目名/latest/WEB-INF/classes/conf/abtesting/diversion01.lua';}#匹配host,判断是否修改backend的值,以(www.zhangs02.com为例,是旧项目02对应的域名)if ($host ~* ^www\.zhangs02\.com$){#先默认将流量打到旧项目上set $backend "tomcat_oldtomcat02 ";#如果读出来在diversion02.lua中有对$backend的值做修改,则使用新的值rewrite_by_lua_file '/export/Packages/新项目名/latest/WEB-INF/classes/conf/abtesting/diversion02.lua';}#最终打到backend对应的地方proxy_pass            http://$backend;}location /logs/ {autoindex       off;deny all;}
}

上面一段nginx中涉及到四个lua文件
init.lua—> 初始化参数
worker.lua—> 真正的分流逻辑
diversion01.lua—> 旧项目01的backend设置diversion02.lua−−−>旧项目02的backend设置 diversion02.lua---> 旧项目02的backend设置diversion02.lua−−−>旧项目02的backend设置

init.lua核心代码:

--定义全局变量
global_configs = {--在diversion01.lua中会用到这个值["divEnable01"] = false,--在diversion02.lua中会用到这个值["divEnable02"] = false,--连接redis的必要参数["redis"] = {ap_host='XXX.XX.XXX',ap_port=XXXX,ap_key='/redis/XXXXXXXXXXXX(redis地址)'}
}

worker.lua核心代码:

--初始化延迟时间,10秒
local start_delay = 10
--定义ngx.timer.at指令,这个指令中可以设置回调函数,回调函数中再执行这个指令,就可以循环起来
local new_timer = ngx.timer.at
local log = ngx.log
local ERR = ngx.ERR
local refresh
local get_redis
local close_redis--初始化两个redis的key,对应的value值是true就代表切到新项目,false就代表切到旧项目
local switch_key_01 = "abtest:switch:global01"
local switch_key_02 = "abtest:switch:global02"--定义获取redis方法
get_redis = function()local redis = require "resty.redis"local red = redis:new()local ok, err = red:connect(global_configs['redis']['ap_host'],global_configs['redis']['ap_port'])if ok and global_configs['redis']['ap_key'] thenok, err = red:auth(global_configs['redis']['ap_key'])endreturn red, ok, err
end--定义关闭redis连接方法
close_redis = function(red)if not red thenreturnendlocal ok, err = red:close()if not ok thenngx.log(ngx.ERR,"fail to close redis connection : ", err)end
end--核心逻辑
local function do_refresh()--获取redislocal red, ok, err = get_redis()--判活if not ok thenlog(ERR, "redis is not ready!")returnend-- refresh global switch01--获取key为"switch_key_01"的value值,用变量enable01保存local enable01, err = red:get(switch_key_01)if err thenlog(ERR, err)elseif ngx.null ~= enable01 then--如果enable01 不为null,并且enable01的值是"true",就将全局变量global_configs["divEnable01"]的值设置成true,否则就是falseglobal_configs["divEnable01"] = ("true" == enable01) and true or falseendend-- refresh global switch02,同理01local enable02, err = red:get(switch_key_02)if err thenlog(ERR, err)elseif ngx.null ~= enableTrade thenglobal_configs["divEnable02"] = ("true" == enable02) and true or falseendendreturn close_redis(red)
end--刷新方法,这里当成一个回调函数来用,被后面的new_timer调用
refresh = function(premature)if not premature thenlog(ERR, "rrrrrrrrrrrrrrrrrrrrrrrrrrrrrrefresh")--调用核心逻辑(从redis中取key,判断value的值,从而确定流量分给谁)do_refresh()--再次调用这个new_time,构成持续循环local ok, e = new_timer(start_delay, refresh)if not ok thenlog(ERR, "failed to create timer: ", e)returnendend
end--第一次调用这里,10秒后调用上面的回调函数
local ok, e = new_timer(start_delay, refresh)
if not ok thenlog(ERR, "failed to create timer: ", e)return
end

diversion01.lua核心代码

--如果init.lua中的全局变量global_configs["divEnable01"]是false,就直接返回
if not global_configs["divEnable01"] thenreturn
end--如果init.lua中的全局变量global_configs["divEnable01"]是true,就将backend 的值设置成tomcat_mytomcat01
--tomcat_mytomcat01 是最一开始在nginx的配置文件中调用的
ngx.var.backend = "tomcat_mytomcat01"

diversion02.lua核心代码

--如果init.lua中的全局变量global_configs["divEnable02"]是false,就直接返回
if not global_configs["divEnable02"] thenreturn
end--如果init.lua中的全局变量global_configs["divEnable02"]是true,就将backend 的值设置成tomcat_mytomcat01
--tomcat_mytomcat01 是最一开始在nginx的配置文件中调用的
ngx.var.backend = "tomcat_mytomcat01"

最后捋一遍:
首先在nginx中加载init.lua,初始化几个全局变量
再加载worker.lua,使用lua回调函数实现循环,实时读取redis中的key的值
根据redis中的值的变化来改变nginx最终负载指向的位置,从而实现实时的控制流量方向

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/500003.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

JavaScript内部实现

JavaScript内部实现

前言 JavaScript 的核心 ECMAScript 描述了该语言的语法和基本对象； DOM 描述了处理网页内容的方法和接口； BOM 描述了与浏览器进行交互的方法和接口。 ECMAScript、DOM 和 BOM 尽管 ECMAScript 是一个重要的标准，但它并不是 JavaScript 唯一…
阅读更多...
jsonp跨域原理,使用以及同源策略

jsonp跨域原理,使用以及同源策略

什么是跨域请求,为什么用跨域 浏览器从一个域名的网页去请求另一个域名的资源时，域名,端口,协议任何一个不同，都算是跨域请求 域名是一个网站的唯一标识,一个域名代表着一个网站以及其对应的服务 服务间调用可以使用基于soa思想的rpc调用,也可以是webs…
阅读更多...
LESS语言简介

LESS语言简介

一、概述 LESS是一种 动态 样式 语言. LESS 将 CSS 赋予了动态语言的特性，如 变量， 继承， 运算， 函数. LESS 既可以在 客户端 上运行 (支持IE 6, Webkit, Firefox)，也可以借助Node.js或者Rhino在服务端运行。 LE…
阅读更多...
非对称加密算法之RSA算法实现

非对称加密算法之RSA算法实现

对称加密，非对称加密，公钥，私钥，RSA这些常常听到的，到底是怎么回事 有个同事问我公钥私钥到底为什么能互相解开，一时语塞，平时都只是知道怎么用，但很少去了解的更细，现在…
阅读更多...
流式计算storm核心组件介绍以及入门案例---跟着就能在本地跑起来的storm项目

流式计算storm核心组件介绍以及入门案例---跟着就能在本地跑起来的storm项目

关于storm的基础,参照我这篇文章:流式计算storm 关于并发和并行,参照我这篇文章:并发和并行 关于storm的并行度解释,参照我这篇文章:storm的并行度解释 关于storm的流分组策略,参照我这篇文章:storm的流分组策略 关于storm的消息可靠机制,参照我这篇文章:storm的消息可靠机制 …
阅读更多...
javascript中的this讲解

javascript中的this讲解

查看this指向的一句话法则：永远指向其所在函数的所有者如果没有所有者时，指向window。理解this的要点：关键在于将函数与函数名分开看待。同一个函数，在不同的执行方法下，会有不同的效果。如何来进行理解呢，…
阅读更多...
HTTP首部---referrer 知识点

HTTP首部---referrer 知识点

Referrer介绍 Referrer网站来路；访问者进入网站任何途径。HTTP Referer是header的一部分，当浏览器向web服务器发出请求的时候，一般会带上Referer,告诉服务器用户从那个页面连接过来的，服务器藉此可以获得一些信息用语处理。 获取…
阅读更多...
JavaScript自执行匿名函数

JavaScript自执行匿名函数

格式：（function(){//代码})();解释：这是相当优雅的代码（如果你首次看见可能会一头雾水：）），包围函数（function(){})的第一对括号向脚本返回未命名的函数，随后一…
阅读更多...
nginx使用gzip压缩文件---lz77算法---Haffman编码

nginx使用gzip压缩文件---lz77算法---Haffman编码

为了提高页面的响应速度,可以从设置 nginx 的 gzip 和缓存这2方面入手,而为ttf,js,css等文件开启 gzip 和缓存能大大减少带宽的消耗. HTTP 的内容编码机制 Accept-Encoding 和 Content-Encoding 是 HTTP 中用来对[采用何种编码格式传输正文]进行协定的一对头部字段. 它的工作…
阅读更多...
Javascript模块化编程

Javascript模块化编程

随着网站逐渐变成"互联网应用程序"，嵌入网页的Javascript代码越来越庞大，越来越复杂。 网页越来越像桌面程序，需要一个团队分工协作、进度管理、单元测试等等......开发者不得不使用软件工程的方法，管理网页的业务逻辑。…
阅读更多...
zookeeper基础整理

zookeeper基础整理

zookeeper简述 ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件 ZooKeeper 使用 Java 所编写，但是支持 Java 和 C 两种编程语言。 提供的功能包括&#xf…
阅读更多...
JS模块化编程require.js简介

JS模块化编程require.js简介

一、为什么要用require.js？ 最早的时候，所有Javascript代码都写在一个文件里面，只要加载这一个文件就够了。后来，代码越来越多，一个文件不够了，必须分成多个文件，依次加载。下面的网页代码&…
阅读更多...
CSS position属性

CSS position属性

目前几乎所有主流的浏览器都支持position属性（"inherit"除外，"inherit"不支持所有包括IE8和之前版本IE浏览器，IE9、IE10还没测试过），以下是w3school对position五个值的解释： 其中absol…
阅读更多...
storm的并行度的解释--- ( 看完就能理解 )

storm的并行度的解释--- ( 看完就能理解 )

关于storm的基础,参照我这篇文章:流式计算storm 关于并发和并行,参照我这篇文章:并发和并行 关于storm的并行度解释,参照我这篇文章:storm的并行度解释 关于storm的流分组策略,参照我这篇文章:storm的流分组策略 关于storm的消息可靠机制,参照我这篇文章:storm的消息可靠机…
阅读更多...
jQuery选择器总结

jQuery选择器总结

jQuery 的选择器可谓之强大无比，这里简单地总结一下常用的元素查找方法 最基本的： $("#myELement") 选择id值等于myElement的元素，id值不能重复在文档中只能有一个id值是myElement所以得到的是唯一的元素 $("div") …
阅读更多...
storm的流分组策略

storm的流分组策略

关于storm的基础,参照我这篇文章:流式计算storm 关于并发和并行,参照我这篇文章:并发和并行 关于storm的并行度解释,参照我这篇文章:storm的并行度解释 关于storm的流分组策略,参照我这篇文章:storm的流分组策略 关于storm的消息可靠机制,参照我这篇文章:storm的消息可靠机…
阅读更多...
CSS串联和后代选择器

CSS串联和后代选择器

串联选择器&#xff1a;作用在同一个标签上复制代码代码如下:<div class”a” id "qq"><span>look at the color</span></div></p> <p>css: #qq.a{….}后代选择器&#xff1a;作用在不同标签上复制代码代码如下:<div id &quo…
阅读更多...
storm消息可靠机制(ack)的原理和使用

storm消息可靠机制(ack)的原理和使用

关于storm的基础,参照我这篇文章:流式计算storm 关于并发和并行,参照我这篇文章:并发和并行 关于storm的并行度解释,参照我这篇文章:storm的并行度解释 关于storm的流分组策略,参照我这篇文章:storm的流分组策略 关于storm的消息可靠机制,参照我这篇文章:storm的消息可靠机…
阅读更多...
JS--Console.log()详解

JS--Console.log()详解

对于JavaScript程序的调试&#xff0c;相比于alert()&#xff0c;使用console.log()是一种更好的方式&#xff0c;原因在于&#xff1a;alert()函数会阻断JavaScript程序的执行&#xff0c;从而造成副作用&#xff1b;而console.log()仅在控制台中打印相关信息&#xff0c;因此…
阅读更多...
订单单量监控v2

订单单量监控v2

前段时间做了一个订单单量监控的项目,已经投入使用了,现在总结一下 前期的想法参考这篇文章 整体使用了storm实时计算框架和redis数据库,还有kafka消息队列 先上效果图,我们可以后期将数据展示出来,明显发现某天00点有单量突变的情况,明显是促销活动导致单量增加了 而后面的报…
阅读更多...
最新文章

Copyright @ 2022~2023