基于openresty构建运维工具链实践

7402aa76aa841d9949d50816b02f9f2c.jpeg

3773f391d75b330d465c60c130d30a88.gif

本文字数:4591

预计阅读时间:25

01

导读

如今OpenResty已广泛被各个互联网公司在实际生产环境中应用,在保留Nginx高并发、高稳定等特性基础上,通过嵌入Lua来提升在负载均衡层的开发效率并保证其高性能。本文主要介绍接口鉴权、流量控制以及记录追踪几个工具在实际生产环境中的应用实践,用于解决实际业务问题,提升业务运维效率,对于Openresty基本原理不再赘述。

1.1 OpenResty简介

OpenResty官网介绍如下:

1、OpenResty是一个基于Nginx与Lua的高性能Web平台,其内部集成了大量精良的Lua库、第三方模块以及大多数的依赖项。用于方便地搭建能够处理超高并发、扩展性极高的动态Web应用、Web服务和动态网关;

2、OpenResty通过汇聚各种设计精良的Nginx模块(主要由OpenResty团队自主开发),从而将Nginx有效地变成一个强大的通用Web应用平台。这样,Web开发人员和系统工程师可以使用Lua脚本语言调动Nginx支持的各种C以及Lua模块,快速构造出足以胜任10K乃至1000K以上单机并发连接的高性能Web应用系统;

3、OpenResty的目标是让你的Web服务直接跑在Nginx服务内部,充分利用Nginx的非阻塞I/O模型,不仅仅对HTTP客户端请求,甚至于对远程后端诸如MySQL、PostgreSQL、Memcached以及Redis等都进行一致的高性能响应;

4、目前,OpenResty已在TikTok、微软、淘宝、腾讯、网易、百度、平安银行以及搜狐等各个行业广泛应用,本文主要对于生产环境的应用实践进行展开描述,对于OpenResty本身的实现原理不再阐述。

02

工具介绍

2.1 接口鉴权

-背景:随着线上环境的日益复杂,服务接口请求很容易被外部拦截,根据拦截的接口请求,执行数据的爬取,外部恶意刷量、攻击等等,对线上服务安全性、稳定性以及可用性造成一定的影响,因此,服务接口安全性需求的也日益增加;

-目标:实现一个通用的、经过简单配置变更即可快速实现指定服务接口接入鉴权处理逻辑,增强服务接口安全性,同时可在不同APP版本之间,实现灵活配置指定是否参与鉴权,参与鉴权使用的key等等,在保证服务接口安全的同时,兼顾老用户的使用体验;

-适用场景:适用于安全性要求相对较低,接口接入鉴权拦截效率高的场景,例如:新闻内容相关服务接口等。而对于安全性要求较高的服务接口则不适用,例如:用户信息相关服务接口等。

2.1.1 实现原理

1、通过WEB端实现APP版本、versionkey、鉴权接口以及鉴权开关的动态管理;

2、Lua初始化指定内存区,动态加载数据库中存储的鉴权接口、鉴权key等相关信息到内存中,供后续处理逻辑使用;

3、客户端版本指定区间范围内固定versionkey,在用户请求时,客户端根据versionkey进行计算生成鉴权key,并拼接到用户请求地址参数后进行下发;

4、用户请求到负载均衡层时,进行用户请求参数解析,对用户请求类型、参数中APP版本、鉴权参数等进行校验,判断用户请求是否参与鉴权;

5、负载均衡层针对参与鉴权的用户请求,进行请求参数解析签名,按照约定算法进行参数排序组装;

6、负载均衡层根据APP版本区间对应的versionkey以及约定的计算算法,计算生成鉴权key,并与客户端下发key进行比对;

7、针对匹配成功的请求进行放行,匹配失败的请求进行拦截并向客户端返回鉴权失败消息。

2.1.2 注意事项

1、versionkey和APP版本区间是1对多的关系,需采用前闭后开区间执行严格对应,防止执行APP版本切换versionkey时导致新版本客户端用户请求鉴权失败;

2、用户请求参数组装,需注意去重、解码、排序,不同的请求类型例如get和post,请求参数格式存在差别,需对请求url或者body体中的参数进行解码、去重、排序后进行鉴权key计算,避免因APP端和负载均衡层参数形式展示不同导致计算的鉴权key不同,影响正常的用户请求;

3、鉴权数据可视化,参与鉴权的接口、鉴权流量,鉴权失败量、鉴权失败原因等需实现可监控告警,及时发现鉴权异常问题,避免因参与鉴权影响正常用户体验;

4、需保留鉴权动态开关功能设置,以便于实现秒级打开/关闭鉴权拦截功能,实现快速鉴权拦截切换,保障线上业务安全性。

2.1.3 处理流程

1、APP接收用户请求,调用具体的服务接口响应本地用户请求;

2、OpenResty源站接收本次请求,进行用户请求参数解析,如是Get请求,则解析请求参数,如是Post请求则解析请求的参数和Body体;

3、进入鉴权判断逻辑之前,首先对解析参数中APP版本进行判断,此次用户请求携带的APP版本是否在参与鉴权的APP版本区间之内,如不在,则正常转发此次用户请求到后端对应服务,响应处理本地请求;

4、如此次用户请求携带的APP版本在鉴权版本区间范围之内,则进一步判断用户请求携带的鉴权参数是否完整,如鉴权参数不全,则向APP返回报错信息:鉴权参数不全;结束本次用户请求的处理过程;

5、如用户请求携带鉴权参数完整,则对本次用户请求的时效性进行判断,如不符合预期,则向APP返回报错信息:用户请求不在有效期内;结束本次用户请求的处理过程;

6、如鉴权参数完整,且在有效期内,则开始根据约定的算法、用户请求参数和app key,计算鉴权key,并与APP下发的鉴权key进行校验对比,如不匹配,则向APP返回报错信息:鉴权key错误;结束本次用户请求的处理过程;

7、如鉴权key校验通过,则顺利完成本次鉴权逻辑处理,转发到后端服务进行响应处理本次用户请求。

鉴权处理流程图:

65881e4e77e9b7af88035f70c638ba86.jpeg

2.1.4 实现简介

2.1.4.1 获取versionkey

根据APP版本获取该版本对应的versionkey,需要注意的是,一个versionkey的有效APP版本区间,例如a版本开始使用key1进行鉴权,到d版本开始切换使用key2,这样key1对应的APP版本区间就是[a, d):

local function get_version_key(version)local version_number = blacklist:get(config.sig_version)local first_version = blacklist:get(config.sig_first_version)local first_version_key = blacklist:get(first_version)local lower_version_key = first_version_keyfor i = 2, version_number, 1 dolocal n = tostring(i)local k = config.sig_version_number_prefix .. nlocal v = blacklist:get(k)if v == nil thenreturn nil, "not found ".. kendif version < v thenreturn lower_version_key, nilendlocal version_key = blacklist:get(v)if version_key == nil thenreturn nil, "not found " .. vendlower_version_key = version_keyendreturn lower_version_key, nilend

2.1.4.2 鉴权拦截功能

针对参与鉴权的用户请求,判断鉴权参数完整性、鉴权key准确性以及鉴权失败拦截信息反馈APP端等:

local function sig_check()local sig_prefix = ngx.var.sig_prefixif sig_prefix == nil or sig_prefix == "" then--ngx.log(ngx.ERR, "sig_prefix not set")returnend-- 鉴权动态开关, 控制是否开启鉴权功能local switch_flag = config.sig_switch .. sig_prefixlocal init_version = blacklist:get(switch_flag)if init_version == nil thenngx.log(ngx.ERR, "switch_flag not set")returnendlocal sig_string, create_errif ngx.var.request_method == "GET" thensig_string, create_err = create_get_method_sig_string()else-- post and 请求格式content_type == "application/json" thensig_string, create_err = create_post_sig_string()sig_string, create_err = create_post_json_method_sig_string()elsereturnendendsig_string = sig_string .. version_key#鉴权计算,使用算法根据实际需求替换字符串“aa”local aa = resty_aa:new()if aa == nil thenngx.log(ngx.ERR, "resty_aa new err ")returnendlocal ok = aa:update(sig_string)if not ok thenngx.log(ngx.ERR, "resty_aa update err ")returnendlocal digest = aa:final()local right_sig = resty_str.to_hex(digest)if right_sig ~= sig thenngx.log(ngx.ERR, "signature failed, right_sig: ", right_sig, " client_sig: ", sig, " sig_string: ", sig_string)end

2.1.4.3 鉴权数据可视化

鉴权监控示例图:

1、参与鉴权接口总计QPS统计样例图:

1f225d62fd5a6123fc60135b3c2ef3cb.png

2、分接口鉴权QPS统计样例图:

e586ae56c9507b6663fc6a199fcd3ad3.png

3、鉴权失败情况统计样例图:

518dad99f2009ad7f04aedfe5aa9534e.png

4、鉴权失败告警信息样例图:

9cd61fd2ba11f439119124f2f885acff.png


2.2 流量控制

当今线上业务服务都采用多IDC或多可用区部署,保障单个IDC或可用区不可用时业务的可用性,如遇到IDC/可用区网络割接、机器维护时,如何快速摘到相关业务流量,保证用户使用不受影响呢?服务异常时,如何快速摘掉一个节点流量保护排查现场,快速恢复服务呢?流量控制工具的设计实现,主要目标就是在负载均衡层可以快速服务摘掉一个节点、一个IDC/可用区的业务流量,满足以上场景使用需求。

2.2.1 实现原理

1、WEB端进行源站节点、需要摘掉的服务节点、IP或者IP段等信息的动态管理维护;

2、Lua实现共享内存区域初始化,加载动态置为down状态的节点信息到共享内存;

3、通过lua的set_peer_down方法,将指定服务节点、IP或者IP段动态置为down/up状态,实现动态摘掉/恢复指定服务节点、指定机器或者指定IDC/可用区的线上流量。

2.2.2 注意事项

1、需注意源站nginx进程多woker之间数据保持同步问题,通过共享内存解决;

2、节点状态监控,实时监控确认节点状态,防止节点状态动态变更失败;

3、节点状态置为down有效期告警管理,避免人工置为down状态摘掉流量后,忘记恢复。

2.2.3 处理流程

1bb3645e01dd1fb4e493fd2b4c71a1a9.jpeg


2.2.4 实现简介

2.2.4.1 共享内存初始化

初始化共享内存,用于存放节点以及节点状态信息,openresty多woker进程,通过共享内存获取节点及状态信息,实现每个woker节点处理请求,获取到的后端集群节点状态数据一致性:

lua_shared_dict healthcheck 1m;lua_shared_dict logger_dict 10m;lua_shared_dict logger_metric_dict 10m;

2.2.4.2 节点状态变更

通过“set_peer_down”将指定节点状态进行变更,控制节点流量开关,这里需要注意针对backup节点需特殊处置,避免未实现完全摘除指定节点流量的目标:

local function set_primary_backup_peer_down(name, addr, is_backup, down_value)local err_msglocal ok = falselocal peersif is_backup thenpeers, err_msg = get_backup_peers(name)elsepeers, err_msg = get_primary_peers(name)endif not peers thenerr_msg = "failed to get servers in upstream "..name.." err: "..err_msgreturn ok, err_msgendfor i, srv in ipairs(peers) dofor k, v in pairs(srv) doif k == "name" and v == addr thenlocal peer_id = i - 1ok, err_msg = set_peer_down(name, is_backup, peer_id, down_value)breakendendendreturn ok, err_msgend

2.3 记录追踪

2.3.1 实现原理

1、WEB端维护CID白名单,控制过滤收录的用户请求日志;

2、Lua开发实现过滤器,实现在Openresty集群,将指定CID用户的所有请求记录进行过滤;

3、Lua实现批处理器,将过滤器处理的请求记录数据批量写入ES集群(这里以ES为例)。

2.3.2 注意事项

1、数据批量处理,杜绝过滤一条处理一条,避免对后端存储ES集群造成读写压力;

2、批处理逻辑设置超时时间,避免因过滤数据较少,导致数据长时间未写入后端存储。

2.3.3 处理流程

e09b5e016493a9d93fb3d10ab2b8685e.jpeg

2.3.4 实现简介

2.3.4.1 全局配置

通过nginx http配置中,进行过滤器全局配置,实现针对整个Openresty集群的用户请求进行过滤处理,避免针对所有接口进行过滤器配置:

log_by_lua_file "/opt/openresty/lualib/logger-plugin/logger.lua";server {set $resp_body "";body_filter_by_lua_file "/opt/openresty/lualib/logger-plugin/filter.lua";}

2.3.4.2 过滤器

过滤器需要设置body体大小,避免因用户请求返回数据较大影响处理效率:

local ngx = ngxlocal string = stringlocal max_size = 51200 -- 50 * 1024 = 50klocal body = string.sub(ngx.arg[1], 1, max_size)ngx.ctx.resp_buffered = (ngx.ctx.resp_buffered or "") .. bodyif ngx.arg[2] thenngx.var.resp_body = ngx.ctx.resp_bufferedend

2.3.4.3 批处理器

批处理限制数据,声明设置批量处理条数限制、处理超时时间设置、后端存储配置以及批量处置的整体body大小限制等等:

local _M = {}_M.conf = {dict = ngx.shared.logger_dict,name = "ES",send_metric_exptime = 3600, -- secondelasticsearch_index = "****",endpoint_addr = "ES地址",-- 失败后,延迟发送时间response_body_max_size = 51200, -- 50 * 1024response_body_max_tag = "response_body_max_tag",retry_delay = 5, -- second-- 发送失败最大次数max_retry_count = 5,-- 设置每批发送日志的最大条数,当日志条数达到设置的最大值时,会自动推送全部日志到 ESbatch_max_size = 1000,batch_max_size_exceeded_metric = "***",batch_log_max_size = 52428800, -- bit, 50 * 1024 * 1024 bit = 50Mbatch_log_max_size_metric = "***",batch_log_max_size_exceeded_metric = "***",-- inactive_timeout 刷新缓冲区的最大时间(以秒为单位),-- 当达到最大的刷新时间时,无论缓冲区中的日志数量是否达到设置的最大条数,-- 也会自动将全部日志推送到 ESinactive_timeout = 10,-- buffer_duration: 必须先处理批次中最旧条目的最长期限(以秒为单位)buffer_duration = 10,}return _M

03

总结

本文主要介绍了鉴权和流量控制工具在生产环境的实践,通过Lua开发实现Openresty端工具链开发实现,在不影响负载均衡层性能的前提下,快速构建运维工具,提升运维工作效率。Openresty在互联网行业有较广泛的应用,本文只是简单介绍了这几个工具的实践,希望能够对大家日常工作起到帮助作用。

参考文档:

1、Openresty:[http://openresty.org/cn/nginx.html]

2、lua-nginx-module:[https://github.com/openresty/lua-nginx-module]

3、ngxreqget_uri_args:[https://github.com/openresty/lua-nginx-module#ngxreqget_uri_args]

4、ngxreqget_post_args:[https://github.com/openresty/lua-nginx-module#ngxreqget_post_args]

5、lua-upstream-nginx-module:[https://github.com/openresty/lua-upstream-nginx-module]

6、set_peer_down:[https://github.com/openresty/lua-upstream-nginx-module#set_peer_down]

7、lua-resty-elasticearch:[https://github.com/midoks/lua-resty-elasticsearch]

8、lua-resty-http:[https://github.com/ledgetech/lua-resty-http]

e1078c059a8057301645c1c97b2fe29f.jpeg

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/748632.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

前端基础——HTML傻瓜式入门(1)

该文章Github地址&#xff1a;https://github.com/AntonyCheng/html-notes 在此介绍一下作者开源的SpringBoot项目初始化模板&#xff08;Github仓库地址&#xff1a;https://github.com/AntonyCheng/spring-boot-init-template & CSDN文章地址&#xff1a;https://blog.c…

ThingsBoard Edge 安装部署

文章目录 一、概述1.官方文档2.部署说明3.安装准备3.1. 克隆服务器3.2.安装 Docker3.3.安装 Java 113.4.安装 PostgreSQL3.5.下载安装包 二、安装部署1.创建 Edge 实例2.创建数据库3.Edge 服务安装3.1.安装服务3.2.配置 Edge3.3.运行安装脚本3.4.重新启动服务 4.访问 Edge5.故障…

html canvas怎么在图片上面加文字

在HTML canvas中&#xff0c;要让文字显示在图片上方&#xff0c;你需要按照以下步骤操作&#xff1a; 首先&#xff0c;使用drawImage()方法将图片绘制到canvas上。 然后&#xff0c;使用fillText()或strokeText()方法在canvas上绘制文本。 以下是一个简单的示例代码&#…

自动驾驶---Motion Planning之构建SLT Driving Corridor

1 背景 在上篇博客《自动驾驶---Motion Planning之Speed Boundary》中,主要介绍了Apollo中Speed Boundary的一些内容,可以构造ST图得到边界信息,最后结合粗糙的速度曲线和路径曲线,即可使用优化的方法求解得到最终的轨迹信息(s,s,s,l,l,l)。 本篇博客笔者主要介绍近…

系统重构后,对项目定制开发的兼容性问题

公司自实施产品线战略以来&#xff0c;基本推翻了全部旧有业务模块。后续以标准产品二次开发的模式进行项目开发。但在涉及到一些旧有系统二期、三期升级改造过程中。不可避免的需要解决旧有系统的客户定制化开发兼容性问题。也就是旧有系统定制开发的模块不能丢弃。重新开发从…

【SQL Server】实验八 综合设计

1 实验目的 了解和掌握数据库设计的有关理论和方法。可以灵活运用数据库设计方法设计一个中小型规模的数据库。 2 实验内容 2.1 数据库概念模型设计 进行需求分析。设计数据库概念模型&#xff0c;画出E-R图。 2.2 数据库逻辑模型设计 根据数据库概念模型设计数据库的逻…

现货大宗商品交易所软件的功能介绍有演示版

现货大宗商品交易所软件是专为大宗商品交易设计的系统平台&#xff0c;其功能涵盖了交易的各个环节&#xff0c;旨在提高交易效率、降低交易成本并促进市场规范化。以下是现货大宗商品交易所软件的主要功能&#xff1a; 用户管理模块&#xff1a; 注册与登录&#xff1a;为新…

量化系统QTYX使用攻略|“盘中战法”篇——监测个股盘口异动,机器人远程提醒(更新2.8.0)...

QTYX简介‍‍‍ 股票量化交易系统QTYX是一个即可以用于学习&#xff0c;也可以用于实战炒股分析的系统。 分享QTYX系统目的是提供给大家一个搭建量化系统的模版&#xff0c;最终帮助大家搭建属于自己的系统。因此我们提供源码&#xff0c;可以根据自己的风格二次开发。 关于QTY…

Javascript抓取京东、淘宝商品数据(商品采集商品详情图片抓取)

之前用的方法&#xff1a; let temp []var lists $(#J_goodsList li.gl-item)$.each(lists,function(idx,item){ temp.push({ id:$(item).data(sku), goods_img:$(item).find(img).attr(src), goods_name:$(item).find(.p-name em).text(), market_price:$(item).fi…

洗眼镜用什么超声波清洗机洗比较好?四款黑马产品集合力荐

对于眼镜佩戴者而言&#xff0c;保持眼镜的清洁不仅关系到舒适的佩戴体验&#xff0c;更直接影响到视觉的清晰度。然而&#xff0c;传统的清洗方法往往难以彻底去除镜片上的污渍、油脂以及细菌&#xff0c;尤其是眼镜的角落和细小缝隙&#xff0c;更是清洁的死角。随着科技的发…

HDS-NAS分配资源并挂载win和linux

1、首先创建系统文件。 选择nas存储池 2、根据自己的需求创建相应的挂载方式 3、window配置 配置成功 最后即可在window系统网络位置映射网络即可&#xff0c; 格式为\\123.3.4.5\test 注&#xff1a;IP地址 4、liunx挂载方式 创建完成之后即可挂载&#xff0c;注意目的主…

数据结构——动态顺序表

数据结构的动态顺序表有以下几个操作&#xff1a;创建&#xff0c;销毁&#xff0c;初始化&#xff0c;增删查改和打印以及内存空间不够时的扩容 本文的宏定义&#xff1a; #define SeqTypeData int 1.动态顺序表的创建 typedef struct SeqListInit{//动态顺序表的创建SeqT…

面试经典-MySQL篇

一、MySQL组成 MySQL数据库的连接池&#xff1a;由一个线程来监听一个连接上请求以及读取请求数据&#xff0c;解析出来一条我们发送过去的SQL语句SQL接口&#xff1a;负责处理接收到的SQL语句查询解析器&#xff1a;让MySQL能看懂SQL语句查询优化器&#xff1a;选择最优的查询…

springboot爱看漫画小程序的设计与实现

摘 要 相比于以前的传统手工管理方式&#xff0c;智能化的管理方式可以大幅降低爱看漫画的运营人员成本&#xff0c;实现了爱看漫画的标准化、制度化、程序化的管理&#xff0c;有效地防止了爱看漫画的随意管理&#xff0c;提高了信息的处理速度和精确度&#xff0c;能够及时、…

双指针算法_复写零

题目&#xff1a; 给一个固定长度的数组arr&#xff0c;将数组中出现的每一个0都复写一遍&#xff0c;并且将其余元素都往右移动 且不要再超过数组长度的位置写入元素&#xff0c;在数组上直接修改 示例&#xff1a; 双数组模拟操作&#xff1a; 从示例来看&#xff0c;因为…

《Learning Hierarchical Modular Networks for Video Captioning》论文笔记

论文信息 原文链接&#xff1a; Learning Hierarchical Modular Networks for Video Captioning | IEEE Journals & Magazine | IEEE Xplore 原文代码 GitHub - MarcusNerva/HMN: [CVPR2022] Official code for Hierarchical Modular Network for Video Captioning. Ou…

GPT3.5、GPT4及Midjourney中转接口ChatGPT系统KEY使用方法

很多使用ChatGPT系统、还有SparkAi、NineAi等系统都存在个比较烦的问题&#xff0c;Openai API 3.5KEY 4.0KEY&#xff0c;Midjourney接口KEY都没有一个稳定的购买或者使用渠道。直连KEY买来还得得建立反代主机&#xff0c;Midjourney接口通过MJ-PROXY-PLUS系统折腾了几天也能使…

linux用git拉取我云端以及git处理冲突

拉取后切换一个跟云端分支(dev)一样的 git branch --set-upstream-toorigin/dev dev 之后就同步了 A在dev分支写了iii,提交 B在dev分支写了hhh,提交,冲突 怎么修改,B把云端的拉下来,随便改改就行

大语言模型RAG-技术概览 (一)

大语言模型RAG-技术概览 (一) 一 RAG概览 检索增强生成&#xff08;Retrieval-AugmentedGeneration, RAG&#xff09;。即大模型在回答问题或生成问题时会先从大量的文档中检索相关的信息&#xff0c;然后基于这些信息进行回答。RAG很好的弥补了传统搜索方法和大模型两类技术…

低压线性恒流LED恒流驱动芯片SM15633EH:用于洗墙灯和线条灯

洗墙灯和线条灯是两种常见的LED照明产品&#xff0c;它们都需要使用LED恒流驱动芯片来确保稳定、可靠的电流供应&#xff0c;从而保证LED的使用寿命和亮度。 对于洗墙灯而言&#xff0c;由于其发出的光线需要覆盖较大的区域&#xff0c;因此需要使用较大功率的LED芯片&#xf…