nginx mirror 流量镜像

        流量镜像 (Traffic Mirroring),也称为流量影子 (Traffic Shadowing),是一种强大的、无风险的测试应用版本的方法,它将实时流量的副本发送给被镜像的服务。

        采用这种方法,您可以搭建一个与原环境类似的环境以进行验收测试,从而提前发现问题。由于镜像流量存在于主服务关键请求路径带外,终端用户在测试全过程不会受到影响。

nginx_http_mirror_module模块特性

利用 mirror 模块,可以将线上实时流量拷贝至其他环境同时不影响源站请求的响应,因为 Nginx 会丢弃 mirror 的响应

mirror 模块可用于以下几个场景:
  • 通过预生产环境测试来观察新系统对生产环境流量的处理能力
  • 复制请求日志以进行安全分析
  • 复制请求用于数据科学研究

将生产环境的流量拷贝到预上线环境或测试环境的好处:

  • 可以验证功能是否正常,以及服务的性能;
  • 用真实有效的流量请求去验证,又不用造数据,不影响线上正常访问;
  • 这跟灰度发布还不太一样,镜像流量不会影响真实流量;
  • 可以用来排查线上问题;
  • 重构,假如服务做了重构,这也是一种测试方式;

Nginx的流量镜像是只复制镜像发送到配置好的后端,但是后端响应返回到nginx之后,nginx是自动丢弃掉的,这个特性就保证了镜像后端的不管任何处理不会影响到正常客户端的请求

复制的镜像请求和原始请求是相关联的,只要镜像请求没有处理完成,原始请求就会被阻塞

Nginx 如何实现流量镜像

        当请求到达 Nginx 时,如果 Nginx 开启了流量镜像功能,就会将请求复制一份,并根据 mirror location 中的配置来处理这份复制的请求。复制的镜像请求和原始请求是相关联的,按照我的理解,只要镜像请求没有处理完成,原始请求就会被阻塞。如果镜像请求响应很缓慢,原始请求就会被阻塞。

Nginx 流量镜像配置

upstream bd_interface {server 10.1.1.1:8080;check interval=3000 rise=2 fall=5 timeout=2000 type=http;check_http_send "HEAD / HTTP/1.0\r\n\r\n";check_http_expect_alive http_2xx http_3xx http_4xx;
}#镜像流量也可以负载均衡
upstream mirror_interface1 {server 10.2.1.1:9090;check interval=3000 rise=2 fall=5 timeout=2000 type=http;check_http_send "HEAD / HTTP/1.0\r\n\r\n";check_http_expect_alive http_2xx http_3xx http_4xx;
}#镜像流量也可以负载均衡
upstream mirror_interface2 {server 10.3.1.1:9090;check interval=3000 rise=2 fall=5 timeout=2000 type=http;check_http_send "HEAD / HTTP/1.0\r\n\r\n";check_http_expect_alive http_2xx http_3xx http_4xx;
}server {listen       80;server_name  xxx;access_log  logs/bd-interface.log  access_json;charset utf8;client_max_body_size 800M;gzip  on;gzip_min_length 5k;gzip_comp_level 8;gzip_types application/javascript text/css text/javascript image/jpeg image/gif image/png application/json;proxy_read_timeout 600s;proxy_connect_timeout   600s;proxy_send_timeout      600s;location / {mirror /mirror1;mirror /mirror2; #两份镜像mirror_request_body on;proxy_http_version 1.1;proxy_pass http://bd_interface;proxy_next_upstream http_500 http_502 http_503 http_504 http_403 http_404 http_429 error timeout invalid_header non_idempotent;proxy_redirect off;proxy_set_header Host $host:$server_port;proxy_set_header X-Real-IP $remote_addr;proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;proxy_connect_timeout    20;proxy_read_timeout       1000;proxy_send_timeout       300;proxy_buffer_size 64k;proxy_buffers   32 32k;proxy_busy_buffers_size 128k;}location /mirror1 {internal; #只有内部请求可以调用proxy_pass http://127.0.0.1:10991$request_uri; #配置镜像日志,mirror本身不支持日志proxy_set_header X-Original-URI $request_uri;}location /mirror2 {internal; #只有内部请求可以调用proxy_pass http://127.0.0.1:10992$request_uri; #配置镜像日志,mirror本身不支持日志proxy_set_header X-Original-URI $request_uri;}#状态监控location /nginx_status {stub_status on;access_log off;}#状态监控location /check_status {check_status;access_log off;}
}server {listen 10992;server_name 127.0.0.1;client_max_body_size 800M;proxy_read_timeout 600s;proxy_connect_timeout   600s;proxy_send_timeout      600s;access_log  logs/bd-interface.log  access_json;location / {proxy_pass http://mirror_interface2;}
}server {listen 10991;server_name 127.0.0.1;client_max_body_size 800M;proxy_read_timeout 600s;proxy_connect_timeout   600s;proxy_send_timeout      600s;access_log  logs/bd-interface.log  access_json;location / {proxy_pass http://mirror_interface1;}
}

Nginx流量拷贝的注意事项

         mirror_request_body/proxy_pass_request_body与Content-Length需配置一致。如果mirror_request_body或者proxy_pass_request_body设置为 off,则Content-Length必须设置为"",因为nginx(mirror_request_body)tomcat(mirror_request_body)处理post请求时,会根据Content-Length获取请求体,如果Content-Length不为空,而由于mirror_request_body或者proxy_pass_request_body设置为off,处理方以为post有内容,当request_body中没有,处理方会一直等待至超时。mirror_request_bodyoffnginx会报upstream请求超时;proxy_pass_request_body为off,tomcat会报异常。

参考文章

Nginx流量镜像 - 掘金

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/776268.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【ARM 嵌入式 C 入门及渐进 18 -- 字符数字转整形函数 atoi 介绍】

请阅读【嵌入式开发学习必备专栏 】 文章目录 字符数字转整形函数 atoiatoi 简单实现 字符数字转整形函数 atoi 在 C 语言中,main 函数能够接收命令行参数。这些参数通过两个参数传递给 main 函数:int argc 和 char *argv[]。argc 是命令行参数的数量&a…

安卓逆向 | JEB静态分析APK

JEB反编译APK-静态审计,找到加密算法 参考来源:https://blog.csdn.net/weixin_38819889/article/details/108910525 apk来源:https://app5.scrape.center/ 软件&工具:JEB / 雷电模拟器 / burpsuite 声明:scrape.ce…

YOLOv9+单目测距(python)

YOLOv9+单目测距(python) 1. 相关配置2. 测距原理和相机标定2.1 测距原理2.2 相机标定3. 相机测距3.1 测距模块3.2 测距添加3.3 主代码4. 实验效果相关链接 1. YOLOV7 + 单目测距(python) 2. YOLOV5 + 单目测距(python)

C#-特性Attribute的定义、使用及常用特性(不定时更新)

目录 一、 特性的定义及使用 1.自定义特性 2.使用特性 3.查找特性名 4.获取相应对象的特性名 二、常用部分特性 一、 特性的定义及使用 1.自定义特性 全继承自Attribute基类(使用前要给自定义特性赋予相关特性) [AttributeUsage(AtrributeTargets.Class|AttributeTar…

MySQL执行计划分析实战:从实例场景出发深度解读各项参数与分析步骤

引言: 在MySQL数据库优化中,理解和分析SQL执行计划是一项至关重要的技能。通过执行计划,我们可以洞察MySQL如何执行SQL查询,以及它选择索引、决定查询顺序和计算行数的方式。本文将通过一个实例场景,详细阐述MySQL执行…

浅模仿小米商城布局(有微调)

CSS文件 *{margin: 0;padding: 0;box-sizing: border-box; }div[class^"h"]{height: 40px; } div[class^"s"]{height: 100px; } .h1{width: 1528px;background-color: green; } .h11{background-color:rgb(8, 220, 8); } .h111{width: 683px;background-c…

ITSS评估过程

基于ITSS标准与《信息技术服务 运行维护 第1部分:通用要求》标准,建立和实施合适企业自身业务需要、同时符合《信息技术服务 运行维护 第1部分:通用要求》标准的服务管理体系,并满足《信息技术服务 运行维护 第1部分:通…

记录服务器被挖矿程序到账cpu爆满(治标不治本)

被入侵,要么是密码泄露,要么是端口攻击。 1.执行top命令。找到进程占用cpu爆满的pid ,然后kill -9 pid。 2.写定时任务执行脚本监测删除 建立清理挖矿脚本文件 #清理挖矿脚本_1: kill_xmrig.shfind / -name "*xmrig*" -exec rm…

【差分约束+并查集】第十三届蓝桥杯省赛C++ A组 Java A组/研究生组《推导部分和》(C++)

【题目描述】 【输入格式】 【输出格式】 【数据范围】 【输入样例】 5 3 3 1 5 15 4 5 9 2 3 5 1 5 1 3 1 2 【输出样例】 15 6 UNKNOWN 【思路】 题解来源&#xff1a;AcWing 4651. $\Huge\color{gold}{推导部分和}$ - AcWing 【代码】 #include<bits/stdc.h> #define…

PostgreSQL FDW(外部表) 简介

1、FDW: 外部表 背景 提供外部数据源的透明访问机制。PostgreSQL fdw(Foreign Data Wrapper)是一种外部访问接口,可以在PG数据库中创建外部表,用户访问的时候与访问本地表的方法一样,支持增删改查。 而数据则是存储在外部,外部可以是一个远程的pg数据库或者其他数据库(…

DateFormat类和SimpleDateFormat类

DateFormat类的作用&#xff1a; 把时间对象转化成指定格式的字符串。反之&#xff0c;把指定格式的字符串转化成时间对象。DateFormat是一个抽象类&#xff0c;一般使用它的子类SimpleFateFormat类来实现。 DateFormat类和SimpleDateFormat类的使用&#xff1a; import java…

一文读懂java的dto、dao、vo、bo、do、po、pojo

一句话导读 在java编程中我们常常需要做数据交换&#xff0c;那么在数据交换过程中就需要使用到实体对象&#xff0c;这就不可避免的使用到vo、dto、po等实体对象&#xff0c;在java中都属于pojo的范畴&#xff0c;至少在不同场景下使用所表达的含义不同&#xff0c;其中常用的…

ConvE算法模型

1.介绍 ConvE 是一种用于知识图谱表示学习的深度学习模型。它是一种基于卷积神经网络&#xff08;Convolutional Neural Network&#xff0c;CNN&#xff09;的模型&#xff0c;用于将实体和关系映射到低维空间中的向量表示。 ConvE 模型的主要思想是将实体和关系表示为低维向…

基于java+springboot+vue实现的成都旅游网系统(文末源码+Lw+ppt)23-358

摘 要 人类现已迈入二十一世纪&#xff0c;科学技术日新月异&#xff0c;经济、资讯等各方面都有了非常大的进步&#xff0c;尤其是资讯与网络技术的飞速发展&#xff0c;对政治、经济、军事、文化等各方面都有了极大的影响。 利用电脑网络的这些便利&#xff0c;发展一套成…

代码随想录算法训练营Day60 ||leetCode 84.柱状图中最大的矩形

84.柱状图中最大的矩形 这题和接雨水的题有些像&#xff0c;只不过此处使用的是递增栈&#xff0c;因为矩形的面积想要增加宽度时&#xff0c;需要考虑两边最低的矩形&#xff0c;而为了让所有数据都参加运算&#xff0c;需要前后补0&#xff0c;来弹出栈里所有元素 class Sol…

15 Games101 - 笔记 - 光线追踪(辐射度量学、BRDF与渲染方程)

15 光线追踪&#xff08;辐射度量学、BRDF与渲染方程&#xff09; 基于物理渲染的基础知识 摘要 本篇文章将会从基于物理渲染(PBR)的动机开始讲起&#xff0c;逐步介绍PBR相关的基础知识&#xff0c;如辐射度量学(怎么用物理量精确的描述光线)&#xff0c;以及通过辐射度量学…

MySQL高阶SQL语句

文章目录 MySQL高阶SQL语句MySQL常用查询1、按关键字排序1.1 语法1.2 ASC和DESC1.3 对数据表中信息进行排序1.3.1 普通排序1.3.2 结合where进行条件过滤1.3.3 对多个字段进行排序 2、区间判断及查询不重复记录2.1 and/or —— 且/或2.1.1 普通查询2.1.2 嵌套/多条件查询 2.2 di…

Chinese-LLaMA-Alpaca-2模型量化部署测试

简介 Chinese-LLaMA-Alpaca-2基于Meta发布的可商用大模型Llama-2开发, 是中文LLaMA&Alpaca大模型的第二期项目. 量化 模型的下载还是应用脚本 bash hfd.sh hfl/chinese-alpaca-2-13b --tool aria2c -x 8应用llama.cpp进行量化, 主要参考该教程. 其中比较折腾的是与BLAS…

在Vue中创建生产和开发环境

官方文档参考&#xff1a;模式和环境变量 | Vue CLI 在Vue中创建生产和开发环境配置&#xff0c;通常是通过环境变量和Webpack的模式来区分。 1.在项目根目录下创建.env文件&#xff0c;用于通用配置。 # .env VUE_APP_API_URLhttps://api.example.com 2.创建一个.env.deve…

FPGA工程师面试时会被HR问到的问题(3)

FPGA工程师面试时会被HR问到的问题&#xff08;3&#xff09; 面试具体问题集锦第三弹来啦&#xff0c;小伙伴们码住&#xff01; 1、你通常如何对待别人的批评&#xff1f; 回答提示&#xff1a;①沈默是金&#xff0c;不必说什么&#xff0c;否则情况更糟&#xff0c;不过…