在ASP.NET Core微服务架构下使用数据库切分和扩展, 并用JMeter进行负载测试

原文链接:https://itnext.io/how-to-scale-an-asp-net-core-microservice-and-sharded-database-load-test-with-jmeter-1a8c7292e7e3

现在,您将扩展应用程序并运行多个微服务和数据库的容器实例。您将使用Docker Compose和HAProxy负载均衡器: 

然后运行JMeter负载测试,以查看应用程序在使用不同数量的实例时如何伸缩。最后,您还将发布和接收来自RabbitMQ的消息。

1.运行多个数据库和微服务实例

将微服务容器化

使用上一篇文章中的代码和环境作为基础。

将Visual Studio解决方案资源管理器中的文件“Dockerfile”重命名为“dockerfile”(第一个字符小写)。然后右键单击Docker文件并选择“创建Docker镜像”。这也会将镜像推送到docker。

在Docker中运行应用程序

创建docker-compose.yml文件:

version: '2'
services:webservice:image: 'postservice:latest'   cpus: 0.5scale: 4environment:- PostDbConnectionStrings__Shard0=server=database0; port=3306; database=post; user=root; password=pw; Persist Security Info=False; Connect Timeout=300      - PostDbConnectionStrings__Shard1=server=database1; port=3306; database=post; user=root; password=pw; Persist Security Info=False; Connect Timeout=300   #  - PostDbConnectionStrings__Shard2=server=database2; port=3306; database=post; user=root; password=pw; Persist Security Info=False; Connect Timeout=300   loadbalancer:image: dockercloud/haproxylinks:- webservicevolumes:- /var/run/docker.sock:/var/run/docker.sockports:- 5001:80database0:image: 'mysql:5.6'cpus: 0.5ports:- 3312:3306environment:- MYSQL_ROOT_PASSWORD=pwdatabase1:image: 'mysql:5.6'cpus: 0.5ports:- 3313:3306environment:- MYSQL_ROOT_PASSWORD=pwdatabase2:image: 'mysql:5.6'cpus: 0.5ports:- 3314:3306environment:- MYSQL_ROOT_PASSWORD=pw    

docker文件配置3个数据库容器和4个Post服务实例。目前,Post服务实例只使用了2个数据库。稍后可以删除注释以使用第三个数据库。HAProxy负载均衡器公开端口5001上的Post服务容器。

每个容器有0.5cpu的限制,以帮助在本地机器上进行实际的负载测试。在我的12核笔记本上,仍然有未使用的资源,因此添加更多的服务和数据库实例可以带来好处。

启动应用程序

C:\dev>docker-compose up -d

初始化数据库

打开浏览器访问http://localhost:5001/swagger/index.html

初始化至少有100个用户和10个类别的数据库。

您可以创建更多的用户和类别,但由于CPU的限制,这需要一些时间。

2.缩放应用程序并使用JMeter进行负载测试

创建JMeter测试计划

安装并打开JMeter。

创建测试计划和线程组: 

32个线程是一个很好的开始。在线程的每个循环上,它添加一个帖子并读取10个帖子。

添加HTTP请求以创建帖子: 

  • Servername: localhost

  • Port: 5001

  • HTTP-Request: POST

  • Path: /api/Posts

  • Body Data:

{"title": "MyTitle","content": "MyContent","userId": ${__Random(1,100)},"categoryId": "Category${__Random(1,10)}"
}

它为随机用户(ID 1–100)和类别(1–10)创建一个帖子。

向请求添加内容类型application/json HTTP头: 

随机阅读10篇文章:

  • Servername: localhost

  • Port: 5001

  • HTTP-Request: GET

  • Path: /api/Posts

  • Send Parameters with the Request:

NAME | VALUE | CONTENT-TYPE
category | Category${__Random(1,10)} | text/plain
count | 10 | text/plain

运行测试

在测试运行时查看摘要报告: 

等待一段时间,直到平均值(响应时间)和吞吐量稳定。

修改测试参数

停止JMeter中的测试。

您可以更改测试计划中的线程。将它们提升到64或128个线程。或者将线程数减少到16甚至1。

在编辑docker-compose.yml之前关闭应用程序:

C:\dev>docker-compose down

您可以通过“scale”属性更改Post服务实例的数量。更改数据库数的“environment”属性(添加/删除注释):

更改后启动应用程序:

C:\dev>docker-compose up -d

数据库服务器运行需要一段时间。并记住初始化数据库: 

3.试验结果示例

在我的电脑上,两个Post服务与一个数据库的比率会产生很好的效果。我可以将它扩展到六个服务和三个数据库,直到我的硬件达到极限。平均时间保持在500ms以下。增加高于64的线程会产生错误。

结果取决于我的环境和CPU限制。它们在你的机器上是不同的。

每秒吞吐量与实例数成比例: 

在CPU受限的容器中,每秒305个请求,每天大约有2500万个请求。这将允许100万用户每天写10篇帖子和阅读帖子。当然,现实生活中的应用程序会更复杂,但我希望示例能够显示基本的思想。

4.微服务间通信和复制用户更改

Post服务通过Rabbitmq消息从User微服务接收对用户的更改: 

你也可以用JMeter来模拟。

创建RabbitMQ容器

发出以下命令(在控制台窗口中)以启动具有管理UI的RabbitMQ容器

C:\dev>docker run -d  -p 15672:15672 -p 5672:5672 -e RABBITMQ_DEFAULT_USER=test -e RABBITMQ_DEFAULT_PASS=test --hostname my-rabbit --name some-rabbit rabbitmq:3-management

该命令将“test”配置为用户和密码,而不是默认的Guest账户。Guest仅限于localhost,但在docker中,容器位于不同的主机上。

修改后微服务

在Visual Studio中安装RabbitMQ.Client NuGet包。

添加IntegrationEventListenerService类:

using Microsoft.Extensions.Hosting;
using Newtonsoft.Json.Linq;
using PostService.Data;
using PostService.Entities;
using RabbitMQ.Client;
using RabbitMQ.Client.Events;
using System;
using System.Collections.Generic;
using System.Text;
using System.Threading;
using System.Threading.Tasks;namespace PostService
{public class IntegrationEventListenerService : BackgroundService{private async Task ListenForIntegrationEvents(CancellationToken stoppingToken){try{ConnectionFactory factory = new ConnectionFactory{UserName = "test",Password = "test"};var endpoints = new System.Collections.Generic.List<AmqpTcpEndpoint> {new AmqpTcpEndpoint("host.docker.internal"),new AmqpTcpEndpoint("localhost")};var connection = factory.CreateConnection(endpoints);var channel = connection.CreateModel();var consumer = new EventingBasicConsumer(channel);var arguments = new Dictionary<String, object>{{ "x-single-active-consumer", true }};channel.QueueDeclare("user.postservicesingleactiveconsumer", false, false, false, arguments);channel.ExchangeDeclare("userloadtest", "fanout");channel.QueueBind("user.postservicesingleactiveconsumer", "userloadtest", "");consumer.Received += (model, ea) =>{var body = ea.Body.ToArray();var message = Encoding.UTF8.GetString(body);Console.WriteLine("IntegrationEvent {0}", message);var data = JObject.Parse(message);var type = ea.RoutingKey;var user = new User(){ID = data["id"].Value<int>(),Name = data["name"].Value<string>(),Version = data["version"].Value<int>()};if (type == "user.add"){_dataAccess.AddUser(user);}else if (type == "user.update"){_dataAccess.UpdateUser(user);}channel.BasicAck(ea.DeliveryTag, false);};channel.BasicConsume(queue: "user.postservicesingleactiveconsumer",autoAck: false,consumer: consumer);try{await Task.Delay(Timeout.Infinite, stoppingToken);}catch (OperationCanceledException){Console.WriteLine("Shutting down.");}}catch (Exception e){Console.WriteLine(e.ToString());}}private readonly DataAccess _dataAccess;public IntegrationEventListenerService(DataAccess dataAccess){_dataAccess = dataAccess;}protected override async Task ExecuteAsync(CancellationToken stoppingToken){while (!stoppingToken.IsCancellationRequested){await ListenForIntegrationEvents(stoppingToken);}}}
}

后台服务使用“test”帐户访问RabbitMQ和host.docker.internal以及localhost作为主机。这允许从容器和Visual Studio调试器内部进行连接。

单个活动的消费者保证只有一个Post-service实例接收消息。

如果活动的实例崩溃,那么下一个实例将接管。稍后可以通过停止docker中当前接收的实例来尝试。

如果exchange和管道尚不存在,则代码将创建它们。它使用手动确认。

修改Startup.cs以运行IntegrationEventListenerService:

public void ConfigureServices(IServiceCollection services){services.AddControllers();services.AddSwaggerGen(c =>{c.SwaggerDoc("v1", new OpenApiInfo { Title = "PostService", Version = "v1" });});services.AddSingleton<DataAccess>();services.AddSingleton<IntegrationEventListenerService>();services.AddHostedService<IntegrationEventListenerService>(provider => provider.GetService<IntegrationEventListenerService>());}

在Docker中运行已更改的微服务

关闭docker中的应用程序:

C:\dev>docker-compose down

编译Post服务,将其容器化并发布到docker。

更改后启动应用程序:

C:\dev>docker-compose up -d

数据库服务器运行需要一段时间。并记住初始化数据库: 

修改JMeter测试

在JMeter测试计划中,添加一个只有一个线程的线程组: 

添加计时器:

恒定计时器将测试限制为每秒一条消息。每秒一条消息非常常见。即使半年内有100万用户注册,每分钟也只有4个新用户。

添加HTTP请求以将消息发布到RabbitMQ: 

  • Servername: localhost

  • Port: 15672

  • HTTP-Request: POST

  • Path: /api/exchanges/%2F/userloadtest/publish

  • Body Data:

{"properties":{},"routing_key":"user.update","payload":"{id:1,name:\"NewName${__counter(TRUE,)}\",version:${__counter(TRUE,)}}","payload_encoding":"string"
}

用户实体有一个version字段来处理无序消息。为了保持测试的简单性,它只更新单个用户并增加version字段的值。性能影响应该保持不变。

将Content-Type和对RabbitMQ的授权添加到HTTP头。 

Content-Type | application/json
Authorization | Basic dGVzdDp0ZXN0

*“dGVzdDp0ZXN0”是base64编码的用户和密码“test”。

运行测试

吞吐量应该与前面的测试类似。

您还可以通过查看控制台输出来识别docker中的活动的RabbitMQ消费者。您可以停止容器,则另一个实例将接管消息处理。

5.最后的想法和展望

您创建了一个微服务架构并实现了应用层数据库分片。然后用多个容器实例扩展应用程序并对其进行负载测试。您还用RabbitMQ处理了用户更改事件。

这只是一个示例应用程序。您必须调整代码才能在生产环境中使用它。

下一步是什么?要获取帖子最多的前10个类别的数据,需要查询多个数据库实例。这可能会导致延迟和性能下降。Redis可以是查询聚合数据的解决方案。我将在下一篇文章中展示它。

欢迎关注我的个人公众号”My IO“

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/301170.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

每日一笑 | 周杰伦到底什么时候才发新专辑?

全世界只有3.14 % 的人关注了数据与算法之美&#xff08;图源网络&#xff0c;侵权删&#xff09;

GARFIELD@10-18-2004

子非猫转载于:https://www.cnblogs.com/rexhost/archive/2004/10/18/53799.html

【荐】牛逼的WPF动画库:XamlFlair

【荐】牛逼的WPF动画库&#xff1a;XamlFlair原文链接&#xff1a;https://github.com/XamlFlair/XamlFlair翻译&#xff1a;沙漠尽头的狼(本文未全文翻译&#xff0c;建议阅读原文了解更多)XamlFlairXamlFlair库的目标是简化常见动画的实现&#xff0c;并允许开发人员使用几行…

java字符串如何输出_java字符串如何输出

在Java编程中&#xff0c;我们常常用 System.out.println(); 来输出字符串。System.out.println();System是一个类&#xff0c;继承自根类Objectout是类PrintStream类实例化的一个对象&#xff0c;且是System类的静态成员变量println()是类PrintStream的成员方法&#xff0c;被…

简单易懂的自动驾驶科普知识

全世界只有3.14 % 的人关注了数据与算法之美有不少人问我人工智能和自动驾驶的技术问题&#xff0c;我作为一个主业是后端开发的老码农可是回答不了啊&#xff01;今天转载一篇自动驾驶大拿写的文章&#xff0c;学习一下。先来一张各大车企自动驾驶技术的分级图&#xff0c;大致…

WPF TextBox限制只能输入数字的两种方法

文本框中只能输入数字&#xff0c;一个常见的功能喽&#xff0c;今天就来看看如何实现它~下面就看看代码思路都写在xaml里面了&#xff0c;MainWindow.xaml:<Window x:Class"wpfcore.MainWindow"xmlns"http://schemas.microsoft.com/winfx/2006/xaml/present…

国家特级数学教授李毓佩:我们欠孩子真正的数学阅读 !

▲数据汪特别推荐点击上图进入玩酷屋说到数学&#xff0c;我想起了13年一场轰动行业各界的“数学无用论”&#xff01;那时微博上有个话题叫做#让数学滚出高考#&#xff0c;超过7成网友都表示支持&#xff0c;这可怕的比例就能说明在中国由于数学差导致命运被洗牌的真不在少数……

程序员都想,却不敢做的事?我来!

一个 “实用” 的好命令&#xff0c;我不得试试&#xff1f;大家好&#xff0c;我是鱼皮。在编程届&#xff0c;有一个家喻户晓的实用 Linux 命令&#xff1a;rm -rf / 。据说&#xff0c;此命令一旦执行成功&#xff0c;就会给人带来快乐&#xff0c;是一个善良的好命令&#…

也来谈谈这致命的手机充电器

这两天有很多关于因使用iPhone在充电时打电话被电死的讨论&#xff0c;因此这里也来谈谈几点。 手机充电器的工作原理 刚好前段时间拆了两个充电器&#xff0c;看下里面的电路就明白了。鉴于网络上不明真相出来误导人的特别多&#xff0c;很多网站竟然还有文章说手机充电器里没…

每日一笑 | 一些关于学编程的领悟

全世界只有3.14 % 的人关注了数据与算法之美&#xff08;图源网络&#xff0c;侵权删&#xff09;

java基础变量_Java基础语法之变量和常量

上行没有"{"时&#xff0c;下行代码与上行首字母对齐标识符概述在Java中对变量、常量、函数和语句块都是有名字的&#xff0c;他们的名字统称为Java标识符。是为类、对象、方法、变量、接口和自定义数据类型命名的。组成标识符是由数字、字母、下划线(_)和美元符($)或…

GARFIELD@01-07-2005

completist 转载于:https://www.cnblogs.com/rexhost/archive/2005/01/07/88107.html

非常不错 Hadoop 的HDFS (Hadoop集群(第8期)_HDFS初探之旅)

1、HDFS简介 HDFS&#xff08;Hadoop Distributed File System&#xff09;是Hadoop项目的核心子项目&#xff0c;是分布式计算中数据存储管理的基础&#xff0c;是基于流数据模式访问和处理超大文件的需求而开发的&#xff0c;可以运行于廉价的商用服务器上。它所具有的高容错…

.net core 浅克隆和深克隆/浅拷贝和深拷贝

除非语言里只有基础类型&#xff0c;没有引用类型&#xff0c;否则用任何一种编程语言克隆对象都是很棘手的事情。1、前言"老沉&#xff0c;什么是深克隆&#xff0c;什么是浅克隆?"“哈&#xff0c;迷茫了&#xff1f;这深深浅浅的体验是不是把你搞晕了&#xff1f…

中国三代核电最新进展;AI助力发现系外行星;腾讯发现特斯拉系统漏洞;论文剽窃被撤销学位;金立破产债权达173亿;这就是今日大新闻...

今天是4月3日农历二月廿八今天星期三最近上班老是有人来推销办理信用卡是谁把我缺钱花的消息透露出去了下面是今天的大新闻中国发布三代核电最新进展&#xff08;环球时报&#xff09;由中国核能行业协会主办的中国核能可持续发展论坛1日在京举行&#xff0c;多位专家现场发布了…

java对象模型是什么_蓝石榴_个人博客_JVM内存结构、Java内存模型、Java对象模型...

JVM内存结构我们都知道&#xff0c;Java代码是要运行在虚拟机上的&#xff0c;而虚拟机在执行Java程序的过程中会把所管理的内存划分为若干个不同的数据区域&#xff0c;这些区域都有各自的用途。其中有些区域随着虚拟机进程的启动而存在&#xff0c;而有些区域则依赖用户线程的…

使用微信云托管快速部署一个.Net Core项目(一)

前几天微信将小程序开发者工具内的云托管升级为微信云托管&#xff0c;新增了很多诸如OpenApi、MySql数据库、流水线构建、web控制台等能力。看文档还是蛮激动的&#xff0c;对开发者来说确实是个好消息&#xff0c;因为之前的一些业务逻辑大都写在云函数或者部署在服务器里面&…

中国禁止洋垃圾后,韩国这座垃圾山已经烧了3个月,全部烧完还要5年!

全世界只有3.14 % 的人关注了数据与算法之美2017年5月&#xff0c;韩国洛东江畔的樱花&#xff08;图片来源&#xff1a;东方IC&#xff09;去年平昌冬奥会&#xff0c;由5名来自义城郡的姑娘组成的韩国冰壶队战胜各路强手&#xff0c;夺得亚军&#xff0c;这让义城郡这座风景秀…

zendframework配置篇

1. 重写配置 httpd.conf配置修改 LoadModule rewrite_module modules/mod_rewrite.so <Directory "D:\PHPProject\MVCA\public"> AllowOverride All </Directory> 2.application.config.php中添加模块&#xff0c;如 Album,紧跟Application后面

ADO.NET 2.0 中的新增 DataSet 功能

发布日期&#xff1a; 1/13/2005| 更新日期&#xff1a; 1/13/2005 Jackie Goldstein Renaissance Computer Systems 适用于&#xff1a; Microsoft ADO.NET 2.0 Visual Basic 编程语言 摘要&#xff1a;了解有关 .NET Framework DataSet 类以及与它密切相关的类中的新增 ADO…