一个实时收集MySql变更记录的组件CanalSharp.AspNetCore

640?wx_fmt=gif

一、关于CanalSharp

  CanalSharp 是阿里巴巴开源项目 Canal 的 .NET 客户端。为 .NET 开发者提供一个更友好的使用 Canal 的方式。Canal 是mysql数据库binlog的增量订阅&消费组件。

  CanalSharp 是 Canal 的 .NET 客户端,它与 Canal 是采用的Socket来进行通信的,传输协议是TCP,交互协议采用的是 Google Protocol Buffer 3.0。

  CanalSharp的作者是园子里的晓晨WithLin

  更多关于CanalSharp的信息请浏览:https://github.com/CanalClient/CanalSharp

  更多关于Canal的信息请浏览:https://github.com/alibaba/canal

二、关于CanalSharp.AspNetCore

  CanalSharp.AspNetCore是一个基于CanalSharp的适用于ASP.NET Core的一个后台任务组件,它可以随着ASP.NET Core实例的启动而启动,目前采用轮询的方式对Canal Server进行监听(我比较懒,目前主要是借鉴了晓晨的Demo来改写的),获得MySql行更改(RowChange)后写入MySql指定的记录表中(canal.logs,CanalSharp.AspNetCore会自动帮我们创建这张记录表)。当然,这只是我目前的业务需求,完全可以改为事件订阅+自定义输出的方式进行完善,这是后话了。

  这个项目的GitHub地址为:https://github.com/XiLife-OSPC/CanalSharp.AspNetCore

三、使用前的准备工作

3.1 MySql

  当前的canal开源版本支持5.7及以下的版本,针对阿里云RDS账号默认已经有binlog dump权限,不需要任何权限或者binlog设置,可以直接跳过这一步。开启binlog写入功能,并且配置binlog模式为row。

  修改C:\ProgramData\MySQL\MySQL Server 5.7\my.ini的以下内容

log-bin=mysql-binbinlog-format=Rowserver-id=1

  重启数据库服务,测试修改是否生效

show variables like 'binlog_format';show variables like 'log_bin';

  创建一个用户Canal用于获取binlog的用户并授予权限

CREATE USER canal IDENTIFIED BY canal;GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO canal @'%';FLUSH PRIVILEGES;

3.2 Canal-Server

  本文通过Docker方式来启动Canal-Server,也可以不通过Docker方式来,更多内容可以参考Canal的github。

  通过Docker拉取Canal镜像:

docker pull canal/canal-server:v1.1.2

  通过以下命令启动Canal实例:

docker run --restart=always --name core_productservice_canal \-e canal.instance.master.address=192.168.16.150:3306 \-e canal.instance.dbUsername=canal \-e canal.instance.dbPassword=canal \-e canal.destinations=products \-e canal.instance.defaultDatabaseName=products_dev \-e canal.instance.filter.regex=products_dev\\..* \-e canal.instance.filter.black.regex=products_dev\\.canal.* \-p 8001:11111 \-d canal/canal-server:v1.1.2

PS:其中name、destinations、defaultDatabaseName、filter根据要监听的业务数据库按需修改。

四、开始使用CanalSharp.AspNetCore

4.1 安装Nuget包

  通过NuGet或项目引用添加该组件,搜索CanalSharp.AspNetCore

640?wx_fmt=png

  目前最新版本为0.0.3,支持.NET Core 2.1及以上,暂未弄成.NET Standard类库。

4.2 添加配置文件项

  在配置文件(appSettings.json)中添加以下配置项:

"Canal": {    "Enabled": true,    "LogSource": "Core.Product.Canal",    "ServerIP": "192.168.16.190", // Canal-Server所在的服务器IP    "ServerPort": 8001, // Canal-Server所在的服务器Port    "Destination": "products", // 建议与Canal-Server中配置的destination保持一致    "Filter": "products_dev\\..*", // 建议与Canal-Server中配置的filter保持一致    "SleepTime": 50, // SleepTime越短监听频率越高但也越耗CPU    "BufferSize": 2048, // 每次监听获取的数据量大小,单位为字节    "Output": {      "ConnStr": "Server=192.168.16.150;Port=3306;Database=products_dev;Uid=dev;Pwd=xdp" // 要输出的日志记录表所在的数据连接字符串    }  }

4.3 在Startup类中注册

  在StartUp类中的Configure方法中加入以下代码行:

public void Configure(IApplicationBuilder app, IHostingEnvironment env,            IApplicationLifetime appLifetime, ILogger<ICanalClientHandler> defaultLogger){    ......    app.RegisterCanalSharpClient(appLifetime, Configuration, defaultLogger);}

五、效果演示

  当在指定要监听的数据库对某张表的某行数据进行Update或Delete操作后,又或者进行Insert行操作后,canal.logs表会自动记录变更的记录数据如下图:

640?wx_fmt=png PS:INSERT操作会记录新增的数据行数据到CurrentValue列,DELETE操作会记录删除的数据行数据到PreviousValue列,UPDATE操作则会记录修改前PreviousValue和修改后的值CurrentValue。对于INSERT和DELETE会生成JSON格式的字符串,例如“{"Id":"12312","Name":"精装主材","Description":"测试描述",....}”这种。

六、示例项目

点这里:CanalSharp.AspNetCore.Sample

Code有点乱,还没时间做重构和优化,先就这样吧。

参考资料

李志强,《CanalSharp-mysql数据库binlog的增量订阅&消费组件Canal的.NET客户端

CanalSharp GitHub



640?wx_fmt=jpeg


本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/316249.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Codeforces Round #740 (Div. 2, based on VK Cup 2021 - Final (Engine))

Codeforces Round #740 (Div. 2, based on VK Cup 2021 - Final (Engine)) 题号题目知识点ASimply Strange Sort暴力BCharmed by the GameCDeep Down BelowD1Up the Strip (simplified version)D2Up the StripEBottom-Tier ReversalsFTop-Notch Insertions A 直接暴力就行&am…

[Abp vNext 源码分析] - 1. 框架启动流程分析

一、简要说明本篇文章主要剖析与讲解 Abp vNext 在 Web API 项目下的启动流程&#xff0c;让大家了解整个 Abp vNext 框架是如何运作的。总的来说 &#xff0c;Abp vNext 比起 ABP 框架更加精简。因为在 vNext 版本当中&#xff0c;原来归属于 Abp 库的许多内置的基本组件 (组织…

cf1561B. Charmed by the Game

cf1561B. Charmed by the Game 题意&#xff1a; 两人轮流发球&#xff0c;有两种得分的情况&#xff0c;一个是自己发球的回合得分&#xff0c;叫做"holds"&#xff0c;另一种是在对方发球的回合得分&#xff0c;叫做"breaks"&#xff0c;现在给出比赛结…

使用 MSIX 打包 DotNetCore 3.0 客户端程序

如何你希望你的 WPF 程序能够以 Windows 的保护机制保护起来&#xff0c;不被轻易反编译的话&#xff0c;那么这篇文章应该能帮到你。介绍MSIX 是微软于去年的 Windows 开发者日峰会 上推出的全新应用打包解决方案。其目的是取代旧式的软件打包方式&#xff0c;可用于 Win32、W…

cf1561C. Deep Down Below

cf1561C. Deep Down Below 题意&#xff1a; 有个英雄&#xff0c;英雄有自己的力量值&#xff0c;有n个洞穴&#xff0c;每个洞穴有ki个怪物&#xff0c;每个怪物有自己的血量&#xff0c;当你力量值大于怪物血量&#xff0c;你就杀死他&#xff0c;否则你就失败&#xff0c…

使用 C# 和 Blazor 进行全栈开发

Blazor 是将 C# 引入浏览器的 Microsoft 试验框架&#xff0c;正好可以填补欠缺的 C# 一环。如今&#xff0c;C# 程序员可以编写桌面、服务器端 Web、云、电话、平板电脑、手表、电视和 IoT 应用程序。Blazor 填补了欠缺的一环&#xff0c;C# 开发人员现在可以直接在用户浏览器…

AWS vs K8s 是新的 Windows vs Linux

作者&#xff1a;Ian Miell是开源程序员、演讲师、作家和博客写手以前……如果你与我一样&#xff0c;年过四十&#xff0c;又在IT行业工作&#xff0c;恐怕还记得每个人使用Windows&#xff0c;一小群但越来越多的人在业余时间埋头编译Linux的年代。Windows用户见此情形会困惑…

cf1561D Up the Strip(D1D2)

cf1561D Up the Strip(D1&&D2) 题意&#xff1a; 一个长度为n的赛道&#xff0c;一开始在n的位置&#xff0c;你要前往到1&#xff0c;每次移动你有两种方式&#xff1a; 在1和x-1之间选择一个整数y&#xff0c;并从位置x移动到位置x-y在2和x之间选择一个整数z&…

Asp.Net Core中的静态文件-12

目录本文出自《从零开始学 ASP.NET CORE MVC》目录 推荐文章&#xff1a;配置 ASP.NET Core 请求(Request)处理管道Asp.Net Core 中的静态文件在这个视频中我们将讨论如何使 ASP.NET Core 应用程序&#xff0c;支持静态文件&#xff0c;如 HTML&#xff0c;图像&#xff0c;CSS…

2018 ICPC Asia Jakarta Regional Contest

2018 ICPC Asia Jakarta Regional Contest 题号题目知识点难度AEdit DistanceBRotating GearCSmart ThiefDIcy LandEArtilleries and Defensive WallsFPopping BalloonsGGo Make It CompleteHLexical Sign SequenceILie DetectorJFuture GenerationKBoomerangsLBinary String

在.net core 中PetaPoco结合EntityFrameworkCore使用codefirst方法进行开发

在.net core开发过程中&#xff0c;使用最多的就是注入方法。但是在.net core使用PetaPoco时&#xff0c;PetaPoco还不支持进行注入方式进行处理一些问题。今天对PetaPoco进行了一些扩展&#xff0c;可以很方便的将PetaPoco进行注入操作&#xff0c;使用和EF很相似&#xff0c;…

F-Pairwise Modulo

d数组是来算&#xff08;x整除y&#xff09;*y中y比x小的数 s数组是算&#xff08;x整除y&#xff09;*y中y比x大的数 &#xff08;x整除y&#xff09;*y 看x对于前面大于他的数是枚举&#xff0c;对于前面小于他的数是d树状数组储存。 d中 x整除y表示x中有多少个y 所以 …

2020 ICPC NAC

2020 ICPC NAC 题号题目知识点难度AAnother Coin Weighing PuzzleBMini BattleshipCBomasDAll KillEGrid GuardianFHopscotch 50GICPC CampHLetter WheelsIEditing ExplosionJLunchtime Name RecallKRooted SubtreesLTomb Raider

【微服务学习】Polly:熔断降级组件

何为熔断降级“熔断器如同电力过载保护器。它可以实现快速失败&#xff0c;如果它在一段时间内侦测到许多类似的错误&#xff0c;会强迫其以后的多个调用快速失败&#xff0c;不再访问远程服务器&#xff0c;从而防止应用程序不断地尝试执行可能会失败的操作&#xff0c;使得应…

A - Junk-Mail Filter HDU - 2473

只是这样合并&#xff0c;分割点的时候就不能分了。 这样合并再加上虚拟节点&#xff0c;那么每个你要求的节点就的下面就不连其他节点了&#xff0c;这样就可以进行删除操作了 #include<iostream> #include<algorithm> #include<cstdio> #include<cstr…

为什么不要使用 async void

问题在使用 Abp 框架的后台作业时&#xff0c;当后台作业抛出异常&#xff0c;会导致整个程序崩溃。在 Abp 框架的底层执行后台作业的时候&#xff0c;有 try/catch 语句块用来捕获后台任务执行时的异常&#xff0c;但是在这里没有生效。原始代码如下&#xff1a;public class …

2018-2019 ICPC Northwestern European Regional Programming Contest (NWERC 2018)

2018-2019 ICPC Northwestern European Regional Programming Contest (NWERC 2018) 题号题目知识点难度AAccess PointsBBrexit NegotiationsCCircuit Board DesignDDate PickupEEquality ControlFFastest SpeedrunGGame DesignHHard DriveIInflationJJinxed BettingKKleptogr…

LCA。。。

树链剖分 #include<cstdio> #include<iostream> #include<cstring> using namespace std; const int N5e510;int h[N],e[2*N],ne[2*N],idx0; void add(int u,int v){e[idx]v,ne[idx]h[u],h[u]idx;return;}int siz[N],de[N],son[N],top[N],fa[N],id[N],num; …

张队长主讲这堂 .NET Core技术培训公开课,太原你约不约

这堂.NET Core技术培训课&#xff0c;你不能错过各位开发者朋友们想必也能体会到&#xff0c;现在市面上关于.NET Core的培训课程少之又少&#xff0c;其中有质量有内容的课程更是凤毛麟角&#xff0c;良师难遇&#xff0c;一课难求。但是现在&#xff0c;机会来了。中微云孵邀…

L :WeChat Walk

详见代码 #include<cstdio> #include<iostream> #include<cstring> #include<vector> #include<map> #include<algorithm> #include<cmath> using namespace std; typedef long long ll; const int N2e510;int h[N],e[N<<1],…