SmartCode.ETL 这不是先有鸡还是蛋的问题!

继国庆节 SmartCode 正式版（SmartCode.Generator）发布之后，SmartCode 迎来了新的能力 SmartCode.ETL !

SmartCode 正式版从开始发布就从未说过自己仅仅是个代码生成器，这点上从我第一次宣布SmartCode正式开源的文章就可以说明：《SmartCode 不只是代码生成器》，这不仅仅是一句推广语！

SmartCode.Generator

相信不少同学都用过各种代码生成器，这里我就不做详细介绍了，如果想体验 SmartCode.Generator 请至 https://www.cnblogs.com/Ahoo-Wang/p/SmartCode-intro.html 配置好数据库连接，一键生成解决方案。

Why SmartCode.ETL

相信不少已经落地微服务架构方案的同学都会遇到同样的问题：

  1. 业务方的查询需求似乎总是跨微服务DB的

  2. 领导层需要查看的报表数据总是全局的（需要聚合跨微服务DB的）

So SmartCode.ETL

  1. 从多个微服务DB 同步业务聚合查询数据到 all_biz DB （解决：微服务架构一定会遇到的业务方需要跨微服务DB查询的问题）

  2. 从 all_biz DB 同步聚合分析数据到 report DB (解决：领导层查看的报表数据聚合问题)

How SmartCode.ETL

  1. 安装 SmartCode from dotnet-cli

    dotnet tool install --global SmartCode.CLI

  2. 使用 SmartCode.Generator 生成 同步Sql表结构脚本，以及 SmartCode.ETL 构建配置

  3. 执行Sql同步脚本初始化表结构

  4. 使用任务调度（crontab） + SmartCode.ETL 同步分析数据

  5. 通过持久化 etl_task 监控 etl执行情况（目前支持PostgreSql）

简单来说就是SmartCode生成SmartCode，任务调度执行SmartCode命令行。（这真的不是先有鸡还是蛋的问题.....）

SmartCode 插件概览

{  "SmartCode": {    "Version": "v1.16.15",    "Plugins": [{        "Type": "SmartCode.IDataSource,SmartCode",        "ImplType": "SmartCode.NoneDataSource,SmartCode"},{        "Type": "SmartCode.IBuildTask,SmartCode",        "ImplType": "SmartCode.App.BuildTasks.ClearBuildTask,SmartCode.App"},{        "Type": "SmartCode.IBuildTask,SmartCode",        "ImplType": "SmartCode.App.BuildTasks.ProjectBuildTask,SmartCode.App"},{        "Type": "SmartCode.IBuildTask,SmartCode",        "ImplType": "SmartCode.App.BuildTasks.MultiTemplateBuildTask,SmartCode.App"},{        "Type": "SmartCode.IBuildTask,SmartCode",        "ImplType": "SmartCode.App.BuildTasks.ProcessBuildTask,SmartCode.App"},{        "Type": "SmartCode.IOutput,SmartCode",        "ImplType": "SmartCode.App.Outputs.FileOutput,SmartCode.App"},{        "Type": "SmartCode.IDataSource,SmartCode",        "ImplType": "SmartCode.Generator.DbTableSource,SmartCode.Generator"},{        "Type": "SmartCode.IBuildTask,SmartCode",        "ImplType": "SmartCode.Generator.BuildTasks.TableBuildTask,SmartCode.Generator"},{        "Type": "SmartCode.IBuildTask,SmartCode",        "ImplType": "SmartCode.Generator.BuildTasks.SingleBuildTask,SmartCode.Generator"},{        "Type": "SmartCode.INamingConverter,SmartCode",        "ImplType": "SmartCode.Generator.TableNamingConverter,SmartCode.Generator"},{        "Type": "SmartCode.TemplateEngine.ITemplateEngine,SmartCode.TemplateEngine",        "ImplType": "SmartCode.TemplateEngine.Impl.HandlebarsTemplateEngine,SmartCode.TemplateEngine"},{        "Type": "SmartCode.TemplateEngine.ITemplateEngine,SmartCode.TemplateEngine",        "ImplType": "SmartCode.TemplateEngine.Impl.OfficialRazorTemplateEngine,SmartCode.TemplateEngine"},{        "Type": "SmartCode.Generator.IDbTypeConverter,SmartCode.Generator",        "ImplType": "SmartCode.Generator.DbTypeConverter.DefaultDbTypeConverter,SmartCode.Generator"},{        "Type": "SmartCode.IDataSource,SmartCode",        "ImplType": "SmartCode.ETL.ExtractDataSource,SmartCode.ETL"},{        "Type": "SmartCode.IBuildTask,SmartCode",        "ImplType": "SmartCode.ETL.BuildTasks.TransformBuildTask,SmartCode.ETL"},{        "Type": "SmartCode.ETL.ITransformEngine,SmartCode.ETL",        "ImplType": "SmartCode.ETL.TransformEngine.RazorTransformEngine,SmartCode.ETL"},{        "Type": "SmartCode.IBuildTask,SmartCode",        "ImplType": "SmartCode.ETL.BuildTasks.LoadBuildTask,SmartCode.ETL"},{        "Type": "SmartCode.ETL.IETLRepository,SmartCode.ETL",        "ImplType": "SmartCode.ETL.NoneETLRepository,SmartCode.ETL"},{        "Type": "SmartCode.ETL.IETLRepository,SmartCode.ETL",        "ImplType": "SmartCode.ETL.PostgreSql.PGETLRepository,SmartCode.ETL.PostgreSql",        "Paramters": {          "ConnectionString": "Server=localhost;Port=5432;User Id=postgres;Password=SmartSql; Database=smartcode_etl;"}}]}
}

ETL 构建配置

Author: Ahoo WangDataSource:  Name: Extract  Paramters:    DbProvider: SqlServer    ConnectionString: Data Source=.;Initial Catalog=SmartSqlDB;Integrated Security=True   
 Query: SELECT [Id],[UserName],[Status],[LastLoginTime],[CreationTime],[ModifyTime],[Deleted] FROM [T_User] With(NoLock) Where ModifyTime>@LastMaxModifyTime    PKColumn: Id    AutoIncrement: true    ModifyTime: ModifyTimeParamters:  ETLCode: SmartCode.ETL.Test  ETLRepository: PGBuild:  Transform:    Type: Transform    Paramters:      Script:   Load2PostgreSql:     Type: Load    Paramters:      DbProvider: PostgreSql      ConnectionString: Server=localhost;Port=5432;User Id=postgres;Password=SmartSql; Database=smartsql_db;    

 Table: t_user__temp      PreCommand: CREATE TABLE t_user__temp( LIKE t_user );      PostCommand: "Delete From t_user as source Where EXISTS(select * from t_user__temp temp where temp.id=source.id);Insert Into t_user  SELECT * From t_user__temp;Drop Table t_user__temp;"      ColumnMapping: [{Column: Id,Mapping: id},{Column: UserName,Mapping: user_name},{Column: Status,Mapping: status},{Column: LastLoginTime,Mapping: last_login_time},{Column: CreationTime,Mapping: creation_time},{Column: ModifyTime,Mapping: modify_time},{Column: Deleted,Mapping: deleted}]

根 Paramters

参数名说明
ETLCodeETL任务Code,区分任务类型，唯一
ETLRepositoryETL任务持久化仓储，None/PG

DataSource 参数说明

属性 Name:Extract,使用 ExtractDataSource 插件作为数据源

ExtractDataSource.Paramters

参数名说明
DbProvider数据驱动提供者:MySql,MariaDB,PostgreSql,SqlServer,Oracle,SQLite
ConnectionString连接字符串
Query查询命令，需要抽取的数据。默认会自动注入三个参数 LastMaxId,LastMaxModifyTime,LastQueryTime 作为查询条件
PKColumn主键列名
AutoIncrement是否为自增主键，true 自动计算抽取的最大主键值(MaxId)
ModifyTime最近一次修改时间列名，设置后自定计算抽取的最大修改时间列(MaxModifyTime)

Build.Load 参数说明

属性 Type:Load,使用 LoadBuildTask 插件作为构建任务

Build.Load.Paramters

参数名说明
DbProvider数据驱动提供者:MySql,MariaDB,PostgreSql,SqlServer,Oracle,SQLite
ConnectionString连接字符串
Table目标表名
PreCommand执行批量插入任务之前执行的命令
PostCommand执行批量插入任务之后执行的命令
ColumnMapping列映射

同步策略

LastMaxId

LastMaxId 即上一次抽取的数据最大Id值(第一次抽取时LastMaxId为-1)，该模式使用于数据插入后不再变更的数据表。

LastMaxModifyTime

LastMaxModifyTime 即上一次抽取的数据最大ModifyTime值(第一次抽取时LastMaxModifyTime为1970-01-01 08:00:00)，适用于插入数据后还会变更的数据表。

并发任务同步

  1. 对 Id 取模,分拆不同任务，同时并发执行

大数据量同步

  1. 使用 Top/Limit 限制数据抽取数量，分多次同步执行完成整个数据同步。

ETL_Task 任务监控

640?wx_fmt=png

性能监控

运行环境

  1. 源抽取库：Windows Server 2012 , 8 vCPU 16 GB + SSD + SqlServer-2014

  2. 目标分析库：CentOS-7 , 8 vCPU 16 GB + SSD + PostgreSql-11 + SmartCode

ETL_Task.Extract

以下是数据抽取性能，抽取数量为 1434678，耗时 41267 毫秒。

{    "MaxId": 1755822,    "PKColumn": "Id",    "QuerySize": 1434678,    "QueryTime": "2018-11-01T11:31:53.6191084+08:00",    "QueryCommand": {        "Taken": 41267,        "Command": "Select * From T_ProductSearchLog  With(NoLock) Where Id>@LastMaxId",        "Paramters": {            "LastMaxId": -1,            "LastQueryTime": "1970-01-01T08:00:00"}}
}
ETL_Task.Load

以下是数据加载性能，批量插入数据量为 1434678，耗时 21817 毫秒，平均每秒插入 65759.6 条数据。

{    "Size": 1434678,    "Table": "t_product_search_log",    "Taken": 21817,    "PreCommand": null,    "PostCommand": null}

目前 SmartCode.ETL 已经落地到我们的生产环境了（11-01上线截至目前执行了 26069 次同步任务，暂无error日志抛出）

PS： 虽然 SmartCode.ETL 只花了周末俩天时间完成扩展，但已经可以满足我们至少90%的应用场景。这足以见得 SmartCode 扩展能力是多么令人意外了。当然SmartCode的其他能力还得后续等各位一起发掘！！！

相关文章：

  • 如何通过本地化事件正确实现微服务内部强一致性，事件总线跨微服务间最终一致性

  • SmartCode 正式开源，不只是代码生成器！

  • SmartSql For Asp.Net Core 最佳实践

  • SmartSql 动态代理仓储

  • SmartCode 常见问题

原文地址：https://www.cnblogs.com/Ahoo-Wang/p/SmartCode-ETL.html

.NET社区新闻，深度好文，欢迎访问公众号文章汇总 http://www.csharpkit.com 
640?wx_fmt=jpeg
 












本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/319091.shtml


如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！











相关文章










dubbo线程池为什么耗尽








dubbo线程池为什么耗尽




文章概述 
大家可能都遇到过DUBBO线程池打满这个问题，报错如下，本文我们就一起分析DUBBO线程池打满这个问题。 cause: org.apache.dubbo.remoting.RemotingException: Server side(10.0.0.100,20881) thread pool is exhausted, detail msg:Thread pool …




阅读更多...

















手把手教你写DI_0_DI是什么？








手把手教你写DI_0_DI是什么？




DI是什么？Dependency Injection 常常简称为：DI。它是实现控制反转（Inversion of Control – IoC）的一个模式。fowler 大大大神 “几十年”前的经典文章 https://www.martinfowler.com/articles/injection.html 说的很清楚。“几十…




阅读更多...

















C++顺序创建txt文件








C++顺序创建txt文件




今天下午在对拍数据的时候感觉好麻烦。。 一次次手调文件名称&#xff0c;突然想起可以直接写段程序集中操作 顺序输出 #include <iostream>
#include <fstream>
#include<string>
using namespace std;int main () {ofstream File;for(int i0;i<3;i){str…




阅读更多...

















使用Visual Studio Code开发.NET Core看这篇就够了








使用Visual Studio Code开发.NET Core看这篇就够了




在本文中&#xff0c;我将带着大家一步一步的通过图文的形式来演示如何在Visual Studio Code中进行.NET Core程序的开发&#xff0c;测试以及调试。尽管Visual Studio Code的部分功能还达不到Visual Studio的水平&#xff0c;但它实际上已经足够强大来满足我们的日常开发。而且…




阅读更多...

















手把手教你写DI_3_小白徒手支持 Singleton 和 Scoped 生命周期








手把手教你写DI_3_小白徒手支持 Singleton 和 Scoped 生命周期




在上一节&#xff1a;手把手教你写DI_2_小白徒手撸构造函数注入浑身绷带的小白同学&#xff1a;我们继续开展我们的工作&#xff0c;大家都知道 Singleton是什么&#xff0c;就是全局只有一个呗&#xff0c;我们就先从它开始&#xff0c;这个多简单&#xff0c;我们找个字典放这…




阅读更多...

















手把手教你写DI_2_小白徒手撸构造函数注入








手把手教你写DI_2_小白徒手撸构造函数注入




在上一节&#xff1a;手把手教你写DI_1_DI框架有什么&#xff1f;我们已经知道我们要撸哪些东西了那么我们开始动工吧&#xff0c;这里呢&#xff0c;我们找小白同学来表演下小白同学 &#xff1a;我们先定义一下我们的广告招聘纸有什么&#xff1a;好&#xff0c;我们实现两种…




阅读更多...

















服务器win2008 R2 x64 部署ASP.net core到IIS 并解决 HTTP Error 502.5  的问题








服务器win2008 R2 x64 部署ASP.net core到IIS 并解决 HTTP Error 502.5  的问题




1、发布网站 &#xff1b;2、安装 vc_redist.x64  (Visual C Redistributable for Visual Studio 2015) 新装的系统没装的补丁&#xff0c;装过略过&#xff1b;3、安装WindowsHosting &#xff1a;如&#xff1a; dotnet-hosting-2.1.3-win &#xff1b;4、安装.Net Core SDK&…




阅读更多...

















Data Structure Problem








Data Structure Problem




试题链接 
题目描述 题意&#xff1a; 
有两个序列&#xff0c; 操作1是将a序列的第x位改成y 操作2是将b序列的第x位改成y 操作3是找到一个cx&#xff0c;满足递推式c00&#xff0c;ci  max(ci-1bi&#xff0c;ai) 
题解&#xff1a; 官方题解 说实话我没大看懂。。。 题是我同…




阅读更多...

















定制Ocelot来满足需求








定制Ocelot来满足需求




这篇文章&#xff0c;我们将从Ocelot的中间件源码分析&#xff0c;目前Ocelot已经实现那些功能&#xff0c;还有那些功能在我们实际项目中暂时还未实现&#xff0c;如果我们要使用这些功能&#xff0c;应该如何改造等方面来说明。一、Ocelot源码解读在使用一个组件前&#xff0…




阅读更多...

















【.NET Core项目实战-统一认证平台】第一章 功能及架构分析








【.NET Core项目实战-统一认证平台】第一章 功能及架构分析




从本文开始&#xff0c;我们正式进入项目研发阶段&#xff0c;首先我们分析下统一认证平台应该具备哪些功能性需求和非功能性需求&#xff0c;在梳理完这些需求后&#xff0c;设计好系统采用的架构来满足已有的需求和未来的扩展应用。1 功能性需求统一认证平台应该具备以下基本…




阅读更多...

















Shift and Reverse








Shift and Reverse




题目链接 
题意&#xff1a; 一个序列a1&#xff0c;a2&#xff0c;a3…an 选择一个i&#xff0c;然后将序列改成ai,ai-1,…a1,an,an-1,…ai1 可以进行无数次这样的操作 问&#xff1a;最多有多少不同的序列产生&#xff1f;&#xff08;答案mod1e97&#xff09; 
题解&#xf…




阅读更多...

















Redis基本使用及百亿数据量中的使用技巧分享








Redis基本使用及百亿数据量中的使用技巧分享




作者&#xff1a;依乐祝原文地址&#xff1a;https://www.cnblogs.com/yilezhu/p/9941208.html作者&#xff1a;大石头时间&#xff1a;2018-11-10 晚上20&#xff1a;00地点&#xff1a;钉钉群&#xff08;组织代码BKMV7685&#xff09;QQ群&#xff1a;1600800内容&#xff1…




阅读更多...

















Subsequence Pair








Subsequence Pair




题目 
题目描述 题意&#xff1a; 
X和Y两个字符串&#xff0c;两个字符串各取子序列X1和Y1&#xff0c;问X1<Y1的情况下X1和Y1的长度和最长是多少&#xff1f; 比如例子&#xff1a; zazxwabzczazazd abcaa 
第一个字符串选取子序列为azxwabzczazazd 第二个为bcaa azxwabzc…




阅读更多...

















【.NET Core项目实战-统一认证平台】第三章 网关篇-数据库存储配置（1）








【.NET Core项目实战-统一认证平台】第三章 网关篇-数据库存储配置（1）




本篇将介绍如何扩展Ocelot中间件实现自定义网关&#xff0c;并使用2种不同数据库来演示Ocelot配置信息存储和动态更新功能&#xff0c;内容也是从实际设计出发来编写我们自己的中间件&#xff0c;本文内容涵盖设计思想内容和代码内容&#xff0c;我希望园友们最好跟着我这个文章…




阅读更多...

















一个技术管理者的苦逼【技术管理漫谈】








一个技术管理者的苦逼【技术管理漫谈】




希望给你3-5分钟的碎片化学习&#xff0c;可能是坐地铁、等公交&#xff0c;积少成多&#xff0c;水滴石穿&#xff0c;谢谢关注。角色转变　从工程师转技术管理这两年&#xff0c;好比头马变成车夫&#xff0c;除了角色认知的转变&#xff0c;还要看方向&#xff0c;定计划。不…




阅读更多...

















[机器翻译]参与 Microsoft 开放源代码软件项目的方式








[机器翻译]参与 Microsoft 开放源代码软件项目的方式




下面是一个事实&#xff1a;Microsoft 托管在 GitHub&#xff0c;包括.NET 编译器平台&#xff0c;也称为"Roslyn"具有多达 4 万行代码等一些相当大的大约 2,000 开放源代码软件 (OSS) 存储库。很多开发人员的代码将更改提交到数以百万计的计算机运行的项目可能会令人…




阅读更多...

















【蓝桥杯】 2018年国赛 矩阵求和








【蓝桥杯】 2018年国赛 矩阵求和




题目 
题目&#xff1a; 
经过重重笔试面试的考验&#xff0c;小明成功进入 Macrohard 公司工作。 今天小明的任务是填满这么一张表&#xff1a; 表有 n 行 n 列&#xff0c;行和列的编号都从1算起。 其中第 i 行第 j 个元素的值是 gcd(i, j)的平方&#xff0c; gcd 表示最大公…




阅读更多...

















被低估的.net(上) - 微软MonkeyFest 2018广州分享会活动回顾








被低估的.net(上) - 微软MonkeyFest 2018广州分享会活动回顾




前天, 2018年11月10日, 广州图书馆\微软云开发者社区\广东职业教育信息化研究会\珠三角技术沙龙在广州图书馆负一层1号报告厅搞了一场”微软最有价值专家(MVP)广州分享会 - MonkeyFest 2018广州分享会”. 这是在广州图书馆官方微信公众号上的活动报名链接: https://mp.weixin.q…




阅读更多...

















C#的RSA加密解密签名，就为了支持PEM PKCS#8格式密钥对的导入导出








C#的RSA加密解密签名，就为了支持PEM PKCS#8格式密钥对的导入导出




差点造了一整个轮子.Net Framework 4.5 里面的RSA功能&#xff0c;并未提供简单对PEM密钥格式的支持&#xff08;.Net Core有咩&#xff1f;&#xff09;&#xff0c;差点&#xff08;还远着&#xff09;造了一整个轮子&#xff0c;就为了支持PEM PKCS#8、PKCS#1格式密钥对的导…




阅读更多...

















福州首届.NET开源社区技术交流会圆满成功








福州首届.NET开源社区技术交流会圆满成功




活动总结2018年11月10日周六的下午&#xff0c;在福州蒲公英创新工场举办了福州首届.NET开源社区技术交流会&#xff0c;来自福建省各大科技公司的技术小伙伴齐聚一堂&#xff0c;为了就是能在现场学习到微软跨平台技术.NET Core、微服务以及Azure云服务。在交流会现场&#xf…




阅读更多...


















推荐文章












最新文章


















Copyright @ 2022~2023