一次业务网关用ASP.NET Core 2.1重构的小结

前言

对于API网关,业界貌似对它进行下划分,有下面几个分类/场景。

  • 面向Web App

  • 面向Mobile App

  • 面向Partner OpenAPI

  • 面向Partner ExternalAPI

  • 其他。。。

在18年8月份的时候,有幸用.NET Core 2.1重构了一个对外的业务网关项目,这个项目的作用其实就是将公司内部能提供的数据能力公开出来,可以让有需要的公司使用。

这个项目按照分类,应该是要归类到 面向Partner OpenAPI 。

这个项目刚开始是用Nancy写的,那个时候要向外提供一个新的能力的时候,都是要加这个能力的代码,发布后才能真正的对外提供,不过当时对外提供的东西比较少,负责的同事也要闪人了,所以也还是可以接受。

在18年7月份的时候,越来越多的能力要对外提供,而且每次都要改代码,受不了,就提出了重构。

这个项目目前每天大概有1500万左右的有效调用量,部署在6台4c4g的CentOS虚拟机上面(其实用不了那么多机器,每台机器的基本都是20%以下的cpu和10%左右的内存),用Jexus去托管。大入口是Nginx,所以最后的流向是:

Request -> Nginx -> Jexus -> dotnet

下面就分别来说说这个网关涉及到的一些东西。

统一鉴权

鉴权这一块用的还是很古老的做法,用的是用户名和密码的方式来处理,这个可以理解成是验签的一个过程。

这里支持两种形式,一种是参数明文传输,还有一种是参数加密传输。

其实就是有部分公司觉得我不能直接传明文的123给你,要传一个加密后的123,让你解密然后去处理。

服务限流

限流功能就是限制调用方过于频繁的调用,这个限制,根据业务场景分为秒、天、月三个层级。

不同调用方,不同数据服务都有不同的限制,这个是基于Redis来实现的。

路由转发

路由转发用的是HttpClientFactory。

刚开始的时候还是用steeltoe来处理服务注册和发现,不过发现并不好用,然后也有很多服务没有接入 Eureka, 所以最后就没有处理服务注册和发现,而是直接用域名的方式来请求。

参数重组

用户的请求参数基本上都会是透传给下游服务,当然不能排除会有一些特殊的需求。

举个简单的例子说明一下,好比只想让调用方查广州的天气,不想让他查深圳的天气,而下游服务是这两个城市都可以查的,所以要有一些特殊的参数去告诉下游服务。

这个时候,我们就需要对用户的入参进行一次重组,重新构造了一个JSON参数丢给下游服务,相当于特殊情况会有固定的参数格式给到下游服务,用的是JObject来处理。

链路跟踪

由于调用链有的时候非常复杂,为了记录调用方一个请求完整的调用链,网关这边会生成一个traceId在请求头,路由转发的时候会一起发过去。

不同服务在记录日志的时候就会把这个traceId也统一记录起来,这样所有的日志都可以通过这个traceId从日志系统中找到。

熔断降级

下游服务不一定能保证 7*24 小时的正常服务,有时可能因为数据库处理超时,网络请求超时,从而造成在一段时间内,不能正常响应。

这个时候网关就不应该每次都去真正的请求服务,而要断开一段时间,直接返回失败给调用方。

这一块是结合 HttpClientFactory 和 Polly 来实现的,省了很多麻烦。

服务计次

计次可以说是这个网关的一大核心,因为要赚钱,要收调用方的钱。钱基本就是按次数算出来的。

之前写过一篇博客,实现是类似的。

按次计费接口的简单实现思路。

业务指标监控

需要知道最近某段时间范围内,不同调用方,不同数据服务的调用情况(成功,失败,有效,总次数等)

这里用的是prometheus,程序负责写指标数据,prometheus会去拉取这些数据,然后结合Grafana来做成不同的看板来展示。

日志记录

日志记录为分两大类,一类是程序日志,一类是调用日志。

程序日志目前是拓展NLog,把数据丢到Kafka,然后运维那边会抽数据到Elasticsearch。

为了避免Kafka抽风,所以丢数据到Kafka失败的话,会落盘到日志文件,然后由Filebeat收集,然后丢到Elasticsearch。

最后的展现形式是 graylog, 大概如下

640?wx_fmt=png

调用日志是和调用方结算的依据之一,所以这个的重要性还是挺高的。

目前用的是异步写入加容错。调用日志最终是落到数据库归档。

迭代更新

更新对一个程序来说是必不可免的,所以有一个好的发布流程可以减少一些困难。虽说重构后,这个项目也就更新了3次。

这里用的是Go CD来发布的,从测试到预发再到生产,流水线的操作。

640?wx_fmt=png

总结

虽然这个项目挺小的,但是也可以用“麻雀虽小,五脏俱全”来形容。

最后问问,最近有那位大佬招小弟吗?有的话可以联系一下我哈。

原文链接:https://www.cnblogs.com/catcher1994/p/11456994.html


.NET社区新闻,深度好文,欢迎访问公众号文章汇总 http://www.csharpkit.com 

640?wx_fmt=jpeg


本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/313877.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

导数卷积 (NTT)

导数卷积 有f(x)∑i0n−1aixi求g(x)∑i0n−1f(i)(x)f(n−i−1)(x)∑i0n−1∑j0n−1aij(ij)!j!∑k0n−1ak(n−i−1)(k(n−i−1))!k!设F(n)ann!我们单独求解g(x)的第m项,有gm∑i0n−1∑j1d(F(ij)∗F(n−i−1d−j))(1j!∗1(d−j)!)设H(n)1n!有f(x) \sum_{i 0} ^{n - …

Java如何解决乱码问题

java在字符串中统一用Unicode表示。 对于任意一个字符串:String string “测试字符串”; 如果源文件是GBK编码,操作系统默认环境编码也为GBK,那么编译的时候,JVM将按照GBK编码将字节数组解析为字符,然后将字符转换为…

推荐几个华为,字节跳动、蚂蚁金服等大佬的公众号

每一个公众号都是一个特色的图书馆,为我们的学习提供优质的服务,珍贵的资源,耐心看完,认真选择适合自己的良师益友吧。Python爱好者社区Python爱好者社区,这里有分类整理好的历史优秀文章数千篇供你学习,内…

HDU 6061 RXD and functions(NTT)

RXD and functions 首先是有一个结论,对多项式做任意多次 transformation ,其结果跟做一次 transformation Tr(f,∑i1mai)Tr(f, \sum\limits_{i 1} ^{m} a_i)Tr(f,i1∑m​ai​)的结果是一样的,所以我们约定a−∑i1maia -\sum\limits_{i 1…

Java语法糖

Java中语法糖原理、解语法糖 语法糖:switch 支持 String 与枚举、泛型、自动装箱与拆箱、方法变长参数、枚举、内部类、条件编译、 断言、数值字面量、for-each、try-with-resource、Lambda表达式、 先Mark,需要后续补齐、 参考: https://w…

使用Ingress来负载分发微服务

目录 使用Ingress来负载分发微服务 Demo规划 准备Demo并完成部署 创建部署(Deployment)资源 创建服务(Service)资源 创建Ingress资源并配置转发规则 使用Ingress来负载分发微服务NodePort Service存在太多缺陷,不适合…

伯努利数(详解 + 例题 :P3711 仓鼠的数学题)

伯努利数 定义Sk(n)∑i0n−1ikS_k(n) \sum\limits_{i 0} ^{n - 1} i ^ kSk​(n)i0∑n−1​ik。 从二项式出发 (01)k1∑i0kCk1i0i0k1⋮(n−11)k1∑i0kCk1i(n−1)i(n−1)k1把次方k1的移项,再整体相加,得nk1∑i0kCk1iSi(n)nk1∑i0k−1Ck1iSi(n)(k1)Sk(n…

并发和并行及多线程基本概念

并发(Concurrent) 在操作系统中,是指一个时间段中有几个程序都处于已启动运行到运行完毕之间,且这几个程序都是在同一个处理机上运行,但任一个时刻点上只有一个程序在处理机上运行。 并发,本质上是一个物理…

XUnit 依赖注入

XUnit 依赖注入Intro现在的开发中越来越看重依赖注入的思想,微软的 Asp.Net Core 框架更是天然集成了依赖注入,那么在单元测试中如何使用依赖注入呢?本文主要介绍如何通过 XUnit 来实现依赖注入, XUnit 主要借助 SharedContext 来…

P3711 仓鼠的数学题(伯努利数)

P3711 仓鼠的数学题 有关伯努利数的知识可以看我的上一篇题解链接(写的超详细)。 F(x)∑k0nSk(x)ak原本定义的Sk(x)∑i0xik根据伯努利数的定义Sk′(x)∑i0x−1ik则我们求F(x)∑k0nSk′(x)ak,答案即为F(x1)考虑先求F(x)∑k0nak1k1∑i0kCk1iBixk−i1∑k0n…

程序员自家种水果,新鲜包邮配送!

点击上面“蓝字”关注我们!上次猕猴桃的活动一经推出,得到了广大粉丝的支持,我感到十分欣慰,非常感谢大家对我的信任。好多小伙伴,买了一箱尝过后又下单了好几箱。事实证明,品质才是销量的最佳保证。有些粉…

实现一个简单的基于码云(Gitee) 的 Storage

实现一个简单的基于码云(Gitee) 的 StorageIntro上次在 asp.net core 从单机到集群 一文中提到存储还不支持分布式,并立了一个 flag基于 github 或者 开源中国的码云实现一个 storage于是这两天就来填坑了。。实现了一个简单的基于开源中国的码云的 storage准备工作…

Java多线程的4种实现方式

** Java多线程的4种实现方式 ** 1:继承Thread并重写run方法,并调用start方法 /*** Java实现多线程的方式1* 继承Thread类,重写run方法* author hongbo.zhao 2019年4月12日 上午7:12:35*/ class MyThread extends Thread {Overridepublic …

采蘑菇的克拉莉丝(树链剖分)

采蘑菇的克拉莉丝 一个有点意思的树链剖分的题。 题意: 一棵树,有两种操作: ①:在点vvv放xxx个蘑菇。 ②:将起点变为vvv。 每次计算收集所有蘑菇的代价。 收集蘑菇的代价为,起点到所在蘑菇的路径上的…

HDU 6428 Problem C. Calculate(积性函数)

Problem C. Calculate ϕϕ∗ϵϕ∗μ∗Iϕ(n)∑d∣n(ϕ∗μ)(d)设g(n)∑d∣n(ϕ∗μ)(d)∑i1A∑j1B∑k1Cϕ(gcd(i,j2,k3))∑i1A∑j1B∑k1C∑d∣i,d∣j2,d∣k3(ϕ∗μ)(d)∑d1A(ϕ∗μ)(d)∑i1A∑j1B∑k1C[d∣i,d∣j2,d∣k3]\phi \phi * \epsilon \phi * \mu * I\\ \phi(n) …

Java线程的6种状态

线程的概念,以及线程的创建方式,见我之前写的博文 本篇文章主要讲Java线程的6种状态 6种状态:初始状态(new) 、可运行状态(Runnable)、运行状态(Running)、阻塞状态&am…

C. Goodbye Souvenir(CDQ 或 树套树)

C. Goodbye Souvenir ∑iLRi−preAi[preAi≥L]\sum\limits_{i L} ^{R} i - pre_{A_i} [pre_{A_i} \geq L]iL∑R​i−preAi​​[preAi​​≥L],进一步考虑即∑i−preAi[i≤R,preAi≥L]\sum i - pre_{A_i}[i \leq R, pre_{A_i} \geq L]∑i−preAi​​[i≤R,preAi​​…

.NET Core 微信小程序支付——(统一下单)

最近公司研发了几个电商小程序,还有一个核心的电商直播,只要是电商一般都会涉及到交易信息,离不开支付系统,这里我们统一实现小程序的支付流程(与服务号实现步骤一样)。目录1、开通小程序的支付能力2、商户…

P4768 [NOI2018] 归程(kruskal 重构树)

P4768 [NOI2018] 归程 给定一个nnn个点,mmm条边的无向联通图,边的描述为[u,v,l,a][u, v, l, a][u,v,l,a],表示uuu,vvv连有一条长度为lll,海拔为aaa的边, 有QQQ个询问,每次给出一个出发点uuu和…

用.NET写“算命”程序

前言“算命”,是一种迷信,我父亲那一辈却执迷不悟,有时深陷其中,有时为求一“上上签”,甚至不惜重金,向“天神”保佑。我曾看到过有些算命网站,可以根据人的生辰八字,来求得这个人一…