线上业务优化之案例实战

本文是我从业多年开发生涯中针对线上业务的处理经验总结而来,这些业务或多或少相信大家都遇到过,因此在这里分享给大家,大家也可以看看是不是遇到过类似场景。本文大纲如下,

image

后台上传文件

线上后台项目有一个消息推送的功能,运营新建一条通知消息时,需要一起上传一列包含用户 id 的文件,来给文件中包含的指定用户推送系统消息。

如上功能描述看着很简单,但是实际上处理上传文件这一步是由讲究的,假如说后台上传文件太大,导致内存溢出,又或者读取文件太慢等其实都是一些隐性的问题。

对于技术侧想要做好这个功能,保证大用户量(比如达到百万级别)下,上传文件、发送消息功能都正常,其实是需要仔细思考的,我这里给出我的优化思路,

上传文件类型选择

通常情况下大部分用户都会使用 Excel 文件作为后台上传文件类型,但是相比 Excel 文件,还有一种更加推荐的文件格式,那就是 CSV 文件。

CSV 是一种纯文本格式,数据以文本形式存储,每行数据以逗号分隔,没有任何格式化。

因此 CSV 适用于简单、易读、导入和导出的场景,而且由于 CSV 文件只包含纯文本,因此文件大小通常比 Excel 文件小得多。

但是 CSV 文件针对复杂电子表格操作的支持就没 Excel 功能那么强大了,不过在这个只有一列的文件上传业务里够用了。

假如说上传文件中包含 100 万用户 id,那么这里使用 CSV 文件上传就有明显优势,占用内存更少,处理上传文件也更快。

消息推送状态保存

由于大批量数据插入是一个耗时操作(可能几秒也可能几分钟),所以需要保存批量插入是否成功的状态,在后台中还需要显现出这条消息推送状态是成功还是失败,方便运营人员回溯消息推送状态。

批量写入

针对这里上传大文件时的批量写入场景,这里提几个点大家注意一下就行,

rewriteBatchedStatements=true

MySQL 的 JDBC 连接的 url 中要加 rewriteBatchedStatements 参数,并保证 5.1.13 以上版本的驱动,才能实现高性能的批量插入。

MySQL JDBC 驱动在默认情况下会无视 executeBatch()语句,把我们期望批量执行的一组 sql 语句拆散,一条一条地发给 MySQL 数据库,批量插入实际上是单条插入,直接造成较低的性能。只有把 rewriteBatchedStatements 参数置为 true, 驱动才会帮你批量执行 SQL。另外这个选项对 INSERT/UPDATE/DELETE 都有效。

是否启用事物功能

批量写入场景里要不要启用事物,其实很多人都有自己的看法,这里我给出启用于不启用的利弊,

  • 启用事务:好处在于如批量插入过程中,异常情况可以保证原子性,但是性能比不开事务低,在特大数据量下会明显低一个档次

  • 不启用事务:好处就是写入性能高,特大数据量写入性能提升明显,但是无法保证原子性

在本文提到的大文件上传批量写入的场景下,要是追求极致性能我推荐是不启用事务的。

假如在批量写入过程中发生网络波动或者数据库宕机,我们其实只需要重新新建一条通知消息,然后重新上传包含用户 id 的文件即可。

因为上一条通知消息因为批量插入步骤没有全部完成,所以推送状态是失败。后续等开发人员处理一下脏数据即可。

大事务

@Transactional 是 Spring 框架提供得事务注解,相信这是许多人都知道的,但是在一些高性能场景下,是不建议使用的,推荐通过编程式事务来手动控制事务提交或者回滚,减少事务影响范围,因而提升性能。

使用事务注解

如下是一段订单超时未支付回滚业务数据得代码,采用 @Transactional 事务注解

@Transactional(rollbackFor = Exception.class)
public void doUnPaidTask(Long orderId) {// 1. 查询订单是否存在Order order = orderService.getById(orderId);,,,// 2. 更新订单为已取消状态order.setOrderStatus((byte) OrderStatusEnum.ORDER_CLOSED_BY_EXPIRED.getOrderStatus());orderService.updateById(order);...// 3. 订单商品数量增加LambdaQueryWrapper<OrderItem> queryWrapper = Wrappers.lambdaQuery();queryWrapper.eq(OrderItem::getOrderId, orderId);List<OrderItem> orderItems = orderItemService.list(queryWrapper);for (OrderItem orderItem : orderItems) {Long goodsId = orderItem.getGoodsId();Integer goodsCount = orderItem.getGoodsCount();if (!goodsDao.addStock(goodsId, goodsCount)) {throw new BusinessException("秒杀商品货品库存增加失败");}}// 4. 返还用户优惠券couponService.releaseCoupon(orderId);log.info("---------------订单orderId:{},未支付超时取消成功", orderId);
}

可以看到上面订单回滚的代码逻辑有四个步骤,如下,

  1. 查询订单是否存在

  1. 更新订单为已取消状态

  1. 订单商品数量增加

  1. 返还用户优惠券

这里面有个问题,订单回滚方法里面其实只有 2、3、4 步骤是需要在一个事物里执行的,第 1 步其实可以放在事物外面来执行,以此缩小事物范围。

使用编程式事务

使用编程式事务对其优化后,代码如下,

@Resource
private PlatformTransactionManager platformTransactionManager;
@Resource
private TransactionDefinition transactionDefinition;public void doUnPaidTask(Long orderId) {// 启用编程式事务// 1. 在开启事务钱查询订单是否存在Order order = orderService.getById(orderId);...// 2. 开启事务TransactionStatus transaction = platformTransactionManager.getTransaction(transactionDefinition);try {// 3. 设置订单为已取消状态order.setOrderStatus((byte) OrderStatusEnum.ORDER_CLOSED_BY_EXPIRED.getOrderStatus());orderService.updateById(order);...// 4. 商品货品数量增加LambdaQueryWrapper<OrderItem> queryWrapper = Wrappers.lambdaQuery();queryWrapper.eq(OrderItem::getOrderId, orderId);List<OrderItem> orderItems = orderItemService.list(queryWrapper);for (OrderItem orderItem : orderItems) {Long goodsId = orderItem.getGoodsId();Integer goodsCount = orderItem.getGoodsCount();if (!goodsDao.addStock(goodsId, goodsCount)) {throw new BusinessException("秒杀商品货品库存增加失败");}}// 5. 返还优惠券couponService.releaseCoupon(orderId);// 6. 所有更新操作完成后,提交事务platformTransactionManager.commit(transaction);log.info("---------------订单orderId:{},未支付超时取消成功", orderId);} catch (Exception e) {log.info("---------------订单orderId:{},未支付超时取消失败", orderId, e);// 7. 发生异常,回滚事务platformTransactionManager.rollback(transaction);}
}

可以看到采用编程式事务后,我们将查询逻辑排除在事务之外,这样也就减小了事物影响范围。

在极高性能优先的场景下,我们甚至可以考虑不使用事务,使用本地消息表 + 消息队列来实现最终一致性就行 。

海量日志采集

公司线上有一个项目的客户端,采用 tcp 协议与后端的一个日志采集服务建立连接,用来上报客户端日志数据。

在业务高峰期下,会有同时成千上万个客户端建立连接,实时上报日志数据。

在上面的高峰期场景下,日志采集服务会有不小的压力,如果程序代码逻辑处理稍有不当,就会造成服务卡顿、CPU 占用过高、内存溢出等问题。

为了解决上面的大量连接实施上报数据的场景,日志采集服务决定使用 Netty 框架进行开发。

这里直接给出日志采集程序使用 Netty 后的一些优化点,

采集日志异步化

针对客户端连接上报日志的采集流程异步化处理有三个方案,给大家介绍一下,

  • 普通版:采用阻塞队列 ArrayBlockingQueue 得生产者消费者模式,对上报的日志数据进行异步批量处理,在此场景下,通过生产者将数据缓存到内存队列中,然后再消费者中批量获取内存队列的日志数据保存入库,好处是简单易用,坏处是有内存溢出风险。

  • 进阶版:采用 Disruptor 队列,也是一个基于内存的高性能生产者消费者队列,消费速度对比 ArrayBlockingQueue 有一个数量级以上得性能提升,附简介说明:https://www.jianshu.com/p/bad7b4b44e48。

  • 终极版:也是公司日志采集程序最后采用的方案。采用 kfaka 消息队列中间件,先持久日志上报数据,然后慢慢消费。虽然引入第三方依赖会增加系统复杂度,但是 kfaka 在大数据场景表现实在是太优秀了,这一点也是值得。

采集日志压缩

对上报后的日志如果要再发送给其他服务,是需要进行压缩后再处理,这一步是为了避免消耗过多网络带宽。

在 Java 里通常是指序列化方式,Jdk 自带得序列化方式对比 Protobuf、fst、Hession 等在序列化速度和大小的表现上都没有优势,甚至可以用垃圾形容。

Java 常用的序列化框架有下面这些,

  • JDK 自带的序列化:性能较差,占用空间大,无法跨语言,好处是简单易用,通用性强。

  • JSON:常用的 JSON 库有 Jackson、Gson、Fastjson 等。性能较好,占用空间少,跨语言支持广泛,但是无法序列化复杂对象。

  • Protocol Buffers:由 Google 开源,基于 IDL 语言定义格式,编译器生成对象访问代码。性能高效占用空间小,但是需要提前定义 Schema。

  • Thrift:Facebook 开源,与 Protocol Buffers 类似。定制生态不如 PB 完善,但是支持多语言交互。

  • Avro:Hadoop 生态圈序列化框架,支持数据隔离与进化,动态读写,性能可靠性好,占用空间较小。但是使用复杂,通用性较差。

  • Hessian:一款开源的二进制远程通讯协议,使用简单方法提供了RMI功能,主要用于面向对象的消息通信。支持跨平台、多语言支持、使用简单,缺点是传递复杂对象性能会下降,不适合安全性高的应用。

如果兼容性要求不高可以选择 JSON,如果要求效率以及传输数据量越小越好则 PB/Thrift/Avro/Hessian 更合适。

数据落库选型

像日志这种大数据量落库,都是新增且无修改得场景建议使用 Clickhouse 进行存储,好处是相同数据量下对比 MySQL 占用存储更少,查询速度更快,坏处就是并发查询性能比较低,相比 MySQL 使用不算那么成熟。

最后聊两句

到这里本文所介绍三个线上业务优化实战就讲完了,其实这种实战案例还有很多,但是碍于篇幅本文就没讲那么多拉,后续有机会也会继续更新这类文章,希望大家能够喜欢。

文章转载自:waynaqua

原文链接:https://www.cnblogs.com/waynaqua/p/17893173.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/218262.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

从零开发短视频电商 使用Jsoup进行HTML爬取解析与操作

文章目录 简介原理依赖基础示例功能解析和遍历文档输入从字符串中解析文档从 URL 加载文档从文件加载文档 数据提取使用 DOM 方法导航文档使用 CSS 选择器查找元素使用 XPath 选择器查找元素和节点从元素中提取属性、文本和 HTML 清理HTML 官网&#xff1a; https://jsoup.org…

实物+3D动画展示离心式过滤器的工作原理 #雨水收集#雨水过滤

产品规格型号 规格型号&#xff1a;LLLXGL-100、LLLXGL-150、LLLXGL-200、LLLXGL-300

第一届古剑山ctf-pwn全部题解

1. choice 附件&#xff1a; https://github.com/chounana/ctf/blob/main/2023%E7%AC%AC%E4%B8%80%E5%B1%8A%E5%8F%A4%E5%89%91%E5%B1%B1pwn/choice.zip 漏洞代码&#xff1a; 漏洞成因&#xff1a; byte_804A04C输入的长度可以覆盖nbytes的值&#xff0c;导致后面输入时存…

RFID复习内容整理

第一章 日常生活中的RFID技术 身份证&#xff08;高频&#xff09; typeB13.56MHz 一卡通&#xff08;高频&#xff09; ISO/IEC 14443 typeA 图书馆门禁停车场门票ETC 微波段、超高频 服装快销品牌 物联网定义 最初的定义 将各种信息传感设备&#xff0c;如射频识别(RFID)…

成功上岸最新Go面经:百度滴滴小米360小红书展盟优咔科技......

前言 本文整理了2023年最新的Go面试经验&#xff1a;涵盖了百度、滴滴、小米、360、小红书、展盟和优咔科技等知名公司的面试题目。 题目涉及Go语言基础知识、数据库知识、消息队列、Kubernetes相关知识、服务治理与微服务架构、Docker知识、监控和度量、算法与编程、自我介绍…

12.13 log

37. 解数独 class Solution { private:bool backtracking(vector<vector<char>>& board){for(int i0;i<board.size();i){for(int j0;j<board[0].size();j){if(board[i][j]!.) continue;for(char k1;k<9;k){if(isValid(i,j,k,board)){board[i][j]k;if…

会JSX没什么了不起,你了解过 StyleX 么?

近日&#xff0c;Meta开源了一款CSS-in-JS库 —— StyleX。看命名方式&#xff0c;Style - X是不是有点像JS - X&#xff0c;他们有关系么&#xff1f;当然有。 JSX是一种用JS描述HTML的语法规范&#xff0c;广泛应用于前端框架中&#xff08;比如React、SolidJS...&#xff0…

公众号怎么提高2个限制

一般可以申请多少个公众号&#xff1f;许多用户在申请公众号时可能会遇到“公众号显示主体已达上限”的问题。这是因为在2018年11月16日对公众号申请数量进行了调整&#xff0c;具体调整如下&#xff1a;1、个人主体申请公众号数量上限从2个调整为1个。2、企业主体申请公众号数…

Vue3 中的 Proxy--读懂ES6中的Proxy

Proxy用于创建一个对象的代理&#xff0c;从而实现基本操作的拦截和自定义&#xff08;如属性查找、赋值、枚举、函数调用等&#xff09; 1.用法 Proxy为 构造函数&#xff0c;用来生成 Proxy实例 var proxy new Proxy(target, handler)参数 target表示所要拦截的目标对象…

【LeetCode:2697. 字典序最小回文串 | 双指针 + 贪心】

&#x1f680; 算法题 &#x1f680; &#x1f332; 算法刷题专栏 | 面试必备算法 | 面试高频算法 &#x1f340; &#x1f332; 越难的东西,越要努力坚持&#xff0c;因为它具有很高的价值&#xff0c;算法就是这样✨ &#x1f332; 作者简介&#xff1a;硕风和炜&#xff0c;…

静态HTTP应用:理解其工作原理与优势

随着互联网的普及和发展&#xff0c;Web应用已经成为人们日常生活和工作中不可或缺的一部分。而静态HTTP应用作为Web应用的一种重要形式&#xff0c;也越来越受到开发者的青睐。本文将带你了解静态HTTP应用的工作原理和优势&#xff0c;让你更好地理解这种应用形式。 一、静态…

TallyBook Technical support

Thanks for using our app! If you have any problems using our products, please contact us by email and we will serve you 24 hours a day! Email address:eshanacsungmail.com Thank you!

binlog+mysqldump恢复数据(误删数据库或者表)

表删除恢复 1、准备数据 首先准备数据库环境&#xff0c;测试数据库为speech1&#xff0c;如下&#xff1a; 为test数据表添加3条记录&#xff0c;如下&#xff1a;三行为新加的记录&#xff0c;添加后将test表删除。 2、恢复数据 查看binlog日志状态 SHOW MASTER STATUS…

<软考高项备考>《论文专题 - 5 论文如何准备》

1 原创写作 优缺点缺点方法掌握写作方法和思路&#xff0c;参考几篇优质范文&#xff0c;就可以进行原创写作手上有项目的IT行业同学适合对象1、写作能力较强的朋友2、时间比较充格&#xff0c;喜欢钻研&#xff0c;善于运用各种工具&#xff0c;解决问题能力较强的朋友不会被…

多线程案例-定时器(附完整代码)

定时器是什么 定时器是软件开发中的一个重要组件.类似于一个"闹钟".达到一个设定的时间之后,就执行某个指定好的代码. 定时器是一种实际开发中非常常用的组件. 比如网络通信种,如果对方500ms内没有返回数据,则断开尝试重连. 比如一个Map,希望里面的某个key在3s之后过…

uniapp+vite+ts+express踩坑总结

1 关于引入express包报 import express from "express"; ^^^^^^ SyntaxError: Cannot use import statement outside a module的问题。 解决方案&#xff1a; 在package.json中添加type&#xff1a;“module”选项 2 Response is a type and must be imported …

c语言 词法分析器 《编译原理》课程设计

设计、编制并调试一个词法分析程序&#xff0c;加深对词法分析原理的理解。 针对表达各类词语的一组正规表达式&#xff0c;设计一个确定化的最简的有限自动机&#xff0c;对输入的符号串进行单词划分及词类识别。 要求词法分析器的输入是字符串&#xff0c;输出是源程序中各…

安装odoo17 Windows版时,PostgreSQL Database无法被勾选

安装odoo17 Windows版时&#xff0c;PostgreSQL Database无法被勾选。 出现的原因是&#xff0c;曾经安装过PostgreSQL Database&#xff1b;虽然可能已被卸载&#xff0c;但注册表内还有残余信息&#xff0c;导致odoo认为PostgreSQL Database仍存在于系统之中。 解决方案 删…

MySQL忘记root密码和修改root密码的解决方法

文章目录 &#xff08;1&#xff09;简介&#xff08;2&#xff09;MySQL 5.5 忘记root密码&#xff08;3&#xff09;MySQL 5.6 忘记root密码&#xff08;4&#xff09;MySQL 8.0 忘记root密码&#xff08;5&#xff09;MySQL 5.6修改root密码&#xff08;6&#xff09;MySQL …

美易官方:构建多元化证券投资组合

掌握美股投资的黄金法则&#xff1a;构建多元化证券投资组合 亲爱的投资者朋友们&#xff0c;当我们迈入充满活力与机遇的美股市场&#xff0c;我们的心中都满怀期待和激动。在这个全球关注的金融舞台上&#xff0c;如何构建一个可靠、安全且多样化的证券投资组合成为了一门艺…