记录一次大数据量接口优化过程

问题描述

记录一次大数据量接口优化过程。最近在优化一个大数据量的接口,是提供给安卓端APP调用的,因为安卓端没做分批次获取,接口的数据量也比较大,因为加载速度超过一两分钟,所以导致接口超时的异常,要让安卓APP分批次调用需要收取费用,所以只能先优化一下接口的速度。

分析问题

先使用阿里开源的监控工具Arthas来分析接口,Arthas 是一款线上监控诊断平台,可以实时查看应用 load、内存、gc、线程的状态信息,可以在不修改代码的情况,定位问题,分析接口耗时、传参、异常等情况,提高线上问题排查效率
在这里插入图片描述
找到对应的接口代码,使用Arthas的trace命令跟踪一下接口耗时情况,listOrder是对应方法名,skipJDKMethod是不打印jdk里面的方法

trace com.sample.order.orderServiceImpl listOrder -n 1  --skipJDKMethod

要筛选出响应时间大于1000毫秒的,可以使用如下命令

trace com.sample.order.orderServiceImpl listOrder '#cost > 1000' -n 1

通过Arthas就可以分析出一个接口方法里具体那个调用耗时,然后一层层分析即可,Arthas分析的接口大致如下,仅供参考

--[100.00% 3434.755668ms ] org.springframework.cglib.proxy.MethodInterceptor:intercept()`---[100.00% 3434.620187ms ] cn.test.server.business.VisitorBusiness:getStaffList()+---[0.00% 0.045431ms ] cn.test.client.dto.StaffListReqDto:getComId() #188+---[0.00% 0.019135ms ] cn.core.common.utils.CoreUtils:isEmpty() #188+---[0.00% 0.021816ms ] cn.hutool.core.date.DateUtil:timer() #192+---[0.00% 0.019987ms ] com.google.common.base.Splitter:on() #194+---[0.00% 0.005501ms ] cn.test.client.dto.StaffListReqDto:getComId() #194+---[0.00% 0.026292ms ] com.google.common.base.Splitter:splitToList() #194+---[0.00% 0.131507ms ] cn.hutool.core.convert.Convert:toInt() #195+---[0.34% 11.668407ms ] cn.core.user.client.querier.SchoolQuerierService:findBySchoolId() #198+---[0.00% 0.024199ms ] cn.hutool.core.date.TimeInterval:intervalRestart() #203+---[0.02% 0.535107ms ] org.slf4j.Logger:info() #203+---[2.66% 91.504718ms ] cn.core.user.client.querier.RelationQuerierService:queryUserByIdsAndRoleType() #206+---[0.00% 0.019208ms ] com.google.common.collect.Lists:newArrayList() #206+---[0.00% 0.01107ms ] cn.core.common.utils.CoreUtils:isEmpty() #207+---[0.00% 0.013517ms ] cn.hutool.core.date.TimeInterval:intervalRestart() #211+---[0.02% 0.532242ms ] org.slf4j.Logger:info() #211+---[0.00% 0.016216ms ] cn.hutool.core.date.TimeInterval:intervalRestart() #218+---[0.01% 0.435469ms ] org.slf4j.Logger:info() #218+---[0.00% 0.009024ms ] cn.test.client.dto.StaffListReqDto:getComId() #221+---[0.53% 18.336268ms ]cn.test.persistence.dao.LogMapper:listStaffSyncRecordByComId() #221+---[0.00% 0.009043ms ] com.google.common.collect.Lists:newArrayList() #221+---[0.00% 0.019237ms ] cn.hutool.core.date.TimeInterval:intervalRestart() #223+---[0.01% 0.279834ms ] org.slf4j.Logger:info() #223+---[0.00% 0.014057ms ] cn.hutool.core.date.TimeInterval:intervalRestart() #227+---[0.01% 0.270155ms ] org.slf4j.Logger:info() #227+---[0.00% 0.006338ms ] com.google.common.collect.Lists:newArrayList() #231+---[0.00% 0.019707ms ] cn.hutool.core.date.TimeInterval:intervalRestart() #263+---[0.02% 0.548875ms ] org.slf4j.Logger:info() #263`---[0.00% 0.027475ms ] cn.test.client.dto.Result:success() #265

通过Arthas分析问题,定位到接口里,是因为查询出所有的数据后,再循环这些数据,在循环里又调了API去做业务处理,针对这种情况,怎么做调优?

处理问题

针对这种情况,我想到了分批次,分页来获取接口比较好,但是安卓端要改,需要收费额外的费用,所以我只能用多线程来做分批次处理了,JDK8里提供了CompletableFuture这个api来处理多任务,多线程,所以使用这个API加上线程池来处理接口

public OrderResult<List<OrderListDto>> getOrderList(ListReqDto reqDto) throws ExecutionException, InterruptedException {if (CoreUtils.isEmpty(reqDto.getComId())) {return OrderResult.fail("comId can not be null");}// Hutool计时器TimeInterval timer = DateUtil.timer();EmsReqVo reqVo = new EmsReqVo();reqVo.setComId(reqDto.getComId());List<OrderRecVo> orderRecList = Optional.ofNullable(orderMapper.queryOrderRecVo(reqVo )).orElse(Lists.newArrayList());LOG.info("查询所有预约订单:{}", timer.intervalRestart());if (CollUtil.isEmpty(orderRecList )) {return OrderResult.success(Lists.newArrayList());}// 任务列表List<CompletableFuture<OrderListDto>> fList = new ArrayList<>();// 自定义线程池ExecutorService executor = new ThreadPoolExecutor(10, 100, 5,TimeUnit.MINUTES,new ArrayBlockingQueue<>(10000));List<OrderListDto> orderDtoList= Lists.newArrayList();orderRecList.stream().forEach(v -> {CompletableFuture<OrderListDto> f = CompletableFuture.supplyAsync(()-> {Long userId = v.getUserId;// 根据userId去调用户数据,比较耗时UserDto userDto = userService.selectOne(userId);// 封装参数返回OrderListDto orderListDto = OrderListDto.builder().code(generator(v.getId())) // 流水号.name(v.getOwnerName()) // 预约人姓名.sex(gender)           // 预约人性别.identity(v.getIdentityNum()) // 证件号码.addr(v.getAddress()) // 证件地址.tel(v.getMobile()) // 联系电话.build();return orderListDto;},executor);fList.add(f);});// 获取所有的任务CompletableFuture<Void> all= CompletableFuture.allOf(fList.toArray(new CompletableFuture[0]));CompletableFuture<List<OrderListDto>> allInfo = all.thenApply(v-> fList.stream().map(a-> {try {return a.get();} catch (InterruptedException | ExecutionException e) {e.printStackTrace();}return null;}).collect(Collectors.toList()));// 返回listorderDtoList= allInfo.get();// 关闭线程池executor.shutdown();LOG.info("查询预约订单记录 use:{}", timer.intervalRestart());return OrderResult.success(orderDtoList);}

通过CompletableFuture多任务处理,接口速度提高都十几秒
在这里插入图片描述

所以需要继续调优,在循环里调api会有网络带宽的影响,所以改成通过userId的集合去获取所有数据,封装成一个map集合,在循环里调用

 List<Integer> userIds = orderRecList.stream().map(OrderRecVo::getReceiveId).collect(Collectors.toList());List<UserDto> usersList = Optional.ofNullable(userService.getUsersByIds(userIds)).orElse(Lists.newArrayList());Map<Integer, UserDto> usersMap = usersList.stream().collect(Collectors.toMap(UserDto::getId, u -> u));

在循环里再通过map获取即可

UserDto userDto = Optional.ofNullable(usersMap.get(v.getUserId())).orElse(new TinyUserDto());

通过所有id集合获取总的所有数据,再通过map去获取的方式,接口速度快了很多,大概到毫秒级别
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/5113.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【网络原理】TCP协议的相关机制(确认应答、超时重传)

系列文章目录 【网络通信基础】网络中的常见基本概念 【网络编程】Java网络编程中的基本概念及实现UDP、TCP客户端服务器程序&#xff08;万字博文&#xff09; 【网络原理】UDP协议的报文结构 及 校验和字段的错误检测机制&#xff08;CRC算法、MD5算法&#xff09; 文章目…

# 谷歌 Chrome 浏览器无法安装插件的解决方法

谷歌 Chrome 浏览器无法安装插件的解决方法 运用开发模式安装 安装步骤&#xff1a; 1、 将 XX.crx 插件的扩展名改成 .zip 或者 .rar 并解压到文件夹 XX 目录。 1&#xff09;如&#xff1a;下载的 前端框架 vue.js 插件 nhdogjmejiglipccpnnnanhbledajbpd-6.6.1-Crx4Chro…

大数据 - Doris系列《四》- Doris常用函数

往期文章&#xff1a; 大数据 - Doris系列《一》- Doris简介_doris详细介绍-CSDN博客 大数据 - Doris系列《二》- Doris安装&#xff08;亲测成功版&#xff09;_java8 please set vm.max_map_count to be 2000000 un-CSDN博客 大数据 - Doris系列《三》- 数据表设计之表的基…

Pytest:hooks钩子函数

Pytest&#xff1a;hooks钩子函数 Bootstrapping hooks 引导钩子Initialization hooks 初始化钩子Collection hooks 测试用例收集钩子Test running (runtest) hooks 测试运行钩子Reporting hooks 测试报告钩子Debugging/Interaction hooks 调试/交互钩子 Pytest的钩子函数可分为…

面试重点2:网页访问不了,从服务器层面如何排查

从服务器层面排查网页访问问题可以按照以下步骤进行&#xff1a; 1. 检查网络连接 确保服务器的网络连接正常&#xff0c;可以通过 ping 命令测试网络是否通畅&#xff0c;例如 ping www.example.com。 2. 排查 DNS 问题 如果访问域名无法解析&#xff0c;可能是 DNS 配置问…

Python深度学习实践:使用TensorFlow构建图像分类器

摘要 随着深度学习技术的飞速发展,图像识别已成为AI领域的热点应用之一。本篇文章将引导读者使用Python和Google的TensorFlow框架,从零开始构建一个简单的图像分类器。我们将深入探讨卷积神经网络(CNN)的基本原理,实现一个能够识别MNIST手写数字的数据集模型,并通过实战代…

Java自定义工具类中使用RedisTemplate的遇到空指针问题

话不多说&#xff0c;上错误代码&#xff0c;以下是我在静态方法里使用RedisTemplate类&#xff0c;这里加了Autowired ****省略import包**** public class CommonUtils {Autowiredprivate static RedisTemplate redisTemplate;public static String test() {String info &qu…

邦注科技即热式节能模温机 模温机的工作原理

模温机是一种用于控制模具温度的设备&#xff0c;主要用于塑料注塑、压铸、橡胶成型等工艺中。 其工作原理主要包括以下几个步骤&#xff1a; 加热阶段&#xff1a; 当模具需要加热时&#xff0c;双温模温机会启动加热系统&#xff0c;将热传导油或热传导水加热至设定温度。加…

Spring Cloud学习笔记(Hystrix):execute,queue,observe,toObservable样例和特性

这是本人学习的总结&#xff0c;主要学习资料如下 - 马士兵教育 1、Overview2、execute()2.1、Overview2.2、示例 3、queue()3.1、Overview3.2、示例 4、observe()4.1、Overview4.2、示例 5、toObservable()5.1、observe()和toObservable()的区别 1、Overview 我们知道Hystrix…

HDFS架构

HDFS 是一个主从 Master/Slave 架构一个 HDFS 集群包含一个 NameNode,这是一个 Master Server,用来管理文件系统的命名空间,以及协调客户端对文件的访问一个 HDFS 集群包含多个 DataNode,用来存储数据HDFS 会对外暴露一个文件系统命名空间,并允许用户数据以文件的形式进行存储在…

iOS实现一个高性能的跑马灯

效果图 该跑马灯完全通过CATextLayer 实现&#xff0c;轻量级&#xff0c;并且通过 系统的位移动画实现滚动效果&#xff0c;避免了使用displaylink造成的性能瓶颈&#xff0c;使用系统动画&#xff0c;系统自动做了很多性能优化&#xff0c;实现更好的性能&#xff0c;并使用…

java设计模式 -- 工厂模式

1、基本概念 工厂模式&#xff08;Factory Pattern&#xff09;是 Java 中最常用的设计模式之一&#xff0c;这种类型的设计模式属于创建型模式&#xff0c;它提供了一种创建对象的最佳方式。 工厂模式提供了一种创建对象的方式&#xff0c;而无需指定要创建的具体类。 工厂…

python与上位机开发day04

模块和包、异常、PyQt5 一、模块和包 1.1 模块 Python中模块就是一个.py文件&#xff0c;模块中可以定义函数&#xff0c;变量&#xff0c;类。模块可以被其他模块引用 1.1.1 导入模块 """ 导入格式1&#xff1a; import 模块名 使用格式&#xff1a; …

【yolov8目标检测部署】TensorRT int8量化

原作者github&#xff1a;https://github.com/xuanandsix/Tensorrt-int8-quantization-pipline/tree/main 改进&#xff1a; 源代码支持的TensorRT版本为7.许多属性已经弃用&#xff1b; 在原有的代码上将支持的TensorRT版本从7改到8. &#xff01;&#xff01;不知道如何安装T…

速盾:海外服务器如何加速

海外服务器加速是一种优化网络连接的方法&#xff0c;目的是提高用户对海外服务器的访问速度。由于地理位置、网络带宽等因素的限制&#xff0c;用户在访问海外服务器时常常会遇到访问缓慢的问题。为了解决这个问题&#xff0c;以下是一些常见的海外服务器加速方法。 使用CDN技…

【设计模式】简单工厂模式(Simple Factory Pattern)

工厂模式&#xff08;Factory Pattern&#xff09; 用于创建不同类型的奖品对象。您可以创建一个奖品工厂&#xff0c;根据配置的类型来实例化相应的奖品对象。 public interface Prize {void award(); }public class MoneyPrize implements Prize {Overridepublic void awar…

(Askchat.ai、ChatAI、智友AI、AI写作生成器助手、在线AI助手)分享好用的ChatGPT

目录 1、Askchat.ai - 梦想为蓝图,ChatGPT为笔。 2、ChatAI 3、智友AI - MyChatGPT 4、AI写作生成器助手

opencv-基本操作

本篇文章&#xff0c;我们将聊一聊利用opencv进行的一些基本操作&#xff0c;以便后续我们利用opencv进行更加复杂的处理。 1、图像的读取、显示与保存 opencv中利用cv2.imread读取RGB图像&#xff0c;利用cv2.imshow() 进行图像的显示。 # 注意: cv2.imread读取RGB图像时, 返回…

在 Windows 系统上安装 TeamViewer 13

在 Windows 系统上安装 TeamViewer 13 References 默认安装到所有用户 同意协议 安装目录 勾选内容 打开文件位置 打开 rClientID.exe Extras -> Options -> Advanced Show advanced options -> Display language 重新启动TeamViewer 语言可修改为中文简体 …

稳扎稳打 部署丝滑 开源即时通讯(IM)项目OpenIM源码部署流程(linux windows mac)

背景 OpenIM包含多个关键组件&#xff0c;每个都是系统功能必不可少的一部分。具体来说&#xff0c;MongoDB 用于持久化存储&#xff1b;Redis 用作缓存&#xff1b;Kafka 用于消息队列&#xff1b;Zookeeper 用于服务发现&#xff1b;Minio 用于对象存储。这些组件的众多可能会…