Elasticsearch - Java API【一】日期直方图

Elasticsearch 按时间进行聚合统计

需求：
1、统计某一个小时，每分钟的数据条数
2、统计某一天，每个小数的数据条数
3、统计一周，每天的数据条数

pom依赖

     <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-data-elasticsearch</artifactId></dependency>

代码实现


package com.woodare.tsp.portal.facade;import cn.hutool.core.date.DateTime;
import cn.hutool.core.date.DateUtil;
import cn.hutool.core.map.MapUtil;
import cn.hutool.core.util.StrUtil;
import com.woodare.tsp.common.core.context.Context;
import com.woodare.tsp.portal.enums.DateType;
import com.woodare.tsp.portal.helper.DateHelper;
import com.woodare.tsp.portal.pojo.vo.DashboardVO;
import com.woodare.tsp.portal.pojo.vo.StatisticsChartVO;
import com.woodare.tsp.service.consts.ElasticsearchIndexNameConst;
import com.woodare.tsp.service.domain.Product;
import com.woodare.tsp.service.entity.IotDataLog;
import com.woodare.tsp.service.service.DeviceOnlineStatusService;
import com.woodare.tsp.service.service.DeviceService;
import com.woodare.tsp.service.service.ProductService;
import lombok.RequiredArgsConstructor;
import lombok.extern.slf4j.Slf4j;
import org.elasticsearch.index.query.BoolQueryBuilder;
import org.elasticsearch.index.query.QueryBuilders;
import org.elasticsearch.search.aggregations.Aggregation;
import org.elasticsearch.search.aggregations.AggregationBuilders;
import org.elasticsearch.search.aggregations.Aggregations;
import org.elasticsearch.search.aggregations.bucket.histogram.DateHistogramInterval;
import org.elasticsearch.search.aggregations.bucket.histogram.Histogram;
import org.elasticsearch.search.aggregations.bucket.histogram.ParsedDateHistogram;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.data.elasticsearch.core.ElasticsearchAggregations;
import org.springframework.data.elasticsearch.core.ElasticsearchRestTemplate;
import org.springframework.data.elasticsearch.core.SearchHits;
import org.springframework.data.elasticsearch.core.mapping.IndexCoordinates;
import org.springframework.data.elasticsearch.core.query.NativeSearchQuery;
import org.springframework.data.elasticsearch.core.query.NativeSearchQueryBuilder;
import org.springframework.stereotype.Service;import java.time.Instant;
import java.time.LocalDateTime;
import java.time.ZoneOffset;
import java.util.*;/*** @author WANG*/
@RequiredArgsConstructor
@Slf4j
@Service
public class DashboardFacade {final DeviceService deviceService;final ProductService productService;final DeviceOnlineStatusService deviceOnlineStatusService;final ElasticsearchRestTemplate elasticsearchRestTemplate;@Value("${device.online.time:10}")private Integer deviceOnlineTime;/*** 统计** @return 统计详情*/public DashboardVO statistics() {DashboardVO dashboardVO = new DashboardVO();List<Product> productList = productService.getListByCondition(new Product());Long totalCount = deviceService.getTotalDeviceCount();// 设备最后在线时间在最近{10}分钟内，算在线long time = DateUtil.offsetMinute(new Date(), -deviceOnlineTime).getTime();long onlineCount = 0;for (Product product : productList) {onlineCount += deviceOnlineStatusService.count(product.getUid(), time);}BoolQueryBuilder queryBuilder = QueryBuilders.boolQuery();String tenantId = Context.getTenantId();if (StrUtil.isNotBlank(tenantId)) {queryBuilder.filter(QueryBuilders.termQuery("tenantId", tenantId));}StatisticsChartVO.DateRange dateRange = this.getDateRange(DateType.DAY);queryBuilder.filter(QueryBuilders.rangeQuery("createdTime").gte(dateRange.getStart()).lte(dateRange.getEnd()));IndexCoordinates indexCoordinates = IndexCoordinates.of(ElasticsearchIndexNameConst.TEMP_IOT_DATA_LOG);NativeSearchQuery query = new NativeSearchQueryBuilder().withQuery(queryBuilder).build();SearchHits<IotDataLog> searchHits = elasticsearchRestTemplate.search(query, IotDataLog.class, indexCoordinates);long totalHits = searchHits.getTotalHits();return dashboardVO.setTotalAlertCount(0L).setTotalMessageCount(totalHits).setTotalDeviceCount(totalCount).setTotalOnlineDeviceCount(onlineCount);}public StatisticsChartVO statisticsChart(DateType dateType) {StatisticsChartVO statisticsChartVO = new StatisticsChartVO();StatisticsChartVO.DateRange dateRange = this.getDateRange(dateType);BoolQueryBuilder queryBuilder = QueryBuilders.boolQuery();String tenantId = Context.getTenantId();if (StrUtil.isNotBlank(tenantId)) {queryBuilder.filter(QueryBuilders.termQuery("tenantId", tenantId));}queryBuilder.filter(QueryBuilders.rangeQuery("createdTime").gte(dateRange.getStart()).lte(dateRange.getEnd()));NativeSearchQuery query = this.buildQueryByDateType(queryBuilder, dateType);SearchHits<Object> searchHits = elasticsearchRestTemplate.search(query, Object.class, IndexCoordinates.of(ElasticsearchIndexNameConst.TEMP_IOT_DATA_LOG));ElasticsearchAggregations elasticsearchAggregations = (ElasticsearchAggregations) searchHits.getAggregations();assert elasticsearchAggregations != null;Aggregations aggregations = elasticsearchAggregations.aggregations();Map<String, Long> map = new LinkedHashMap<>();for (Aggregation aggregation : aggregations) {ParsedDateHistogram dateHistogram = (ParsedDateHistogram) aggregation;for (Histogram.Bucket bucket : dateHistogram.getBuckets()) {long docCount = bucket.getDocCount();String date = bucket.getKeyAsString();map.put(date, docCount);log.info("data: {} --- {}", date, docCount);}}List<StatisticsChartVO.DataItem> dataList = this.buildDataByDateType(map, dateType, dateRange);statisticsChartVO.setDataList(dataList);return statisticsChartVO;}private List<StatisticsChartVO.DataItem> buildDataByDateType(Map<String, Long> map, DateType dateType, StatisticsChartVO.DateRange dateRange) {List<String> dateList;String timeZone = Context.getTimezone();List<StatisticsChartVO.DataItem> list = new ArrayList<>();if (DateType.HOUR.equals(dateType)) {dateList = DateHelper.getMinuteList(dateRange.getStart(), dateRange.getEnd());} else if (DateType.DAY.equals(dateType)) {dateList = DateHelper.getHourList();} else {dateList = DateHelper.getDayList(dateRange.getStart(), dateRange.getEnd());}if (DateType.HOUR.equals(dateType)) {buildHourDataList(map, dateList, list);} else if (DateType.DAY.equals(dateType)) {for (String date : dateList) {// es查询出来的是日期是0时区的日期，需转成当前时区的时间，例如：时间为14:00，这是0时区的14:00，转成+8区则为22:00String hour = date.split(StrUtil.COLON)[0];String newHour = getHour(Integer.parseInt(hour), Integer.parseInt(timeZone));StatisticsChartVO.DataItem item = new StatisticsChartVO.DataItem();String newDate = newHour + StrUtil.COLON + date.split(StrUtil.COLON)[1];item.setDate(newDate);item.setValue(map.containsKey(date) ? map.remove(date) : 0L);list.add(item);}} else {for (String date : dateList) {StatisticsChartVO.DataItem item = new StatisticsChartVO.DataItem();item.setDate(date);item.setValue(map.getOrDefault(date, 0L));list.add(item);}}list.sort(Comparator.comparing(StatisticsChartVO.DataItem::getDate));return list;}private void buildHourDataList(Map<String, Long> map, List<String> dateList, List<StatisticsChartVO.DataItem> list) {if (MapUtil.isEmpty(map)) {setDefaultData(dateList, list);} else {String offsetHour = dateList.get(0).split(StrUtil.COLON)[0];String currUtcHour = getHourInZeroTimeZone(System.currentTimeMillis());// 先去除其他数据Map<String, Long> stashMap = new LinkedHashMap<>();for (Map.Entry<String, Long> entry : map.entrySet()) {String date = entry.getKey();String currHour = date.split(StrUtil.COLON)[0];if (currHour.equals(currUtcHour)) {String minute = date.split(StrUtil.COLON)[1];stashMap.put(offsetHour + StrUtil.COLON + minute, entry.getValue());}}if (MapUtil.isEmpty(stashMap)) {setDefaultData(dateList, list);} else {for (String date : dateList) {StatisticsChartVO.DataItem item = new StatisticsChartVO.DataItem();item.setDate(date);item.setValue(stashMap.getOrDefault(date, 0L));list.add(item);}}}}public String getHourInZeroTimeZone(long timestamp) {LocalDateTime dateTime = LocalDateTime.ofInstant(Instant.ofEpochMilli(timestamp), ZoneOffset.UTC);int hour = dateTime.getHour();return (hour < 10 ? "0" : "") + hour;}private void setDefaultData(List<String> dateList, List<StatisticsChartVO.DataItem> list) {for (String date : dateList) {StatisticsChartVO.DataItem item = new StatisticsChartVO.DataItem();item.setDate(date);item.setValue(0L);list.add(item);}}private String getHour(int num1, int num2) {int num = num1 + num2;if (num >= 24) {num -= 24;}if (num < 0) {num += 24;}if (num < 10) {return "0" + num;} else {return StrUtil.EMPTY + num;}}private NativeSearchQuery buildQueryByDateType(BoolQueryBuilder queryBuilder, DateType dateType) {if (DateType.HOUR.equals(dateType)) {return new NativeSearchQueryBuilder().withQuery(queryBuilder).withAggregations(AggregationBuilders.dateHistogram("minute_stats").field("createdTime").calendarInterval(DateHistogramInterval.MINUTE).format("HH:mm")).build();} else if (DateType.DAY.equals(dateType)) {return new NativeSearchQueryBuilder().withQuery(queryBuilder).withAggregations(AggregationBuilders.dateHistogram("minute_stats").field("createdTime").calendarInterval(DateHistogramInterval.HOUR).format("HH:mm")).build();} else {return new NativeSearchQueryBuilder().withQuery(queryBuilder).withAggregations(AggregationBuilders.dateHistogram("logs_per_day").field("createdTime").calendarInterval(DateHistogramInterval.DAY).format("yyyy-MM-dd")).build();}}private StatisticsChartVO.DateRange getDateRange(DateType dateType) {StatisticsChartVO.DateRange dateRange = new StatisticsChartVO.DateRange();if (DateType.HOUR.equals(dateType)) {dateRange.setStart(DateUtil.beginOfHour(new Date()).getTime());dateRange.setEnd(DateUtil.endOfHour(new Date()).getTime());} else if (DateType.DAY.equals(dateType)) {dateRange.setStart(DateUtil.beginOfDay(new Date()).getTime());dateRange.setEnd(DateUtil.endOfDay(new Date()).getTime());} else if (DateType.WEEK.equals(dateType)) {DateTime start = DateUtil.offsetDay(new Date(), -7);DateTime end = DateUtil.offsetDay(new Date(), -1);dateRange.setStart(start.getTime());dateRange.setEnd(end.getTime());}return dateRange;}
}
package com.woodare.tsp.portal.helper;import cn.hutool.core.date.DateTime;
import cn.hutool.core.date.DateUtil;
import com.woodare.tsp.common.core.context.Context;import java.time.Instant;
import java.time.LocalDateTime;
import java.time.ZoneId;
import java.time.ZoneOffset;
import java.time.format.DateTimeFormatter;
import java.util.ArrayList;
import java.util.Date;
import java.util.List;/*** @author WANG*/
public class DateHelper {private static final int HOURS_OF_DAY = 24;private static List<String> getMinuteIntervals(long startTimestamp, long endTimestamp) {List<String> intervals = new ArrayList<>();DateTimeFormatter formatter = DateTimeFormatter.ofPattern("HH:mm");int timezone = Integer.parseInt(Context.getTimezone());LocalDateTime current = LocalDateTime.ofEpochSecond(startTimestamp / 1000, 0, ZoneOffset.ofHours(timezone));LocalDateTime endTime = LocalDateTime.ofEpochSecond(endTimestamp / 1000, 0, ZoneOffset.ofHours(timezone));while (!current.isAfter(endTime)) {intervals.add(current.format(formatter));current = current.plusMinutes(1);}return intervals;}public static List<String> getHourList() {List<String> hourList = new ArrayList<>();for (int i = 0; i < HOURS_OF_DAY; i++) {String hour;if (i < 10) {hour = "0" + i;} else {hour = "" + i;}hourList.add(hour + ":00");}return hourList;}public static List<String> getMinuteList(Long start, Long end) {return getMinuteIntervals(start, end);}public static List<String> getDayList(Long start, Long end) {List<String> dates = new ArrayList<>();LocalDateTime startDate = LocalDateTime.ofInstant(Instant.ofEpochMilli(start), ZoneId.systemDefault());LocalDateTime endDate = LocalDateTime.ofInstant(Instant.ofEpochMilli(end), ZoneId.systemDefault());while (!startDate.isAfter(endDate)) {dates.add(startDate.format(DateTimeFormatter.ofPattern("yyyy-MM-dd")));startDate = startDate.plusDays(1);}return dates;}public static void main(String[] args) {Context.setTimezone("8");long start = DateUtil.beginOfHour(new Date()).getTime();long end = DateUtil.endOfHour(new Date()).getTime();List<String> intervals = getMinuteList(start, end);for (String interval : intervals) {System.out.println(interval);}System.out.println("==========");List<String> hourList = getHourList();for (String interval : hourList) {System.out.println(interval);}System.out.println("==========");DateTime startDate = DateUtil.offsetDay(new Date(), -7);DateTime endDate = DateUtil.offsetDay(new Date(), -1);List<String> dayList = getDayList(startDate.getTime(), endDate.getTime());for (String date : dayList) {System.out.println(date);}}}

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/736963.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

计算机毕业设计选题方向：Python与人工智能的结合

计算机毕业设计选题方向：Python与人工智能的结合

引言 在当今的计算机科学领域&#xff0c;Python语言因其简洁、易读和强大的库支持而备受青睐。特别是在人工智能&#xff08;AI&#xff09;领域&#xff0c;Python提供了丰富的工具和框架&#xff0c;使得开发智能应用变得更加高效。本指南旨在为计算机专业的学生提供一系列结…
阅读更多...
mysql日常优化的总结

mysql日常优化的总结

文章目录 一、数据表结构相关优化建字段类型注意事项1. int类型的选择2.varchar、char、text类型3.date、datetime、timestamp类型 表规划1. 垂直分表2. 水平分表 二、查询语句优化1.对于字段多的表&#xff0c;避免使用SELECT *2.避免使用!操作符3.避免使用null做条件4.like查…
阅读更多...
ElasticSearchLinux安装和springboot整合的记录和遇到的问题

ElasticSearchLinux安装和springboot整合的记录和遇到的问题

前面整合遇到的一些问题有的记录在下面了&#xff0c;有的当时忘了记录下来&#xff0c;希望下面的能帮到你们 1&#xff1a;Linux安装ES 下载安装&#xff1a; 参考文章&#xff1a;连接1 连接2 wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch…
阅读更多...
PostgreSQL 安装部署

PostgreSQL 安装部署

文章目录 一、PostgreSQL部署方式1.Yum方式部署2.RPM方式部署3.源码方式部署4.二进制方式部署5.Docker方式部署 二、PostgreSQL部署1.Yum方式部署1.1.部署数据库1.2.连接数据库 2.RPM方式部署2.1.部署数据库2.2.连接数据库 3.源码方式部署3.1.准备工作3.2.编译安装3.3.配置数据…
阅读更多...
LightDB ecpg 支持 exec sql execute ... end-exec【24.1】【oracle 兼容】

LightDB ecpg 支持 exec sql execute ... end-exec【24.1】【oracle 兼容】

LightDB 从24.1 版本开始支持 oracle pro*c 中执行匿名块的语法&#xff08;之前可以通过do 语句执行匿名块&#xff09;&#xff1a; EXEC SQL EXECUTEanonymous block END-EXEC;因为匿名块不是SQL标准的一部分&#xff0c;所以此用法也不存在于SQL标准中。 示例 #include …
阅读更多...
手机app制作商用系统软件开发

手机app制作商用系统软件开发

手机端的用户占比已经超过了电脑端的用户量&#xff0c;企业想要发展手机端的业务就必须拥有自己的app软件&#xff0c;我们公司就是专门为企业开发手机软件的公司&#xff0c;依据我们多年的开发经验为大家提供在开发app软件的时候怎么选择开发软件的公司。 手机app制…
阅读更多...
导出RWKV模型为onnx

导出RWKV模型为onnx

测试模型&#xff1a; https://huggingface.co/RWKV/rwkv-5-world-3b 导出前对modeling_rwkv5.py进行一个修改&#xff1a; # out out.reshape(B * T, H * S) out out.reshape(B * T, H * S, 1) # <<--- modified out F.group_norm(out, nu…
阅读更多...
vue element plus Border 边框

vue element plus Border 边框

我们对边框进行统一规范&#xff0c;可用于按钮、卡片、弹窗等组件里。 边框样式# 我们提供了以下几种边框样式&#xff0c;以供选择。 NameThicknessDemoSolid1pxDashed2px 圆角# 我们提供了以下几种圆角样式&#xff0c;以供选择。 No Radius border-radius: 0px Small …
阅读更多...
ros | 如何在ubuntu上安装ros

ros | 如何在ubuntu上安装ros

只能说小鱼真的强&#xff01;&#xff01;&#xff01; wget http://fishros.com/install -O fishros && bash fishros一行命令安装 至于版本下面这个可能不太准确&#xff0c;自己建议再去查以下 Ubuntu ROS1 14.04 LTS indigo 16.04 LTS Kinetic 18.…
阅读更多...
【竞技宝】LOL：knight阿狸伤害爆炸 BLG2-0轻取RA

【竞技宝】LOL：knight阿狸伤害爆炸 BLG2-0轻取RA

北京时间2024年3月11日,英雄联盟LPL2024春季常规赛继续进行,昨日共进行三场比赛,首场比赛由BLG对阵RA。本场比赛BLG选手个人实力碾压RA2-0轻松击败对手。以下是本场比赛的详细战报。 第一局: BLG:剑魔、千珏、妮蔻、卡牌、洛 RA:乌迪尔、蔚、阿卡丽、斯莫德、芮尔 首局比赛,B…
阅读更多...
QMS质量管理系统在离散型制造业的应用及效益

QMS质量管理系统在离散型制造业的应用及效益

在离散型制造行业中&#xff0c;质量管理是确保产品满足客户期望和市场需求的关键环节。QMS质量管理系统的实施为企业提供了一种全面、系统的方法来管理和改进质量。 例如&#xff0c;在汽车制造行业&#xff0c;QMS质量管理系统可以应用于零部件采购和装配过程的质量控制。通过…
阅读更多...
语音合成（TTS） 声音生成（TTA）最新技术 - 2024- 附论文地址和代码地址

语音合成（TTS） 声音生成（TTA）最新技术 - 2024- 附论文地址和代码地址

文章目录 1. 我们的模型2. 声音生成模型&#xff1a;AudioLDM3. 语音合成模型&#xff1a;VoiceLDM 生成式 AI 是最近一年最受关注的课题&#xff0c;可以应用于游戏、虚拟现实等智能交互场景。 1. 我们的模型 由中国科学院计算所和东芝中国研发中心联合发表于AAAI 2024 论文…
阅读更多...
Spring Cloud GateWay整合熔断器实现限流

Spring Cloud GateWay整合熔断器实现限流

其实网关是很强大&#xff0c;能做的事情很多&#xff0c;包含很多过滤器包括限流&#xff0c;具体的网关可以参考我的另外一篇博文Spring Cloud GateWay-过滤器 今天我们来说下网关如何限流&#xff0c;主要两种方案&#xff1a; Spring Cloud GateWay整合hystrx environme…
阅读更多...
PCBA方案设计充气泵设计

PCBA方案设计充气泵设计

随着科技的不断进步&#xff0c;充气泵在户外活动、露营和旅行中变得越来越常见。而充气泵的性能和稳定性主要依赖于其控制系统&#xff0c;其中芯片的设计和开发是充气泵方案的关键。SIC8833芯片是一款专门为充气泵设计的芯片&#xff0c;接下来我们来讲下充气泵方案芯片SIC88…
阅读更多...
计网Lesson19 - 应用层之WWW

计网Lesson19 - 应用层之WWW

文章目录 1. 应用层概念1.1 应用层协议的定义 2. 应用层体系结构2.1 客户/服务器模式2.2 P2P模式&#xff08;点对点方式&#xff09; 3. 万维网3.1 概述3.2 统一资源定位符3.3 万维文档HTMLCSSJavaScript 1. 应用层概念 应用层是计算机网络体系结构的最顶层&#xff0c;是设计…
阅读更多...
面试官：Spring Boot 是否可以使用 XML 配置？如果可以的话怎么配置

面试官：Spring Boot 是否可以使用 XML 配置？如果可以的话怎么配置

该文章专注于面试，面试只要回答关键点即可，不需要对框架有非常深入的回答，如果你想应付面试，是足够了，抓住关键点 面试官：Spring Boot 是否可以使用 XML 配置？如果可以的话怎么配置 Spring Boot 主要推崇使用注解驱动的 Java 配置方式，尤其是通过 @Configuration、@C…
阅读更多...
USACO 2023 December, SilverProblem 1. Bovine Acrobatics题解

USACO 2023 December, SilverProblem 1. Bovine Acrobatics题解

有n件物品&#xff0c;m组叠罗汉&#xff0c;相邻罗汉差值至少为k。 第i件物品的重量和数量 由于m最大范围为1e9&#xff0c;开辟m组罗汉槽存储罗汉值&#xff0c;内存空间不够。 分析样例&#xff1a; 3 5 2 9 4 7 65 5 一开始我想的是层数&#xff0c;但是一层中存在数据…
阅读更多...
初学Vue——Vue路由

初学Vue——Vue路由

0 什么是Vue路由 类似于Html中的超链接(<a>)一样&#xff0c;可以跳转页面的一种方式。 前端路由&#xff1a;URL中hash(#号之后的内容)与组件之间的对应关系&#xff0c;如下图&#xff1a; 当我们点击左侧导航栏时&#xff0c;浏览器的地址栏会发生变化&#xff0c;路…
阅读更多...
python的数据容器--元组

python的数据容器--元组

元组的定义 #元组的定义 t1 (1,"hello",True) t2() t3tuple() t4("hello",) print(f"t4的数据类型{type(t4)},t4的内容是{t4}")#元组的嵌套使用 t5((1,2,3),(4,5,6)) print(f"t5的类型是{type(t5)}")#元组的元素提取 print(f"{t…
阅读更多...
【Prometheus】k8s集群部署node-exporter

【Prometheus】k8s集群部署node-exporter

​ 目录 一、概述 1.1 prometheus简介 1.2 prometheus架构图 1.3 Exporter介绍 1.4 监控指标 1.5 参数定义 1.6 默认启用的参数 1.7 prometheus如何收集k8s/服务的–三种方式收集 二、安装node-exporter组件 【Prometheus】概念和工作原理介绍-CSDN博客 【云原生】ku…
阅读更多...
最新文章

Copyright @ 2022~2023