es elasticsearch 几种常见查询场景 二次分组 java读取es的查询json文件

大家好,我是烤鸭:

es中几种常见的查询场景,使用java读取es的json文件进行查询。

es 中文使用手册。
https://www.elastic.co/guide/cn/elasticsearch/guide/current/foreword_id.html

1.  从最简单的查询开始

GET /_search

{"hits" : {"total" :       14,"hits" : [{"_index":   "us","_type":    "tweet","_id":      "7","_score":   1,"_source": {"date":    "2014-09-17","name":    "John Smith","tweet":   "The Query DSL is really powerful and flexible","user_id": 2}},... 9 RESULTS REMOVED ...],"max_score" :   1},"took" :           4,"_shards" : {"failed" :      0,"successful" :  10,"total" :       10},"timed_out" :      false
}

从官方给的例子看下这些参数的含义。
hits 结果集
    - _index document的属性
    - type document的属性
    - _id document的属性
    - _score 对搜索的匹配性(越匹配,得分越高)
    - _source 就是存进去的value
took 请求花费时间
timeout 超时时间(默认不超时,可以指定 GET /_search?timeout=10ms)
shards 有多少个响应的分片,多少成功/失败
之所以hits 要多返回几个document的属性,避免需要的时候再去查询。

2.  稍微麻烦的查询

sql 一般都会写,介绍一个神器
神器:    Sql 转 Es 查询语句 
http://www.ischoolbar.com/EsParser/

举个例子
sql:

select name,number from sys_user order by create_time desc limit 10

es query:

{"from":0,"size":"10","sort":[{"create_time":{"order":"DESC"}}],"_source":{"include":["name","number"]}}

如图所示:

上面的例子还是太简单了,如果想做分组后求和呢。
如图所示:


3.  es数据展示


这次模拟的是二次分组的数据情况,某个时间段的按分钟分组,获取有多少分钟,再获取这一分钟内数据的分组情况(每分钟有多少数据)。
es sql :uid_aggs 代表第一次分组的字段,keyword_aggs 是第二次分组后的详情数据

{"aggs": {"all": {"terms": {"field": "currentMinutes.keyword","size": 100}},"keyword_aggs": {"aggs": {"top": {"top_hits": {"size": 100}}},"terms": {"field": "currentMinutes.keyword","size": 100}},"uid_aggs": {"cardinality": {"precision_threshold": 120,"field": "currentMinutes.keyword"}}},"query": {"bool": {"must": [{"range": {"currentTime.keyword": {"gte": "2020-08-05 14:43","lte": "2020-08-05 14:45"}}}],"must_not": [],"should": []}},"sort": [{"currentTime.keyword": {"order": "desc"}}]
}

结果:
我把返回的详细数据hits删掉了,主要看一下 aggregations 里边的内容。
返回的参数说明:
uid_aggs 就是请求查询传入的参数,这里返回的是,按分钟分组的数量。
allbuckets 的key为二次分组字段,doc_count 为二次分组对应的数据量。
keyword_aggsbuckets 展示了all的buckets 对应的数据详情。

{"took": 5,"timed_out": false,"_shards": {"total": 5,"successful": 5,"skipped": 0,"failed": 0},"hits": {"total": 5,"max_score": null,"hits": [{// 数据暂时删掉了...}]},"aggregations": {"all": {"doc_count_error_upper_bound": 0,"sum_other_doc_count": 0,"buckets": [{"key": "2020-08-05 14:44","doc_count": 3},{"key": "2020-08-05 14:43","doc_count": 2}]},"uid_aggs": {"value": 2},"keyword_aggs": {"doc_count_error_upper_bound": 0,"sum_other_doc_count": 0,"buckets": [{"key": "2020-08-05 14:44","doc_count": 3,"top": {"hits": {"total": 3,"max_score": 1.0,"hits": [{"_index": "apm-report-app2020-08-05","_type": "info","_id": "7cpdvXMBjkzeFkDgwB3t","_score": 1.0,"_source": {"dvid": "D3B6D5FBC668B731E52BC08D9FE23EAB","showName": "车系列表","appVer": "10.36.0","groupId": 3,"weight": 1,"pageId": 30001,"apiTime": 541.3210391998291,"platform": 2,"currentTime": "2020-08-05 14:44:53.292","loadTime": 584.99908447265625,"@timestamp": "2020-08-05 14:44:53","currentMinutes": "2020-08-05 14:44","viewTime": 43.678998947143555,"requestId": "BD43986C-7995-4F93-84F7-B4D65E8BE5EB","cName": "BPCSerialListRootVC"}},{"_index": "apm-report-app2020-08-05","_type": "info","_id": "7spdvXMBjkzeFkDgxh2B","_score": 1.0,"_source": {"dvid": "D3B6D5FBC668B731E52BC08D9FE23EAB","showName": "车型综述页","appVer": "10.36.0","groupId": 3,"weight": 1,"pageId": 30007,"apiTime": 456.7570686340332,"platform": 2,"currentTime": "2020-08-05 14:44:54.721","loadTime": 720.36707401275635,"@timestamp": "2020-08-05 14:44:54","currentMinutes": "2020-08-05 14:44","viewTime": 263.61000537872314,"requestId": "DCE5F4A4-40AC-4EB4-BCCF-ABACCFC7FF01","cName": "BPCOverPagesViewController"}},{"_index": "apm-report-app2020-08-05","_type": "info","_id": "78pdvXMBjkzeFkDgyB1A","_score": 1.0,"_source": {"dvid": "D3B6D5FBC668B731E52BC08D9FE23EAB","showName": "车型-图片列表","appVer": "10.36.0","groupId": 3,"weight": 1,"pageId": 30015,"apiTime": 129.27305698394775,"platform": 2,"currentTime": "2020-08-05 14:44:55.168","loadTime": 150.16889572143555,"@timestamp": "2020-08-05 14:44:55","currentMinutes": "2020-08-05 14:44","viewTime": 20.89691162109375,"requestId": "A1DA2749-A56B-4AFE-BF83-ECDF82806152","cName": "BPImageVideoViewController"}}]}}},{"key": "2020-08-05 14:43","doc_count": 2,"top": {"hits": {"total": 2,"max_score": 1.0,"hits": [{"_index": "apm-report-app2020-08-05","_type": "info","_id": "7MpcvXMBjkzeFkDg2x17","_score": 1.0,"_source": {"dvid": "D3B6D5FBC668B731E52BC08D9FE23EAB","showName": "车型-图片列表","appVer": "10.36.0","groupId": 3,"weight": 1,"pageId": 30015,"apiTime": 269.10901069641113,"platform": 2,"currentTime": "2020-08-05 14:43:54.553","loadTime": 334.06901359558105,"@timestamp": "2020-08-05 14:43:54","currentMinutes": "2020-08-05 14:43","viewTime": 64.961075782775879,"requestId": "E5105DA7-5914-41ED-A76E-5DF39CF38588","cName": "BPImageVideoViewController"}},{"_index": "apm-report-app2020-08-05","_type": "info","_id": "68pcvXMBjkzeFkDg1h2t","_score": 1.0,"_source": {"dvid": "D3B6D5FBC668B731E52BC08D9FE23EAB","showName": "车型综述页","appVer": "10.36.0","groupId": 3,"weight": 1,"pageId": 30007,"apiTime": 488.01600933074951,"platform": 2,"currentTime": "2020-08-05 14:43:53.324","loadTime": 539.05403614044189,"@timestamp": "2020-08-05 14:43:53","currentMinutes": "2020-08-05 14:43","viewTime": 51.03909969329834,"requestId": "B370AB84-3A6E-4C48-9DF2-4F6E1855567B","cName": "BPCOverPagesViewController"}}]}}}]}}
}

4.  Java代码转换

将写好的es json放到 resouces目录下,变量用唯一字符表示,等读取sql的时候再替换。
读取resources下json的代码。

/*** 加载查询* @param path 路径* @return string*/
private String getQueryJsonStr(String path) {//加载json文件ClassPathResource classPathResource = new ClassPathResource(path);String queryJson=null;try (InputStream in = classPathResource.getInputStream();BufferedReader br = new BufferedReader(new InputStreamReader(in))) {StringBuilder message = new StringBuilder();String line = null;while ((line = br.readLine()) != null) {message.append(line);}queryJson = message.toString();} catch (Exception e) {}return queryJson;
}

拼装替换的map参数,这里以时间为例

/*** es查询时间* @param beginTime beginTime* @param endTime endTime* @return Map*/private Map<String,String> buildEsQueryMap(String beginTime, String endTime){Map<String,String> params = new HashMap<>();//初始化时间if (StringUtils.isEmpty(beginTime)){beginTime = DateUtil.getCurrDate()+" 00:00:00";}if (StringUtils.isEmpty(endTime)){endTime = DateUtil.getCurrTime();//当前时间}params.put("{beginTime}", beginTime);params.put("{endTime}", endTime);return params;}

遍历替换json

for (Map.Entry<String, String> entry : params.entrySet()) {queryJson=queryJson.replace(entry.getKey(), entry.getValue());
}

发送http请求查询,queryJson就是替换后的es查询json

HttpHeaders headers = new HttpHeaders();
MediaType type = MediaType.parseMediaType("application/json; charset=UTF-8");
headers.setContentType(type);
headers.add("Accept", MediaType.APPLICATION_JSON.toString());
HttpEntity<String> formEntity = new HttpEntity<>(queryJson, headers);
//查询
result= restTemplate.postForEntity(url,formEntity,JSONObject.class).getBody();

5. 总结


es的学习成本确实有点高,文档又多又杂。更多的看官方文档吧。
英文版:
https://www.elastic.co/guide/en/elasticsearch/reference/current/search-search.html
中文版:(基于 Elasticsearch 2.x 版本)
https://www.elastic.co/guide/cn/elasticsearch/guide/current/query-dsl-intro.html

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/412644.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

阿里云服务器邮件发送

一个邮件发送的功能&#xff0c;本机调试无问题&#xff0c;但发布到阿里云服务器后邮件发送功能失败。 网上查了下大概是说阿里云把发送邮件的25端口禁用掉了 那么解决方式一就是向阿里云申请开放25端口&#xff0c;但具体如何申请&#xff0c;并未深入操作。 解决方式二&…

全链路追踪竟然如此简单? bytebuddy搭建全链路追踪的demo 附代码

大家好&#xff0c;我是烤鸭&#xff1a; 最近一直在研究全链路追踪&#xff0c;比如cat、skywalking、zipkin等。 发现 skywalking 是基于bytebuddy 实现的&#xff0c;想自己试着写一下demo。 demo的git地址,感兴趣的可以自己试下。代码在idea中可以跑,至于其他场…

echarts地图的基本使用配置

一、空气质量图 代码和配置如下&#xff1a; <template><div class"box"><div id"map"></div></div> </template><script>import china from echarts/map/js/china.js export default {data(){return {}},mount…

从源码角度分析下 micrometer 自定义 metrics endpoint 和 springboot actuator

大家好&#xff0c;我是烤鸭&#xff1a; 今天分享下 micrometer 的源码&#xff0c;和springboot集成 自定义endpoint 的使用。 1. 文档信息 官方文档&#xff1a; http://micrometer.io/docs github&#xff1a; https://github.com/micrometer-metrics/micrometer s…

云打码

1、云打码平台注册开发者模式用户登录 2、建立项目&#xff0c;下载项目案列代码接口 代码如下&#xff1a; 1 import http.client, mimetypes, urllib, json, time, requests2 3 ######################################################################4 5 class YDMHttp:6 …

Perhaps you are running on a JRE rather than a JDK? 关于 idea maven 缓存的问题 清理 idea maven 缓存

大家好&#xff0c;我是烤鸭&#xff1a; 1. 先检查是否环境变量的问题 参考这篇 https://blog.csdn.net/mingjie1212/article/details/106963143 2. 如果确定环境变量没问题 执行maven install的时候报错&#xff0c;Perhaps you are running on a JRE rather than a JDK …

swift - 使用系统app导航

import UIKit//1.导入框架 import MapKitclass ViewController: UIViewController {lazy var geoCoder : CLGeocoder {return CLGeocoder()}()override func touchesBegan(_ touches: Set<UITouch>, with event: UIEvent?) {geoCoder.geocodeAddressString("广州&…

springcloud gateway 使用nacos 作为配置中心 和 注册中心

大家好&#xff0c;我是烤鸭&#xff1a; 今天分享下 springcloud gateway 使用nacos作为配置中心和注册中心&#xff0c;主要是还是配置中心。 源码下载&#xff1a; https://gitee.com/fireduck_admin/springcloud-gateway-nacos-demo 1. 本地部署nacos 下载 https://g…

springboot 拦截器的坑 WebMvcConfigurationSupport 失效

大家好&#xff0c;我是烤鸭&#xff1a; 今天遇到一个拦截器失效的问题&#xff0c;具体看源码分析下。 环境: springboot 2.x spring 5.x 1. 先说下业务场景 需求是对请求进入时和离开时对和线程id绑定&#xff0c;用的Threadlocal&#xff0c;现在有一个问题&#xff0…

skywalking 源码解析——多线程变量传递 EnhancedInstance

大家好&#xff0c;我是烤鸭&#xff1a; 今天分享下 skywalking源码&#xff0c;正好自己用到相关的内容了。 1. 拦截点 三个主要的拦截器、构造方法、静态方法和示例方法&#xff0c;每个切面里都可以重写这些方法&#xff0c;并且指定进入的拦截器。 2. trace 相关内容 …

2018-2019-1 20165303 实验五 通讯协议设计

任务一 Linux下OpenSSL的安装与使用 前往OpenSSL官网&#xff0c;选择打开OpenSSL源码下载地址&#xff0c;按照下图所示方法下载压缩包“openssl-master.zip Linux下使用unzip openssl-master.zip命令解压 安装的具体命令如下&#xff1a;$ ./config$ make$ make test$ make i…

从字节码看 finally关键字、异常表

大家好&#xff0c;我是烤鸭&#xff1a; 今天说下 finally 这个关键字。 1. 认识finally finally 总是跟 try、catch一起出现&#xff0c;finally是执行方法结束一定要执行的代码&#xff0c;比如流关闭等等。 finally是如何实现在异常捕捉之后保证执行 finally 代码块里的…

Unhandled exception: org.springframework.beans.factory.BeanDefinitionStoreException

大家好&#xff0c;我是烤鸭&#xff1a; ​ 使用 idea 莫名其妙的错误。 无法编译 异常已经 catch 住了&#xff0c;提示明显是有问题的。 再看一下 maven install 的结果 Error:(99, 100) java: 无法访问org.springframework.core.env.EnvironmentCapable 找不到org.spr…

springcloud gateway 源码解析、请求响应流程、第三方响应结果在 gateway 的经过

大家好&#xff0c;我是烤鸭&#xff1a; 1. 官方介绍 官方文档&#xff1a; 看的是 2.2.5.RELEASE 版本的 https://docs.spring.io/spring-cloud-gateway/docs/2.2.5.RELEASE/reference/html/ 看一下官方这段说明&#xff0c;gateway 使用的是 webflux 和 reactor&#x…

改logback logstash-logback-encoder 框架本身的日志级别

大家好&#xff0c;我是烤鸭&#xff1a; 最近遇到一个问题&#xff0c;想把logback框架本身的日志级别修改&#xff0c;需要 logstash-logback-encoder 6.1 以上的版本才可以。 直接上代码 这里修改的不是业务日志级别&#xff0c;是 logback 框架本身(确切地说是 logstash…

idea首次创建新模块的详细操作

依赖网址:https://mvnrepository.com/artifact/javax.servlet/javax.servlet-api/3.1.0 https://mvnrepository.com/artifact/javax.servlet.jsp/javax.servlet.jsp-api/2.3.1 https://mvnrepository.com/artifact/org.springframework/spring-webmvc 创建文件夹 修改版本号 配…

markdown 常用语法总结 - 个人版

这里并不是要总结所有的 markdown 语法&#xff0c;只是总结笔者自己撰写博客时常用的一些 markdown 语法。 1 图片设置 1.1 设置图片位置 利用markdown在编写文档时插入图片是默认靠左&#xff0c;有些时候将图片设置为居中时可以更加的美观&#xff0c;这时就需要在图片的信息…

PostgreSQL 、springboot 、spring data jpa 集成

项目地址&#xff1a;https://gitee.com/zhxs_code/PostgreSQL_springboot_jpa_demo.git 增删查改都已经实现。 重点部分&#xff1a; 1.定义自己的方言。 1 package com.zxl.postgrespringdemo.config.dialect;2 3 import org.hibernate.dialect.PostgreSQL94Dialect;4 import…

RedisTemplate value序列化导致的问题

大家好&#xff0c;我是烤鸭&#xff1a; ​ 今天分享一个redisTemplate 使用时&#xff0c;value 序列化的问题。 1. 问题描述 其实我最开始遇到的问题是&#xff1a; stringRedisTemplate.opsForSet().isMember(key,value)一直返回false问题&#xff0c;下边博客给出了…

[css] 如何实现换肤功能?

[css] 如何实现换肤功能&#xff1f; css 换肤常见方案 是通过 less/sass/postcss 等css 预处理器&#xff0c;通过它们自身的变量用法&#xff0c;设置不同变量&#xff0c;生成不同的主题样式&#xff0c;但是这些样式都是会被打包成常量&#xff0c;我们只能在编译之前修改…