es elasticsearch 几种常见查询场景 二次分组 java读取es的查询json文件

大家好,我是烤鸭:

es中几种常见的查询场景,使用java读取es的json文件进行查询。

es 中文使用手册。
https://www.elastic.co/guide/cn/elasticsearch/guide/current/foreword_id.html

1.  从最简单的查询开始

GET /_search

{"hits" : {"total" :       14,"hits" : [{"_index":   "us","_type":    "tweet","_id":      "7","_score":   1,"_source": {"date":    "2014-09-17","name":    "John Smith","tweet":   "The Query DSL is really powerful and flexible","user_id": 2}},... 9 RESULTS REMOVED ...],"max_score" :   1},"took" :           4,"_shards" : {"failed" :      0,"successful" :  10,"total" :       10},"timed_out" :      false
}

从官方给的例子看下这些参数的含义。
hits 结果集
    - _index document的属性
    - type document的属性
    - _id document的属性
    - _score 对搜索的匹配性(越匹配,得分越高)
    - _source 就是存进去的value
took 请求花费时间
timeout 超时时间(默认不超时,可以指定 GET /_search?timeout=10ms)
shards 有多少个响应的分片,多少成功/失败
之所以hits 要多返回几个document的属性,避免需要的时候再去查询。

2.  稍微麻烦的查询

sql 一般都会写,介绍一个神器
神器:    Sql 转 Es 查询语句 
http://www.ischoolbar.com/EsParser/

举个例子
sql:

select name,number from sys_user order by create_time desc limit 10

es query:

{"from":0,"size":"10","sort":[{"create_time":{"order":"DESC"}}],"_source":{"include":["name","number"]}}

如图所示:

上面的例子还是太简单了,如果想做分组后求和呢。
如图所示:


3.  es数据展示


这次模拟的是二次分组的数据情况,某个时间段的按分钟分组,获取有多少分钟,再获取这一分钟内数据的分组情况(每分钟有多少数据)。
es sql :uid_aggs 代表第一次分组的字段,keyword_aggs 是第二次分组后的详情数据

{"aggs": {"all": {"terms": {"field": "currentMinutes.keyword","size": 100}},"keyword_aggs": {"aggs": {"top": {"top_hits": {"size": 100}}},"terms": {"field": "currentMinutes.keyword","size": 100}},"uid_aggs": {"cardinality": {"precision_threshold": 120,"field": "currentMinutes.keyword"}}},"query": {"bool": {"must": [{"range": {"currentTime.keyword": {"gte": "2020-08-05 14:43","lte": "2020-08-05 14:45"}}}],"must_not": [],"should": []}},"sort": [{"currentTime.keyword": {"order": "desc"}}]
}

结果:
我把返回的详细数据hits删掉了,主要看一下 aggregations 里边的内容。
返回的参数说明:
uid_aggs 就是请求查询传入的参数,这里返回的是,按分钟分组的数量。
allbuckets 的key为二次分组字段,doc_count 为二次分组对应的数据量。
keyword_aggsbuckets 展示了all的buckets 对应的数据详情。

{"took": 5,"timed_out": false,"_shards": {"total": 5,"successful": 5,"skipped": 0,"failed": 0},"hits": {"total": 5,"max_score": null,"hits": [{// 数据暂时删掉了...}]},"aggregations": {"all": {"doc_count_error_upper_bound": 0,"sum_other_doc_count": 0,"buckets": [{"key": "2020-08-05 14:44","doc_count": 3},{"key": "2020-08-05 14:43","doc_count": 2}]},"uid_aggs": {"value": 2},"keyword_aggs": {"doc_count_error_upper_bound": 0,"sum_other_doc_count": 0,"buckets": [{"key": "2020-08-05 14:44","doc_count": 3,"top": {"hits": {"total": 3,"max_score": 1.0,"hits": [{"_index": "apm-report-app2020-08-05","_type": "info","_id": "7cpdvXMBjkzeFkDgwB3t","_score": 1.0,"_source": {"dvid": "D3B6D5FBC668B731E52BC08D9FE23EAB","showName": "车系列表","appVer": "10.36.0","groupId": 3,"weight": 1,"pageId": 30001,"apiTime": 541.3210391998291,"platform": 2,"currentTime": "2020-08-05 14:44:53.292","loadTime": 584.99908447265625,"@timestamp": "2020-08-05 14:44:53","currentMinutes": "2020-08-05 14:44","viewTime": 43.678998947143555,"requestId": "BD43986C-7995-4F93-84F7-B4D65E8BE5EB","cName": "BPCSerialListRootVC"}},{"_index": "apm-report-app2020-08-05","_type": "info","_id": "7spdvXMBjkzeFkDgxh2B","_score": 1.0,"_source": {"dvid": "D3B6D5FBC668B731E52BC08D9FE23EAB","showName": "车型综述页","appVer": "10.36.0","groupId": 3,"weight": 1,"pageId": 30007,"apiTime": 456.7570686340332,"platform": 2,"currentTime": "2020-08-05 14:44:54.721","loadTime": 720.36707401275635,"@timestamp": "2020-08-05 14:44:54","currentMinutes": "2020-08-05 14:44","viewTime": 263.61000537872314,"requestId": "DCE5F4A4-40AC-4EB4-BCCF-ABACCFC7FF01","cName": "BPCOverPagesViewController"}},{"_index": "apm-report-app2020-08-05","_type": "info","_id": "78pdvXMBjkzeFkDgyB1A","_score": 1.0,"_source": {"dvid": "D3B6D5FBC668B731E52BC08D9FE23EAB","showName": "车型-图片列表","appVer": "10.36.0","groupId": 3,"weight": 1,"pageId": 30015,"apiTime": 129.27305698394775,"platform": 2,"currentTime": "2020-08-05 14:44:55.168","loadTime": 150.16889572143555,"@timestamp": "2020-08-05 14:44:55","currentMinutes": "2020-08-05 14:44","viewTime": 20.89691162109375,"requestId": "A1DA2749-A56B-4AFE-BF83-ECDF82806152","cName": "BPImageVideoViewController"}}]}}},{"key": "2020-08-05 14:43","doc_count": 2,"top": {"hits": {"total": 2,"max_score": 1.0,"hits": [{"_index": "apm-report-app2020-08-05","_type": "info","_id": "7MpcvXMBjkzeFkDg2x17","_score": 1.0,"_source": {"dvid": "D3B6D5FBC668B731E52BC08D9FE23EAB","showName": "车型-图片列表","appVer": "10.36.0","groupId": 3,"weight": 1,"pageId": 30015,"apiTime": 269.10901069641113,"platform": 2,"currentTime": "2020-08-05 14:43:54.553","loadTime": 334.06901359558105,"@timestamp": "2020-08-05 14:43:54","currentMinutes": "2020-08-05 14:43","viewTime": 64.961075782775879,"requestId": "E5105DA7-5914-41ED-A76E-5DF39CF38588","cName": "BPImageVideoViewController"}},{"_index": "apm-report-app2020-08-05","_type": "info","_id": "68pcvXMBjkzeFkDg1h2t","_score": 1.0,"_source": {"dvid": "D3B6D5FBC668B731E52BC08D9FE23EAB","showName": "车型综述页","appVer": "10.36.0","groupId": 3,"weight": 1,"pageId": 30007,"apiTime": 488.01600933074951,"platform": 2,"currentTime": "2020-08-05 14:43:53.324","loadTime": 539.05403614044189,"@timestamp": "2020-08-05 14:43:53","currentMinutes": "2020-08-05 14:43","viewTime": 51.03909969329834,"requestId": "B370AB84-3A6E-4C48-9DF2-4F6E1855567B","cName": "BPCOverPagesViewController"}}]}}}]}}
}

4.  Java代码转换

将写好的es json放到 resouces目录下,变量用唯一字符表示,等读取sql的时候再替换。
读取resources下json的代码。

/*** 加载查询* @param path 路径* @return string*/
private String getQueryJsonStr(String path) {//加载json文件ClassPathResource classPathResource = new ClassPathResource(path);String queryJson=null;try (InputStream in = classPathResource.getInputStream();BufferedReader br = new BufferedReader(new InputStreamReader(in))) {StringBuilder message = new StringBuilder();String line = null;while ((line = br.readLine()) != null) {message.append(line);}queryJson = message.toString();} catch (Exception e) {}return queryJson;
}

拼装替换的map参数,这里以时间为例

/*** es查询时间* @param beginTime beginTime* @param endTime endTime* @return Map*/private Map<String,String> buildEsQueryMap(String beginTime, String endTime){Map<String,String> params = new HashMap<>();//初始化时间if (StringUtils.isEmpty(beginTime)){beginTime = DateUtil.getCurrDate()+" 00:00:00";}if (StringUtils.isEmpty(endTime)){endTime = DateUtil.getCurrTime();//当前时间}params.put("{beginTime}", beginTime);params.put("{endTime}", endTime);return params;}

遍历替换json

for (Map.Entry<String, String> entry : params.entrySet()) {queryJson=queryJson.replace(entry.getKey(), entry.getValue());
}

发送http请求查询,queryJson就是替换后的es查询json

HttpHeaders headers = new HttpHeaders();
MediaType type = MediaType.parseMediaType("application/json; charset=UTF-8");
headers.setContentType(type);
headers.add("Accept", MediaType.APPLICATION_JSON.toString());
HttpEntity<String> formEntity = new HttpEntity<>(queryJson, headers);
//查询
result= restTemplate.postForEntity(url,formEntity,JSONObject.class).getBody();

5. 总结


es的学习成本确实有点高,文档又多又杂。更多的看官方文档吧。
英文版:
https://www.elastic.co/guide/en/elasticsearch/reference/current/search-search.html
中文版:(基于 Elasticsearch 2.x 版本)
https://www.elastic.co/guide/cn/elasticsearch/guide/current/query-dsl-intro.html

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/412644.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

[css] 元素竖向的百分比设置是相对容器的高度吗?

[css] 元素竖向的百分比设置是相对容器的高度吗&#xff1f; 父级非 auto 的 height 时&#xff0c;子级百分比的 height 才有效。 即使父级有 min-height 或其他子级撑起的高度&#xff0c;子级百分比 height 依旧无效。个人简介 我是歌谣&#xff0c;欢迎和大家一起交流前后…

阿里云服务器邮件发送

一个邮件发送的功能&#xff0c;本机调试无问题&#xff0c;但发布到阿里云服务器后邮件发送功能失败。 网上查了下大概是说阿里云把发送邮件的25端口禁用掉了 那么解决方式一就是向阿里云申请开放25端口&#xff0c;但具体如何申请&#xff0c;并未深入操作。 解决方式二&…

全链路追踪竟然如此简单? bytebuddy搭建全链路追踪的demo 附代码

大家好&#xff0c;我是烤鸭&#xff1a; 最近一直在研究全链路追踪&#xff0c;比如cat、skywalking、zipkin等。 发现 skywalking 是基于bytebuddy 实现的&#xff0c;想自己试着写一下demo。 demo的git地址,感兴趣的可以自己试下。代码在idea中可以跑,至于其他场…

[css] 用CSS绘制一个红色的爱心

[css] 用CSS绘制一个红色的爱心 // 用过 就给贴过来了.heart {position: relative;width: 100px;height: 90px;}.heart:before,.heart:after {position: absolute;content: "";left: 50px;top: 0;width: 50px;height: 80px;background: red;border-radius: 50px 50p…

穿透内网,连接动态ip,内网ip打洞-----p2p实现原理(转)

源&#xff1a; 穿透内网&#xff0c;连接动态ip&#xff0c;内网ip打洞-----p2p实现原理转载于:https://www.cnblogs.com/LittleTiger/p/10107849.html

[css] 举例说明css中颜色的表示方法有几种

[css] 举例说明css中颜色的表示方法有几种 颜色单词: blue / lightblue / skyblue / transparent(透明)rgb(0-255, 0-255, 0-255) / rgba(0-255, 0-255, 0-255, 0-1)hsl色相: hsl(色调&#xff0c;饱和度&#xff0c;明度) hsla( 色调&#xff0c;饱和度&#xff0c;亮度&#…

关于 springcloud gateway 设置 context-path 的问题

大家好&#xff0c;我是烤鸭&#xff1a; 今天说一下遇到的问题&#xff0c;关于 springcloud gateway 设置 context-path 的问题。 1. 使用场景 由于没有申请二级域名,网关使用的地址是 xxx.com/gateway/ 用nginx转发的时候 /gateway/ 也被用来寻址。 gateway 没办法设置 con…

echarts地图的基本使用配置

一、空气质量图 代码和配置如下&#xff1a; <template><div class"box"><div id"map"></div></div> </template><script>import china from echarts/map/js/china.js export default {data(){return {}},mount…

[css] 说说position的absolute和fixed共同与不同点分别是什么?

[css] 说说position的absolute和fixed共同与不同点分别是什么&#xff1f; 相同点&#xff1a; 1、都是用来给元素定位的属性&#xff0c;具有定位元素的一切特点&#xff08;例如脱离文本流、不占据空间等等&#xff09;&#xff1b; 2、改变元素的呈现方式为display&#xf…

从源码角度分析下 micrometer 自定义 metrics endpoint 和 springboot actuator

大家好&#xff0c;我是烤鸭&#xff1a; 今天分享下 micrometer 的源码&#xff0c;和springboot集成 自定义endpoint 的使用。 1. 文档信息 官方文档&#xff1a; http://micrometer.io/docs github&#xff1a; https://github.com/micrometer-metrics/micrometer s…

云打码

1、云打码平台注册开发者模式用户登录 2、建立项目&#xff0c;下载项目案列代码接口 代码如下&#xff1a; 1 import http.client, mimetypes, urllib, json, time, requests2 3 ######################################################################4 5 class YDMHttp:6 …

[css] 手动写动画最小时间间隔是多少,为什么?

[css] 手动写动画最小时间间隔是多少&#xff0c;为什么&#xff1f; 一般浏览器的刷新频率为每秒60次&#xff0c;所以最小事件间隔为 1/60*1000 约 16.7ms个人简介 我是歌谣&#xff0c;欢迎和大家一起交流前后端知识。放弃很容易&#xff0c; 但坚持一定很酷。欢迎大家一起…

Perhaps you are running on a JRE rather than a JDK? 关于 idea maven 缓存的问题 清理 idea maven 缓存

大家好&#xff0c;我是烤鸭&#xff1a; 1. 先检查是否环境变量的问题 参考这篇 https://blog.csdn.net/mingjie1212/article/details/106963143 2. 如果确定环境变量没问题 执行maven install的时候报错&#xff0c;Perhaps you are running on a JRE rather than a JDK …

[css] 怎样把一个div居中?怎样把一个浮动元素居中?怎样把绝对定位的div居中?

[css] 怎样把一个div居中&#xff1f;怎样把一个浮动元素居中&#xff1f;怎样把绝对定位的div居中&#xff1f; 主要用到:text-alin: center;margin: 0 auto;position: relative | absolute; left: 50%;vertical-align: middle;transform: translate(-50%);个人简介 我是歌谣…

swift - 使用系统app导航

import UIKit//1.导入框架 import MapKitclass ViewController: UIViewController {lazy var geoCoder : CLGeocoder {return CLGeocoder()}()override func touchesBegan(_ touches: Set<UITouch>, with event: UIEvent?) {geoCoder.geocodeAddressString("广州&…

springcloud gateway 使用nacos 作为配置中心 和 注册中心

大家好&#xff0c;我是烤鸭&#xff1a; 今天分享下 springcloud gateway 使用nacos作为配置中心和注册中心&#xff0c;主要是还是配置中心。 源码下载&#xff1a; https://gitee.com/fireduck_admin/springcloud-gateway-nacos-demo 1. 本地部署nacos 下载 https://g…

[css] 用css画一个太阳

[css] 用css画一个太阳 // css.sun {margin: 200px;width: 200px;height: 200px;border-radius: 50%;background: red;box-shadow: 0 0 21px #fe9e9e;position: relative;}// ::before & ::after 辅助.sun::before {width: 0;height: 500px;content: ;border-left: 1px s…

java后台工具类-通过交易码获得方法名

import org.apache.log4j.Logger;import net.sf.json.JSONObject;public class GetResultByTransCode {private final static Logger log4j Logger.getLogger(GetResultByTransCode.class);/*** 功能描述&#xff1a;通过交易码查询服务名及方法名* param transCode* return J…

springboot 拦截器的坑 WebMvcConfigurationSupport 失效

大家好&#xff0c;我是烤鸭&#xff1a; 今天遇到一个拦截器失效的问题&#xff0c;具体看源码分析下。 环境: springboot 2.x spring 5.x 1. 先说下业务场景 需求是对请求进入时和离开时对和线程id绑定&#xff0c;用的Threadlocal&#xff0c;现在有一个问题&#xff0…

[css] 你有用过哪些css框架?说说它们的特点

[css] 你有用过哪些css框架&#xff1f;说说它们的特点 bootstrap 不够全&#xff0c;所以后来基本都是借鉴思路取长补短自己写的 css 类库或原子类库。 animate.css 用起来很爽&#xff0c;主要用于滚动和小动效。过渡动画当然还是 clip.js 来弄的。 Tent CSS&#xff0c;WeU…