各位小伙伴们大家好,欢迎来到这个小扎扎的ElasticSearch专栏,本篇博客由B战尚硅谷的ElasticSearch视频总结而来,鉴于 看到就是学到、学到就是赚到 精神,这波依然是血赚 ┗|`O′|┛
🌆 内容速览
- 1 es数据格式
- 2 es基础操作
- 2.1 索引的增删查
- 2.1.1 创建索引
- 2.1.2 查询索引
- 2.1.3 删除索引
- 2.2 映射操作
- 2.2.1 创建映射
- 2.2.2 查看映射
- 2.3 文档的增删改查
- 2.3.1 创建文档
- 2.3.2 查询文档
- 2.3.3 修改文档
- 2.3.4 删除文档
- 3 复杂查询
- 3.1 条件分页查询
- 3.1.1 查询所有
- 3.1.2 条件查询
- 3.1.3 分页条件查询
- 3.1.4 指定字段返回
- 3.1.5 指定字段排序
- 3.2 多字段查询
- 3.2.1 and条件
- 3.2.2 or条件
- 3.2.3 值范围查询
- 3.2.4 全文检索、完全匹配
- 3.2.5 高亮返回
- 3.3 函数查询
- 3.3.1 分组group by
- 3.3.2 求和sum
- 3.3.3 求平均值avg
- 3.3.4 最大值max
- 3.3.5 最小值min
- 3.3.6 一次返回count/max/min/avg/sum
- 3.3.7 去重后取总数
1 es数据格式
Elasticsearch 是面向文档型数据库,一条数据在这里就是一个文档。为了方便大家理解,可以将 Elasticsearch 里存储文档数据和关系型数据库 MySQL 存储数据的概念进行一个类比。ES 里的 Index 可以看做一个库,而 Types 相当于表,Documents 则相当于表的行。
需要注意的是:这里 Types 的概念已经被逐渐弱化,Elasticsearch 6.X 中,一个 index 下已经只能包含一个type,Elasticsearch 7.X 中, Type 的概念已经被删除。
2 es基础操作
2.1 索引的增删查
2.1.1 创建索引
对比关系型数据库,创建索引就等同于创建数据库。通过apifox等工具,向 ES 服务器发 PUT 请求即为创建索引
http://服务器ip:9200/索引名
2.1.2 查询索引
查询指定索引
GET 请求即为查询指定索引
查看所有的索引信息
GET 请求
http://服务器ip:9200/_cat/indices?v
2.1.3 删除索引
DELETE 请求即为删除指定索引
2.2 映射操作
映射就像是mysql数据表中对字段的限制一样,映射可以指定文档的类型以及能否使用索引
2.2.1 创建映射
PUT 请求
http://服务器ip:9200/索引名/_mapping
{"properties": {"title": {"type": "text","index": true},"category": {"type": "keyword","index": true},"images": {"type": "text","index": false},"price": {"type": "long","index": true}}
}
📌 index的值若为false的话,即不可被索引,无法通过match等方式进行匹配
📌 store:是否将数据进行独立存储,默认为 false。获取独立存储的字段要比从_source 中解析快得多,但是也会占用更多的空间,所以要根据实际业务需求来设置。
📌 analyzer:分词器,这里的 ik_max_word 即使用 ik 分词器,后面讲解
2.2.2 查看映射
GET 请求
http://服务器ip:9200/索引名/_mapping
2.3 文档的增删改查
2.3.1 创建文档
向指定索引中添加文档(随机id)
POST 请求
http://服务器ip:9200/索引名/_doc
📌与索引操作不同的一点是,post请求的请求体中必须包含JSON格式的数据
向指定索引中添加文档(指定id)
如果通过以上请求创建文档的话,会对该文档返回一个随机生成的_id,后面需要通过该_id对文档进行查询。显而易见,这个随机生成的_id并不容易记忆,于是我们可以通过加一层请求的方式指定文档的_id进行创建
POST 请求
http://服务器ip:9200/索引名/_doc/id值
2.3.2 查询文档
查询指定索引下的指定文档
GET 请求
http://服务器ip:9200/索引名/_doc/id值
查询指定索引下的所有文档
GET 请求
http://服务器ip:9200/索引名/_search
2.3.3 修改文档
覆盖性修改(全量更新)
PUT 请求
http://服务器ip:9200/索引名/_doc/id值
📌全量更新的请求体中需要是全部的字段及值,因为是覆盖性修改,如果缺值的话之前的字段值就会不见
字段修改(局部更新)
POST 请求
http://服务器ip:9200/索引名/_update/id值
📌局部更新只需要在doc中嵌套想要修改的字段及值,未指定的字段值将保持原状不变
📌如果doc中嵌套的字段在之前的文档中不存在的话,将会作为新的字段及值添加到该文档中
2.3.4 删除文档
DELETE 请求
http://服务器ip:9200/索引名/_doc/id值
📌如果重复删除或者删除一个不存在的文档,会返回result:not_found
3 复杂查询
3.1 条件分页查询
3.1.1 查询所有
GET 请求
http://服务器ip:9200/索引名/_search
{"query": {"match_all": {}}
}
3.1.2 条件查询
GET 请求
http://服务器ip:9200/索引名/_search
{"query": {"match": {"category": "华为"}}
}
3.1.3 分页条件查询
GET 请求
http://服务器ip:9200/索引名/_search
{"query": {"match": {"category": "华为"}},"from": 0,"size": 2
}
📌请求体中需要使用以下json形式进行分页条件查询,其中from字段表示从第几条数据开始查询,size字段表示一页返回几条数据
📌如果想要查询指定页数的分页数据,可以通过 (页码-1)*页数算出来from字段的值
3.1.4 指定字段返回
可以通过"_source"字段指定返回结果的字段值
{"query": {"match": {"category": "华为"}},"_source": ["title","category"]
}
3.1.5 指定字段排序
可以通过"sort"字段指定字段进行排序及其顺序,desc降序asc升序
{"query": {"match": {"category": "华为"}},"sort": {"price": {"order": "desc"}}
}
3.2 多字段查询
3.2.1 and条件
must = and,转sql ——> where category = "华为" and price = 10999
{"query": {"bool": {"must": [{"match": {"category": "华为"}},{"match": {"price": 10999}}]}}
}
3.2.2 or条件
should = or,转sql ——> where category = "华为" or category = "小米"
{"query": {"bool": {"should": [{"match": {"category": "华为"}},{"match": {"category": "小米"}}]}}
}
3.2.3 值范围查询
es | 对应英文全拼 | sql |
---|---|---|
gt | greater than | > |
gte | greater than or equal | >= |
lt | less than | < |
lte | less than or equal | <= |
以下es的json请求体转sql ——> where price >= 100 and price <= 4000
{"query": {"bool": {"filter": {"range": {"price": {"gte": 100,"lte": 4000}}}}}
}
3.2.4 全文检索、完全匹配
全文检索
使用“match”进行检索的话,会将条件“卡拉米”拆成单个的字,也就是说当所有数据中category字段包含以上三个字中的任何一个查出来。
于是下面的这个json,把category为小米的文档全查出来了。如果"category": "华米"的话将查出来所有的category包含“华“和”米”的文档都查出来,也就是说小米和华为
{"query": {"match": {"category": "卡拉米"}}
}
完全匹配
如果将“match”改为“match_phrase”的话,就将是完全匹配。也就是说再使用以下json进行查询的话就会没有数据返回,除非换成“小米”或者“华为”这种全等的条件
{"query": {"match_phrase": {"category": "华米"}}
}
3.2.5 高亮返回
"highlight"字段,"pre_tags"和"post_tags"属性分别是高亮标签的前置标签和后置标签,将fields中指定字段的满足match的字拼接标签高亮返回
{"query": {"match": {"title": "华为"}},"highlight": {"pre_tags": "<font color='red'>","post_tags": "</font>","fields": {"title": {}}}
}
📌由于match是全文检索,所以会将match里的字拆成单独的字进行高亮标签的拼接
📌不支持数字形式的高亮返回
3.3 函数查询
下述函数查询与高亮highlight正好相反,他们只支持数字类型字段的查询
3.3.1 分组group by
terms = group by,转sql ——> group by price
{"aggs": {"price_groupby": { // 自定义命名"terms": {"field": "price"}}}
}
📌上面不只能查出来分组统计的数量,还能查出来所有文档的详细信息,如果不想让其返回的话,可以使用上面分页的方式"size":0
3.3.2 求和sum
sum = SUM( ),转sql ——> select SUM(price)
{"aggs": {"sum_price": {"sum": {"field": "price"}}},"size": 0
}
3.3.3 求平均值avg
avg = AVG( ),转sql ——> select AVG(price)
{"aggs": {"avg_price": {"avg": {"field": "price"}}},"size": 0
}
3.3.4 最大值max
max = MAX( ),转sql ——> select MAX(price)
{"aggs": {"max_price": {"max": {"field": "price"}}},"size": 0
}
3.3.5 最小值min
min = MIN( ),转sql ——> select MIN(price)
{"aggs": {"min_price": {"min": {"field": "price"}}},"size": 0
}
3.3.6 一次返回count/max/min/avg/sum
{"aggs": {"stats_price": {"stats": {"field": "price"}}},"size": 0
}
3.3.7 去重后取总数
cardinality = distinct + COUNT( ),转sql ——> select distinct COUNT(price)
{"aggs": {"cardinality_price": {"cardinality": {"field": "price"}}},"size": 0
}