重生之我们在ES顶端相遇第5章-常用字段类型

思维导图

在这里插入图片描述

前置

在第4章，我们提到了 keyword（一笔带过）。在本章，我们将介绍 ES 的字段类型。全面的带大家了解 ES 各个字段类型的使用场景。

字段类型

ES 支持以下字段类型（仅介绍开发中常用，更多内容请自行阅读 官方文档）。

Keyword
基本介绍

手动设置字段类型为 keyword

PUT /test3
{"mappings": {"properties": {"tags": {"type": "keyword"}}}
}

写入数据

PUT /test3/_doc/1
{"tags": "hello world"
}

keyword 其实就是字符串，输入什么，存储就是什么。

适用场景

keyword 适用于 排序、聚合、term(精确查询) 查询场景中。
例如

GET /test3/_search
{"query": {"term": {"tags": {"value": "hello"}}}
}
查询优化

有 2 个对查询优化重要的点：

  1. 数字类型(int, long)如果不需要使用范围查询，则建议设置为 keyword
  2. term 查询在 keyword 上的搜索速度总是快于数字类型。
Text
基本介绍

与 keyword 相对的则是 text。在第三章，我们介绍了全文搜索 match 的用法。你可能会好奇，为啥默认写入的数据就可以使用全文搜索。因为当输入是无规则字符串时，字段类型就是 text。（别着急，默认的字段类型，一会我们就会详细介绍）

手动设置字段类型为 text

# 先删除索引
DELETE test3PUT /test3
{"mappings": {"properties": {"tags": {"type": "text"}}}
}
适用场景

text 适用场景：全文搜索
text 字段会对输入进行分词。
例如

PUT /test3/_doc/1
{"tags": "hello world"
}

tags 会被分词存储为 hello、world 2个词。
当然，具体被分词为什么，其实跟我们设置的分词器有关（后续讲解，这里先有个概念）。

不适用场景

text 不适用场景：排序、聚合、脚本。
如果你在 text 字段上，进行排序、聚合，或者脚本操作，都会收到以下异常。
Text fields are not optimised for operations that require per-document field data like aggregations and sorting, so these operations are disabled by default. Please use a keyword field instead. Alternatively, set fielddata=true on [name] in order to load field data by uninverting the inverted index. Note that this can use significant memory.

例如：

GET /test3/_search
{"sort": [{"tags": {"order": "desc"}}]
}# 聚合
GET /test3/_search
{"size": 0,"aggs": {"popular_tags": {"terms": {"field": "tags"}}}
}# 脚本操作
GET /test3/_search
{"query": {"script": {"script": "doc['tags'].value == 'hello'"}}
}
illegal_argument_exception 异常解决方式

要解决该异常，有2种方法

  1. 使用多字段类型,即在该字段上面再建一个 keyword 类型(强烈建议)
DELETE test3PUT test3
{"mappings": {"properties": {"tags": {"type": "text","fields": {"keyword": {"type": "keyword"}}}}}
}

排序、聚合时，则使用 tags.keyword。需要全文索引时，依然可以使用 tags 字段。

GET /test3/_search
{"sort": [{"tags.keyword": {"order": "desc"}}]
}
  1. text 字段上启用 fielddata(不建议！不建议！不建议！)
DELETE test3PUT /test3/_mapping
{"properties": {"tags": {"type": "text","fielddata": true}}
}

PS：在 text 字段上启用 fielddata，会消耗非常大的内存！！！

Date

手动指定字段类型为 date

PUT /test3
{"mappings": {"properties": {"ctime": {"type": "date"}}}
}

未指定 format 参数时，默认的值为 strict_date_optional_time||epoch_millis
该默认值接收以下数据

# 秒时间戳
PUT /test3/_doc/1
{"ctime": 1721135125
}
# 毫秒时间戳
PUT /test3/_doc/2
{"ctime": 1721135125000
}
# datetime
PUT /test3/_doc/3
{"ctime":"2024-07-16T12:10:30Z"
}
# date
PUT /test3/_doc/4
{"ctime": "2024-07-15"
}# 对数据排序
GET test3/_search
{"sort": { "ctime": "asc"} 
}
format 参数

我们可以手动指定允许的数据格式。例如

PUT /test3
{"mappings": {"properties": {"ctime": {"type": "date","format": "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis||epoch_second"}}}
}
存储时间仅为秒时间戳

如果时间为秒时间戳，可以考虑使用 epoch_second

PUT my-index-000001
{"mappings": {"properties": {"ctime": {"type":   "date","format": "strict_date_optional_time||epoch_second"}}}
}PUT /test3/_doc/1
{"ctime": 1721135125
}# 以下查询，时间会被格式化
GET test3/_search
{"fields": [ {"field": "ctime"}]
}
数字类型

在复习一下，如果不需要范围查询，建议使用 keyword 存储(后续在进阶篇会讲原理)。

scaled_float

ES 除了支持常见的数字类型。如：long、integer、short、byte、double、float
还针对浮点数，有一个优化的类型 scaled_float。
如果我们能够得知我们的浮点数最多有多少个小数点。使用该类型，在空间存储上会比浮点数更好。

PUT /test3
{"mappings": {"properties": {"sf": {"type": "scaled_float","scaling_factor": 100}}}
}

上面的意思为：存储时，* 100。即，将浮点数变为整数。

Boolean
PUT /test3
{"mappings": {"properties": {"enable": {"type": "boolean"}}}
}
  • false, “false”, “” (empty string) 均被认为是 false
  • true, “true” 均被认为是 true
POST /test3/_doc
{"enable": false
}
POST /test3/_doc
{"enable": "false"
}
POST /test3/_doc
{"enable": ""
}
POST /test3/_doc
{"enable": true
}
POST /test3/_doc
{"enable": "true"
}GET /test3/_search
{"query": {"term": {"enable": {"value": false}}}
}
Object

写入一个 manager 对象

PUT test3/_doc/1
{ "region": "US","manager": { "age":     30,"name": { "first": "John","last":  "Smith"}}
}

在 ES 内部，该文档被索引为一个简单的键值对列表，大致如下

{"region":             "US","manager.age":        30,"manager.name.first": "John","manager.name.last":  "Smith"
}

例如，我们可以查询 manager.age=30 的文档

GET /test3/_search
{"query": {"term": {"manager.age": {"value": 30}}}
}

上述文档的显式映射如下

PUT /test3
{"mappings": {"properties": { "region": {"type": "keyword"},"manager": { "properties": {"age":  { "type": "integer" },"name": { "properties": {"first": { "type": "text" },"last":  { "type": "text" }}}}}}}
}
Array
  1. 不支持混合数据类型的数组
POST /test3/_doc
{"arr": ["12", 12, false]
}
  1. 无法查询数组中的每个对象
PUT test3/_doc/1
{"group" : "fans","user" : [ {"first" : "John","last" :  "Smith"},{"first" : "Alice","last" :  "White"}]
}# 查询 user.first=Alice & user.last=White。你可能会使用以下写法，但实际上并不能正确工作GET test3/_search
{"query": {"bool": {"must": [{ "match": { "user.first": "Alice" }},{ "match": { "user.last":  "Smith" }}]}}
}

如果你的索引结构是这么设计的，并且有这样的需求，可能需要考虑下如何做优化了。例如，将表铺平。

PS：虽然 nested 嵌套类型可以解决该问题，但开发中会尽可能的把数据结构铺平，从而避免使用 nested 嵌套类型。这里不对 nested 过多介绍，因为开发中真的很不推荐使用。

  1. 开发中仅推荐基本数据类型数组，不推荐对象数组，如果你有第2 点描述的查询需求
PUT test3
{"mappings": {"properties": {"arr": {"type": "keyword"}}}
}PUT test3/_doc/1
{"arr": ["1", "2", "3"]
}GET test3/_search
{"query": {"term": {"arr": {"value": "1"}}}
}

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/web/48287.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

AI App Store-AI用户评价-多维度打分对比pk-AI社区

AI App Store-AI用户评价-多维度打分对比pk-AI社区

C端用户、创作者、AI达人们在选择众多国内外AI厂商的服务时候往往感到一头雾水，那么多功能接近的AI应用(智能对话类、文档总结类、文生图、AI搜索引擎) 究竟在不同用户需求场景下表现怎么样。大部分人如果有需求都会所有平台都尝试一遍，比如一个博主生成…
阅读更多...
C++自定义字典树结构

C++自定义字典树结构

代码 #include <iostream> using namespace std;class TrieNode { public:char data;TrieNode* children[26];bool isTerminal;TrieNode(char ch){data ch;for (int i 0; i < 26; i){children[i] NULL;}isTerminal false;} }; class Trie { public:TrieNode* ro…
阅读更多...
基于区块链技术的中药饮片代煎配送服务与监管平台

基于区块链技术的中药饮片代煎配送服务与监管平台

业务背景 近年来&#xff0c;随着公众对中医药青睐有加&#xff0c;中药代煎服务作为中医药现代化的重要一环&#xff0c;在全国各地蓬勃兴起。鉴于传统煎煮方式的繁琐耗时&#xff0c;医疗机构纷纷转向与第三方中药饮片企业合作&#xff0c;采用集中代煎模式。这些第三方煎药中…
阅读更多...
Proactor模型

Proactor模型

文章目录 概述1. 异步I/O操作2. 事件通知3. 事件处理函数4. 事件循环5. 多线程支持6. 非阻塞I/O7. 可扩展性8. 错误处理9. 资源管理10. 编程复杂性11. 应用场景流程图 结论 概述 Proactor模型是一种基于异步I/O操作的事件驱动编程模型&#xff0c;主要用于处理并发的I/O事件&a…
阅读更多...
冒泡排序（数组作为函数参数）

冒泡排序（数组作为函数参数）

什么是冒泡排序&#xff1f; 冒泡排序&#xff08;Bubble Sort&#xff09;也是一种简单直观的排序算法。它重复地走访过要排序的数列&#xff0c;一次比较两个元素&#xff0c;如果他们的顺序错误就把他们交换过来。走访数列的工作是重复地进行直到没有再需要交换&#xff0c;…
阅读更多...
docker--容器数据进行持久化存储的三种方式

docker--容器数据进行持久化存储的三种方式

文章目录 为什么Docker容器需要使用持久化存储1.什么是Docker容器&#xff1f;2.什么是持久化存储&#xff1f;3.为什么Docker容器需要持久化存储&#xff1f;4.Docker如何实现持久化存储&#xff1f;(1)、Docker卷(Volumes)简介适用环境:使用场景:使用案例: (2)、绑定挂载&…
阅读更多...
pycharm+pytorch2.3.1安装

pycharm+pytorch2.3.1安装

成功运行 Anaconda简介 Anaconda 就是可以便捷获取包且对包能够进行管理&#xff0c;同时对环境可以统一管理的发行版本。Anaconda包含了conda、Python在内的超过180个科学包及其依赖项。 Anaconda安装 去官网地址下载 Download Anaconda Distribution | Anaconda​www.ana…
阅读更多...
SpringBoot启动原理详解

SpringBoot启动原理详解

透彻理解SpringBoot启动原理&#xff08;一&#xff09; 一张Spring启动顺序图我们对Spring启动原理有多少理解呢一起看一下Spring有那些扩展点和启动过程有关通过打印日志学习Spring的执行顺序实例化和初始化的区别Spring重要扩展点的启动顺序1.BeanFactoryPostProcessor2.实例…
阅读更多...
python3.10.4——Windows环境安装

python3.10.4——Windows环境安装

python下载官网&#xff1a;https://www.python.org/downloads/ 如果安装在C盘&#xff0c;需要右键→选择“以管理员身份运行” 勾选2个按钮&#xff0c;选择自定义安装 全部选择&#xff0c;点击Next 更改安装路径 命令行检查python是否安装成功&#xff1a; 出现版本号说明…
阅读更多...
内存泄漏详解

内存泄漏详解

文章目录 什么是内存泄漏内存泄漏的原因排查及解决内存泄漏避免内存泄漏及时释放资源设置合理的变量作用域及时清理不需要的对象避免无限增长避免内部类持有外部类引用使用弱引用 什么是内存泄漏 内存泄漏是指不使用的对象持续占有内存使得内存得不到释放&#xff0c;从而造成…
阅读更多...
【Hot100】LeetCode—416. 分割等和子集

【Hot100】LeetCode—416. 分割等和子集

目录 题目1- 思路2- 实现⭐152. 乘积最大子数组——题解思路 3- ACM 实现 题目 原题连接&#xff1a;416. 分割等和子集 1- 思路 理解为背包问题 思路&#xff1a; 能否将均分的子集理解为一个背包&#xff0c;比如对于 [1,5,11,5]&#xff0c;判断能否凑齐背包为 11 的容量…
阅读更多...
面试场景题系列--（1）如果系统的 QPS 突然提升 10 倍该怎么设计？--xunznux

面试场景题系列--（1）如果系统的 QPS 突然提升 10 倍该怎么设计？--xunznux

1. 如果系统的 QPS 突然提升 10 倍该怎么设计&#xff1f; 1.1 硬件的扩展微服务的拆分 如果所有的业务包括交易系统、会员信息、库存、商品等等都夹杂在一起&#xff0c;当流量一旦起来之后&#xff0c;单体架构的问题就暴露出来了&#xff0c;机器挂了所有的业务就全部无法…
阅读更多...
SSCI 二区正刊 绿色金融、财政、经济、债务、成本、创新题目：

SSCI 二区正刊 绿色金融、财政、经济、债务、成本、创新题目：

1金融科技能提升企业的双元创新能力吗&#xff1f;组织韧性xxxxx 2从财政分权到经济高质量发展&#xff1a;税收征管强度xxxxxxx 3企业智能化转型、债务融资成本与绿色xxxx 绿色金融改革能否促进地方经济高质量发展&#xff1a;基于绿色金融改革创新试验区的准xxxx 4绿色金融改…
阅读更多...
MBR60200PT-ASEMI无人机专用MBR60200PT

MBR60200PT-ASEMI无人机专用MBR60200PT

编辑&#xff1a;ll MBR60200PT-ASEMI无人机专用MBR60200PT 型号&#xff1a;MBR60200PT 品牌&#xff1a;ASEMI 封装&#xff1a;TO-247 批号&#xff1a;最新 恢复时间&#xff1a;35ns 最大平均正向电流&#xff08;IF&#xff09;&#xff1a;60A 最大循环峰值反向…
阅读更多...
win11 安装 Gradle

win11 安装 Gradle

一、win11 安装Gradle(7.5.1)&#xff1a; 1.1、下载二进制包 Gradle下载页面 1.2、配置环境变量 变量名&#xff1a;GRADLE_HOME 变量值&#xff08;二进制包解压路径&#xff09;&#xff1a;D:\develop-tool\gradle-7.5.1 变量名&#xff1a;GRADLE_USER_HOME 变量值&a…
阅读更多...
JAVA基础 - 控制语句

JAVA基础 - 控制语句

目录 一. 简介 二. 分支语句 三. 循环语句 四. 跳转语句 一. 简介 在 Java 中&#xff0c;控制语句用于控制程序的执行流程&#xff0c;根据不同的条件决定执行哪些代码块。常见的控制语句包括&#xff1a; if-else 语句&#xff1a;根据条件的真假执行不同的代码块。 swi…
阅读更多...
Spark实时（一）：StructuredStreaming 介绍

Spark实时（一）：StructuredStreaming 介绍

文章目录 StructuredStreaming 介绍 一、SparkStreaming实时数据处理痛点 1、复杂的编程模式 2、SparkStreaming处理实时数据只支持Processing Time 3、微批处理&#xff0c;延迟高 4、精准消费一次问题 二、StructuredStreaming概述 三、​​​​​​​​​​​​​​…
阅读更多...
BGP选路之AS-PATH

BGP选路之AS-PATH

原理概述 当一台BGP路由器中存在多条去往同一目标网络的BGP路由时&#xff0c;BGP协议会对这些BGP路由的属性进行比较&#xff0c;以确定去往该目标网络的最优BGP路由。首先要比较的属性是 Preferred Value&#xff0c;然后是Local Preference&#xff0c;再次是路由生成方式&a…
阅读更多...
算法学习笔记：回溯法

算法学习笔记：回溯法

回溯法有“通用的解题法”之称。用它可以系统地搜索一个问题的所有解或任一解。回溯法是一个既带有系统性又带有跳跃性的搜索算法。它在包含问题的所有解的解空间树中&#xff0c;按照深度优先的策略&#xff0c;从根节点出发搜索解空间树。算法搜索至解空间树的任一节点时&…
阅读更多...
【Android Studio】整合okhttp发送get和post请求（提供Gitee源码）

【Android Studio】整合okhttp发送get和post请求（提供Gitee源码）

前言&#xff1a;本篇博客教学大家如何使用okhttp发送同步/异步get请求和同步/异步post请求&#xff0c;这边博主把代码全部亲自测试过了一遍&#xff0c;需要源码的可以在文章最后自行拉取。 目录 一、导入依赖 二、开启外网访问权限 三、发送请求 3.1、发送同步get请求…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023