在之前的文章 “Elasticsearch：使用 Runtime fields 对索引字段进行阴影处理以修复错误 – 7.11 发布”，我展示了如何使用 runtime field 来 shadow 一个已有的在 mapping 中的字段，比如 duration。在今天的练习中，我将展示如何创建一个崭新的字段并进行数据的统计。在这里请注意的是：新增加的 runtime field 并不在 source 中添加，而只是在查询时生成的，也即 schema on read。
在接下来的练习中，它包含创建 runtime field 的演示，其中从包含日期的时间戳字段中计算星期几。 然后使用索引字段和新创建的 runtime field 在 Kibana Lens 中创建可视化文件。 Runtime field 是在 Elasticsearch 中读取时为 schema 的实现提供的名称。
展示
我们先来创建一个 index mapping：
#Create the index mapping
PUT date_to_day
{
"mappings": {
"properties": {
"timestamp": {
"type": "date",
"format": "yyyy-MM-dd"
},
"response_code": {
"type": "integer"
}
}
}
}
在上面，我们展示了两个字段： timestamp 以及 response_code。由于有一个时间戳，我们可以从这个时间戳中导出时间所在的 day of week，也就是星期几。这个对于我们想对一周的每一天统计非常有用。
我们通过如下的 bulk API 来导入数据：
#Load a few documents to work with
POST date_to_day/_bulk
{"index":{}}
{"response_code": 200, "timestamp": "2021-01-01"}
{"index":{}}
{"response_code": 300, "timestamp": "2021-01-03"}
{"index":{}}
{"response_code": 200, "timestamp": "2021-01-04"}
{"index":{}}
{"response_code": 400, "timestamp": "2021-01-01"}
{"index":{}}
{"response_code": 300, "timestamp": "2021-01-05"}
{"index":{}}
{"response_code": 200, "timestamp": "2020-12-21"}
{"index":{}}
{"response_code": 200, "timestamp": "2021-01-02"}
{"index":{}}
{"response_code": 200, "timestamp": "2021-01-08"}
{"index":{}}
{"response_code": 300, "timestamp": "2021-01-09"}
{"index":{}}
{"response_code": 400, "timestamp": "2021-01-09"}
由于我们想对一周内的每一天来进行统计。一种办法是重新建立一个新的 mapping。在这个新的 mapping 里包含这个 day of week 的定义。并在数据导入之前我们对数据进行处理。在实际的使用中，面对大量的已有数据，这样的处理可能非常费力。我们可以使用 runtime field 来完成想要的功能。
在搜索请求时使用
由于 runtime field 是动态生成的，它需要计算机来进行处理。在很多的时候，我们并不想修改 mapping 来完成。我们只想针对一些搜索来进行生成这个 runtime field，或者只是作为在修改 mapping 前的一个练习来验证 runtime field 的正确性。我们使用如下的命令来生产这类的 runtime field:
#Create an ephemeral runtime field for day of week and aggregate on it
GET date_to_day/_search
{
"runtime_mappings": {
"day_of_week": {
"type": "keyword",
"script": {
"source": """emit(doc['timestamp'].value.dayOfWeekEnum.getDisplayName(TextStyle.SHORT, Locale.ROOT))"""
}
}
},
"size": 0,
"aggs": {
"terms": {
"terms": {
"field": "day_of_week"
}
}
}
}
在上面的命令中，我们可以仔细阅读这个部分：
"runtime_mappings": {
"day_of_week": {
"type": "keyword",
"script": {
"source": """emit(doc['timestamp'].value.dayOfWeekEnum.getDisplayName(TextStyle.SHORT, Locale.ROOT))"""
}
}
},
这个不是是使用 script 来生成一个叫做 day_of_week 的 runtime 字段。而这个字段只存在于这个搜索中。在执行完这个搜索后，这字段将自动消失。这个 day_of_week 字段是根据 timestamp 导引出来的，是之前的 mapping 中完全没有的字段。
上面命令的执行结果为：
{
"took" : 16,
"timed_out" : false,
"_shards" : {
"total" : 1,
"successful" : 1,
"skipped" : 0,
"failed" : 0
},
"hits" : {
"total" : {
"value" : 10,
"relation" : "eq"
},
"max_score" : null,
"hits" : [ ]
},
"aggregations" : {
"terms" : {
"doc_count_error_upper_bound" : 0,
"sum_other_doc_count" : 0,
"buckets" : [
{
"key" : "Fri",
"doc_count" : 3
},
{
"key" : "Sat",
"doc_count" : 3
},
{
"key" : "Mon",
"doc_tgcodecount" : 2
},
{
"key" : "Sun",
"doc_count" : 1
},
{
"key" : "Tue",
"doc_count" : 1
}
]
}
}
}
在上面显示，我们对一周内的每一天进行了统计。
在 index mapping 中使用
当然在很多的情况下，我们希望这个字段一直存在于索引的 mapping 中。这样做的好处是，我们可以在 Kibana 中的可视化中直接使用被定义的 runtime fields。我们可以通过如下的方法来定义：
#Add the runtime field to the index mapping
PUT date_to_day/_mapping
{
"runtime": {
"day_of_week": {
"type": "keyword",
"script": {
"source": """emit(doc['timestamp'].value.dayOfWeekEnum.getDisplayName(TextStyle.SHORT, Locale.ROOT))"""
}
tgcode }
}
}
我们可以通过如下的命令来查看 date_to_day 索引的 mapping：
{
"date_to_day" : {
"mappings" : {
"runtime" : {
"day_of_week" : {
"type" : "keyword",
"script" : {
"source" : "emit(doc['timestamp'].value.dayOfWeekEnum.getDisplayName(TextStyle.SHORT, Locale.ROOT))",
"lang" : "painless"
}
}
},
"properties" : {
"response_code" : {
"type" : "integer"
},
"timestamp" : {
"type" : "date",
"format" : "yyyy-MM-dd"
}
}
}
}
}
我们到 Kibana 的 index pattern 中去创建一个索引模式并查看它的字段定义：
从上面我们可以看出来一个新增加的 day_of_week 的字段。
我们可以在 Kibana 中直接使用这个字段并进行可视化：
当然，也许你怀疑是不是索引的 source 是否已经包含新生成的 day_of_week 字段，我们可以通过如下的命令来查看：
GET date_to_day/_search
上面的命令显示：
{
"took" : 1,
"timed_out" : false,
"_shards" : {
"total" : 1,
"successful" : 1,
"skipped" : 0,
"failed" : 0
},
"hits" : {
"total" : {
"value" : 10,
"relation" : "eq"
},
"max_score" : 1.0,
"hits" : [
{
"_index" : "date_to_day",
"_type" : "_doc",
"_id" : "_iyDlXcBjSpwk8PH7vNz",
"_score" : 1.0,
"_source" : {
"response_code" : 200,
"timestamp" : "2021-01-01"
}
},
{
"_index" : "date_to_day",
"_type" : "_doc",
"_id" : "_yyDlXcBjSpwk8PH7vNz",
"_score" : 1.0,
"_source" : {
"response_code" : 300,
"timestamp" : "2021-01-03"
}
},
{
"_index" : "date_to_day",
"_type" : "_doc",
"_id" : "ACyDlXcBjSpwk8PH7vRz",
"_score" : 1.0,
"_source" : {
"response_code" : 200,
"timestamp" : "2021-01-04"
}
},
...
显然，我们的 source 并没有任何tgcode的改变。 day_of_week 只是 schema on read。
