Elasticsearch：使用 ELSER 释放语义搜索的力量：Elastic Learned Sparse EncoderR

问题陈述

在信息过载的时代，根据上下文含义和用户意图而不是精确的关键字匹配来查找相关搜索结果已成为一项重大挑战。 传统的搜索引擎通常无法理解用户查询的语义上下文，从而导致相关性较低的结果。

解决方案：ELSER

Elastic 通过其检索模型 Elastic Learned Sparse EncodeR (ELSER) 引入了该问题的解决方案。 ELSER 是由 Elastic 训练的检索模型，使你能够执行语义搜索以检索更相关的搜索结果。 此搜索类型为你提供基于上下文含义和用户意图的搜索结果，而不是精确的关键字匹配。

ELSER 是一种域外（out-of-domain）模型，这意味着它不需要对你自己的数据进行微调，使其能够开箱即用地适应各种用例。 它将索引和搜索的段落扩展为术语集合，这些术语在不同的训练数据集中经常同时出现。 这些扩展术语不是搜索术语的同义词； 他们是 learned association。

架构

ELSER 使用 Elasticsearch 排名 rank-feature 类型在索引时存储术语和权重，并在以后进行搜索。 要使用 ELSER，你必须具有适当的语义搜索订阅级别或激活试用期。更多关于订阅的信息，请参阅网站 订阅 | Elastic Stack 产品和支持 | Elastic。

如果关闭部署自动扩展，则 Elasticsearch Service 中用于部署和使用 ELSER 模型的最小专用 ML 节点大小为 4 GB。 建议打开自动缩放，因为它允许你的部署根据需求动态调整资源。

KNN 与 ELSER：

Elasticsearch 的 k 最近邻 (KNN) 搜索和 ELSER (Elastic Learned Sparse EncodeR) 都提供强大的搜索功能，但它们是针对不同类型的搜索任务而设计的，并且以根本不同的方式工作。

Elasticsearch 中的 KNN 搜索

Elasticsearch 中的 KNN 搜索功能使你能够在高维空间中查找给定向量的 “最近邻居（nearest neigbors）”。 这对于图像搜索、产品推荐和异常检测等用例特别有用，在这些用例中，你可以将项目表示为矢量，并且希望查找矢量空间中相似的其他项目。

KNN 搜索的工作原理是对每个矢量进行索引，然后使用距离函数（例如 Euclidean 距离或余弦相似度）来查找最接近给定向量的向量。 这是相似性搜索的一种形式，其目标是查找与给定项目相似的项目。

Elasticsearch 中的 ELSER

另一方面，ELSER 是由 Elastic 训练的检索模型，使你能够执行语义搜索以检索更相关的搜索结果。 此搜索类型为您提供基于上下文含义和用户意图的搜索结果，而不是精确的关键字匹配。

ELSER 是一种域外（out-of-domain）模型，这意味着它不需要对你自己的数据进行微调，使其能够开箱即用地适应各种用例。 它将索引和搜索的段落扩展为术语集合，这些术语在不同的训练数据集中经常同时出现。 这些扩展术语不是搜索术语的同义词； 他们是 learned association。

比较

虽然 KNN 和 ELSER 都可用于提高搜索结果的相关性，但它们是针对不同类型的数据和用例而设计的。 KNN 最适合以下用例：你可以将条目表示为矢量，并且你希望根据其矢量表示找到相似的条目。 另一方面，ELSER 专为你想要查找与给定查询语义相关的搜索结果的用例而设计，即使它们不共享精确的关键字匹配。

在性能方面，KNN 搜索可能是计算密集型的，尤其是在高维空间中，并且可能需要大量资源来提供快速搜索结果。 另一方面，ELSER 使用学习模型来扩展搜索词，这可以更有效，但可能需要合适的订阅级别或试用期激活。

总之，KNN 和 ELSER 之间的选择取决于您的用例的具体要求和数据的性质。

代码示例

在 Kibana 中，你可以从 Machine Learning > Trained Models、Enterprise Search > Indices 或使用开发控制台下载和部署 ELSER。你可以参考文章 “Elasticsearch：部署 ELSER - Elastic Learned Sparse EncoderR” 来在自己的电脑上部署 ELSER 模型。

使用开发控制台

在 Kibana 中，导航到开发控制台并通过运行以下 API 调用来创建 ELSER 模型配置：

PUT _ml/trained_models/.elser_model_1
{"input": {"field_names": ["text_field"]}
}

上述命令返回：

{"model_id": ".elser_model_1","model_type": "pytorch","model_package": {"packaged_model_id": "elser_model_1","model_repository": "https://ml-models.elastic.co","minimum_version": "8.8.0","size": 438123276,"sha256": "95f645a3ab8dc66a33de7892391a41ef4fc609a74d21d7b3f7fdd973d58dfe06","metadata": {},"tags": [],"vocabulary_file": "elser_model_1.vocab.json"},"created_by": "api_user","version": "8.8.2","create_time": 1690432777746,"model_size_bytes": 0,"estimated_operations": 0,"license_level": "platinum","description": "Elastic Learned Sparse EncodeR v1 (Tech Preview)","tags": ["elastic"],"metadata": {},"input": {"field_names": ["text_field"]},"inference_config": {"text_expansion": {"vocabulary": {"index": ".ml-inference-native-000001"},"tokenization": {"bert": {"do_lower_case": true,"with_special_tokens": true,"max_sequence_length": 512,"truncate": "first","span": -1}}}},"location": {"index": {"name": ".ml-inference-native-000001"}}
}

使用带有部署 ID 的启动训练模型 deployment API 来部署模型：

POST _ml/trained_models/.elser_model_1/deployment/_start?deployment_id=for_search

上述命令返回：

{"assignment": {"task_parameters": {"model_id": ".elser_model_1","deployment_id": "for_search","model_bytes": 438123276,"threads_per_allocation": 1,"number_of_allocations": 1,"queue_capacity": 1024,"cache_size": "438123276b","priority": "normal"},"routing_table": {"Gbl69vadQgK1nOqxUT8LaQ": {"current_allocations": 1,"target_allocations": 1,"routing_state": "started","reason": ""}},"assignment_state": "started","start_time": "2023-07-27T04:40:19.531125Z","max_assigned_allocations": 1}
}

部署完成后，我们可以通过 Kibana 来查看部署的结果：

ELSER 就可以在摄取管道或 text_expansion 查询中使用来执行语义搜索。

在摄取管道中使用 ELSER：

PUT _ingest/pipeline/my_pipeline
{"description": "ELSER pipeline","processors": [{"inference": {"model_id": ".elser_model_1","target_field": "ml","field_map": {},"inference_config": {"text_expansion": {"results_field": "tokens"}}}}]
}

使用管道索引文档。设置管道后，你可以使用它索引文档：

PUT my_index
{"mappings": {"properties": {"ml.tokens": {"type": "rank_features" },"text_field": {"type": "text" }}}
}PUT my_index/_doc/1?pipeline=my_pipeline
{"text_field": "This is a sample document for ELSER."
}PUT my_index/_doc/2?pipeline=my_pipeline
{"text_field": "Elastic is a great company"
}

最后，你可以使用匹配查询来查询索引文档：

GET my_index/_search
{"_source":false,"fields": ["text_field"], "query": {"text_expansion": {"ml.tokens": {"model_id": ".elser_model_1","model_text": "Sample"}}}
}

上面的搜索结果为：

{"took": 5,"timed_out": false,"_shards": {"total": 1,"successful": 1,"skipped": 0,"failed": 0},"hits": {"total": {"value": 2,"relation": "eq"},"max_score": 5.2040906,"hits": [{"_index": "my_index","_id": "1","_score": 5.2040906,"fields": {"text_field": ["This is a sample document for ELSER."]}},{"_index": "my_index","_id": "2","_score": 0.028514616,"fields": {"text_field": ["Elastic is a great company"]}}]}
}

我们再做一次搜索：

GET my_index/_search
{"_source":false,"fields": ["text_field"], "query": {"text_expansion": {"ml.tokens": {"model_id": ".elser_model_1","model_text": "Elastic Stack"}}}
}

上面显示的结果为：

{"took": 73,"timed_out": false,"_shards": {"total": 1,"successful": 1,"skipped": 0,"failed": 0},"hits": {"total": {"value": 1,"relation": "eq"},"max_score": 13.001609,"hits": [{"_index": "my_index","_id": "2","_score": 13.001609,"fields": {"text_field": ["Elastic is a great company"]}}]}
}

我们再做一次搜索：

GET my_index/_search
{"_source":false,"fields": ["text_field"], "query": {"text_expansion": {"ml.tokens": {"model_id": ".elser_model_1","model_text": "ELK"}}}
}

上面的搜索结果为：

{"took": 48,"timed_out": false,"_shards": {"total": 1,"successful": 1,"skipped": 0,"failed": 0},"hits": {"total": {"value": 1,"relation": "eq"},"max_score": 0.054624833,"hits": [{"_index": "my_index","_id": "2","_score": 0.054624833,"fields": {"text_field": ["Elastic is a great company"]}}]}
}

最后一个搜索：

GET my_index/_search
{"_source":false,"fields": ["text_field"], "query": {"text_expansion": {"ml.tokens": {"model_id": ".elser_model_1","model_text": "demo doc"}}}
}

结果为：

{"took": 56,"timed_out": false,"_shards": {"total": 1,"successful": 1,"skipped": 0,"failed": 0},"hits": {"total": {"value": 2,"relation": "eq"},"max_score": 4.6410522,"hits": [{"_index": "my_index","_id": "1","_score": 4.6410522,"fields": {"text_field": ["This is a sample document for ELSER."]}},{"_index": "my_index","_id": "2","_score": 0.09583376,"fields": {"text_field": ["Elastic is a great company"]}}]}
}

商业用例

ELSER（Elastic 的学习稀疏编码器）可以有效地用于以语义理解和上下文相关性为关键的各种用例。 这里有一些例子：

  1. 信息检索：在大型数据库或文档存储库中，ELSER 可用于检索与给定查询在语义上相关的文档，即使它们不共享精确的关键字匹配。 这在精确的信息检索至关重要的法律、学术或企业环境中特别有用。
  2. 电子商务搜索：电子商务平台可以使用 ELSER 来改进其搜索功能。 当客户搜索产品时，ELSER 可以根据搜索查询的语义上下文提供更相关的结果，从而改善购物体验并有可能增加销售额。
  3. 客户支持：ELSER 可用于客户支持系统，以更好地了解客户查询并提供更相关的解决方案。 例如，客户描述问题的方式可能与支持数据库中的措辞不完全匹配。 ELSER 可以帮助弥合这一差距并找到最相关的支持文档。
  4. 内容推荐：媒体平台可以使用 ELSER 来推荐与用户正在查看或已经查看的内容在语义上相关的内容。 这可以通过提供更多符合用户兴趣的内容来帮助保持用户的参与度。
  5. 社交媒体监控：公司可以使用 ELSER 监控社交媒体并了解有关其品牌的讨论背景。 这可以提供有关客户情绪和新兴趋势的宝贵见解。
  6. 语义 SEO（Search Engine Optimization）：ELSER 可用于理解 Web 内容的语义上下文并针对搜索引擎进行优化。 这可以通过将网站内容与相关搜索查询的语义上下文更紧密地结合起来，帮助提高网站的搜索引擎排名。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/15483.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【数据结构与算法】常用排序算法对比

【数据结构与算法】常用排序算法对比

常用排序算法对比 相关术语解释： 稳定：如果 a 原本在 b 前面，而 a b，排序之后 a 仍然在 b 的前面。不稳定： 如果 a 原本在 b 前面，而 a b，排序之后 a 可能出现在 b 的后面。内排序&#xff…
阅读更多...
安全渗透初级知识总结-2

安全渗透初级知识总结-2

CIA三原则：保密性，完整性，可用性 https:解决了安全传输问题 核心技术：用非对称加密传输对称加密的秘钥，然后用对称秘钥通信 抓包：Wireshark、tshark、tcpdump valueof方法是一个所有对象都拥有的方法&am…
阅读更多...
【传统视觉】模板匹配和卡尺圆检测

【传统视觉】模板匹配和卡尺圆检测

模板匹配 粗定位 1、原理：模板匹配是指在当前图像A中匹配与图像B最相似的部分，那么A为输入图像，B为模板图像。 2、匹配方法：B在A上华东，逐个遍历所有像素完成匹配。 3、函数： result cv2.matchTemplate(…
阅读更多...
Web3 叙述交易所授权置换概念 编写transferFrom与approve函数

Web3 叙述交易所授权置换概念 编写transferFrom与approve函数

前文 Web3带着大家根据ERC-20文档编写自己的第一个代币solidity智能合约 中 我们通过ERC-20一种开发者设计的不成文规定 也将我们的代币开发的很像个样子了 我们打开 ERC-20文档 我们transfer后面的函数就是transferFrom 这个也是 一个账号 from 发送给另一个账号 to 数量 val…
阅读更多...
SpringBoot中MongoDB的使用

SpringBoot中MongoDB的使用

SpringBoot中MongoDB的使用 MongoDB 是最早热门非关系数据库的之一，使用也比较普遍，一般会用做离线数据分析来使用，放到内网的居 多。由于很多公司使用了云服务，服务器默认都开放了外网地址，导致前一阵子大批 MongoD…
阅读更多...
数字工厂管理系统的实施步骤是什么

数字工厂管理系统的实施步骤是什么

数字工厂管理系统是一种基于数字化技术和智能化设备的工厂管理系统，它可以实现工厂的全面、实时、动态管理，提高生产效率、降低成本、保证产品质量。实施数字工厂管理系统需要一系列的实施步骤，下面就数字工厂管理系统的实施步骤进行详细说明…
阅读更多...
【Matlab】基于卷积神经网络的数据回归预测（Excel可直接替换数据）)

【Matlab】基于卷积神经网络的数据回归预测（Excel可直接替换数据）)

【Matlab】基于卷积神经网络的数据回归预测（Excel可直接替换数据） 1.模型原理2.数学公式3.文件结构4.Excel数据5.分块代码6.完整代码7.运行结果1.模型原理 基于卷积神经网络（Convolutional Neural Network，CNN）的数据回归预测是一种常见的机器学习方法，适用于处理具有空…
阅读更多...
openssl 命令行国密sm2的签名验签操作

openssl 命令行国密sm2的签名验签操作

快速链接: . 👉👉👉 个人博客笔记导读目录(全部) 👈👈👈 付费专栏-付费课程 【购买须知】: 密码学实践强化训练–【目录】 👈👈👈 生成EC私钥： openssl ecp…
阅读更多...
Linux标准库API

Linux标准库API

目录 1.字符串函数 2.数据转换函数 3.格式化输入输出函数 4.权限控制函数 5.IO函数 6.进程控制函数 7.文件和目录函数 1.字符串函数 2.数据转换函数 3.格式化输入输出函数 #include<stdarg.h>void test(const char * format , ...){va_list ap;va_start(ap,format…
阅读更多...
ubuntu22用apt安装最新docke版本

ubuntu22用apt安装最新docke版本

1.系统优化基础操作 hostnamectl set-hostname master && bash sudo systemctl stop ufw sudo systemctl disable ufw sudo apt update sudo apt-get -y upgrade2.卸载原来安装的 sudo apt-get remove docker docker-engine docker.io containerd runc3. 安装docke…
阅读更多...
antd中的Cascader级联选择框怎么清空重置React

antd中的Cascader级联选择框怎么清空重置React

项目场景&#xff1a; React项目&#xff0c;使用antd中的Cascader级联选择框 问题描述&#xff1a; 通过其他按钮无法重置选择框中的项 原因分析&#xff1a;&#xff08;对应解决办法一和二&#xff09; 1、级联选择框的数据默认是根据options绑定的数组中的value值来进行…
阅读更多...
java学习（三）：IO流

java学习（三）：IO流

系列文章目录 文章目录 系列文章目录一、学习总结二、部分代码 一、学习总结 IO流概览 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-11MLpicr-1690733294478)(src/main/resources/img.png)] IO流操作的步骤&#xff1a; 1.创建输入 或者 输出的…
阅读更多...
git远程一个分支对应本地两个分支推送

git远程一个分支对应本地两个分支推送

git远程一个分支对应本地两个分支推送 你可以使用以下命令将两个本地分支推送到远程仓库中的一个远程分支&#xff1a; 首先&#xff0c;将第一个本地分支推送到远程仓库&#xff1a; git push <远程仓库名称> <本地分支名称>:<远程分支名称>例如&#xff…
阅读更多...
页面生成图片或PDF node-egg

页面生成图片或PDF node-egg

没有特别的幸运&#xff0c;那么就特别的努力&#xff01;&#xff01;&#xff01; 中间件&#xff1a;页面生成图片 node-egg 涉及到技术node egg Puppeteer 解决文书智能生成多样化先看效果环境准备初始化项目 目录结构核心代码 完整代码https://gitee.com/hammer1010_ad…
阅读更多...
【python】可指定时间播放音频噪声

【python】可指定时间播放音频噪声

【诉求】 A是一段音频&#xff0c;它有个长度是9秒&#xff0c;A_2就是播放A段音频的前2s。传入播放的时间time&#xff0c;效果是播放对应时常的音频。抽象出来&#xff1a;time 输出音频的种类对应的长度 str audioList [A,B,C] Int audioLength [9,9,10] All_audio_Lengt…
阅读更多...
node 菜单权限判断

node 菜单权限判断

对于那些在界面上没显示的菜单在后台路由中也是要检查下权限的&#xff0c;要不然像用户管理/userList这条路由虽然没有配给某个测试账号&#xff0c;但他可以直接在地址栏输入/userList进行访问。所以在Middleware中需要增加判断用户是否有此page_url的访问权限。 /** 需要用…
阅读更多...
Linux - 添加普通用户为信任用户

Linux - 添加普通用户为信任用户

1.添加用户 在Linux系统中&#xff0c;可以使用以下步骤添加用户&#xff1a; 打开终端并以root用户身份登录 输入以下命令以创建新用户&#xff08;请将username替换为您想要创建的用户名&#xff09;&#xff1a; adduser username 设置该用户的密码&#xff0c;使用以下命…
阅读更多...
深蓝学院C++基础与深度解析笔记 第14章 元编程

深蓝学院C++基础与深度解析笔记 第14章 元编程

1. 元编程的引入 ● 从泛型编程到元编程 – 泛型编程 使用一套代码处理不同类型 —— – 对于一些特殊的类型需要引入额外的处理逻辑 —— 引入操纵程序的程序 – 元编程与编译期计算&#xff08;优选编译期计算&#xff09; – std::vector<int>不同&#xff0c;因为…
阅读更多...
在windows上安装minio

在windows上安装minio

1、下载windows版的minio&#xff1a; https://dl.min.io/server/minio/release/windows-amd64/minio.exe 2、在指定位置创建一个名为minio文件夹&#xff0c;然后再把下载好的文件丢进去&#xff1a; 3、右键打开命令行窗口&#xff0c;然后执行如下命令&#xff1a;(在minio.…
阅读更多...
在CentOS下安装docker

在CentOS下安装docker

1&#xff09;在Cent OS安装docker先有一个Cent OS 7.6系统 这个很重要&#xff0c;不同版本按照的时候是不一样的。 2&#xff09;查看CentOS版本 cat /etc/redhat-releas 3&#xff09;用root账户登录进去配置国内yum源 wget -O /etc/yum.repos.d/CentOS-Base.repo http:…
阅读更多...
最新文章

Copyright @ 2022~2023