黑马es学习

es

  • 0. 基础概念
    • 0.1 倒排索引
    • 0.2 文档、索引
    • 0.3 与mysql对比
  • 1 基本操作
    • 1.1 mapping 索引库操作
    • 1.2 单个文档CRUD
  • 3. DSL查询
    • 3.1 查询所有
    • 3.2 全文检索
    • 3.3 精确查询
    • 3.4 复合查询-相关性得分
    • 3.5 分页
    • 3.6 高亮
    • 3.7 总结
  • 2. RestClient
  • mysql与es数据同步
  • es集群去重

黑马视频

官方使用手册

java client


0. 基础概念

es本质:一个基于Lucence开发出来的分布式搜索引擎

在这里插入图片描述

0.1 倒排索引

在这里插入图片描述

创建倒排索引后给词条创建索引,总计进行了两次查询

0.2 文档、索引

文档:一条数据记录
索引:类型相同的文档的集合

在这里插入图片描述

0.3 与mysql对比

交易等一致性要求高的mysql做
大范围搜索es做

1 基本操作

1.1 mapping 索引库操作

在这里插入图片描述
举例:注意object嵌套关系

在这里插入图片描述

禁止修改索引库,但是可以添加新字段

1.2 单个文档CRUD

文档查询:

在这里插入图片描述
_source字段下是查询到的原始文档

文档修改:
全量修改:旧的直接删除,新增改后的文档
增量修改:在旧的上面修改

在这里插入图片描述

3. DSL查询

dsl常见查询分类:

在这里插入图片描述

3.1 查询所有

在这里插入图片描述

3.2 全文检索

在这里插入图片描述
muti_match的方式能够额外指定针对哪些字段进行查询(任意一个字段包含即可)

3.3 精确查询

值是确定的,不可分割,不可分词,完全匹配

在这里插入图片描述

3.4 复合查询-相关性得分

相关性得分算法:(第三种 default)

es 自带的 query score:
在这里插入图片描述

自定义function score函数:

在这里插入图片描述

自定义score函数时主要确定三个部分:

  1. 哪些文档将进行加权
  2. 算分函数function score如何定义
  3. function score怎么与原始得分query score(BM25)进行加权

demo:

在这里插入图片描述

3.5 分页

深度分页问题:

在这里插入图片描述
from+size超过1w会直接报错,如果非要查一万条,不太现实,实际生产应用中会从业务层面避免查询1w条(从业务上拒绝),比如百度就是默认最多查70页,每页显示10条数据

在这里插入图片描述

3.6 高亮

高亮的结果解析是与_source同级的,需要额外注意:

在这里插入图片描述

3.7 总结

在这里插入图片描述

2. RestClient

将dsl语句对应到Java

在这里插入图片描述
在这里插入图片描述
上图中涉及了两个核心api:
source.query()/source()等:
在这里插入图片描述

QueryBuilders.各种查询query:
在这里插入图片描述

解析查询响应结果:

在这里插入图片描述

在这里插入图片描述

常见查询:

全文检索查询:
在这里插入图片描述
精确查询:
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

mysql与es数据同步

es集群去重

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/25713.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Maven的三种项目打包方式——pom,jar,war的区别

1、pom:用在父级工程或聚合工程中,用来做jar包的版本控制,必须指明这个聚合工程的打包方式为pom。 聚合工程只是用来帮助其他模块构建的工具,本身并没有实质的内容。具体每个工程代码的编写还是在生成的工程中去写。 对于在父工程…

C++——时间复杂度

时间复杂度的估算 方法 时间复杂度十分的简单&#xff0c;但是在估算时有些需要注意的点还是要写 例如代码&#xff1a; for (int i 0; i < n; i&#xff09; {int x;cin >> x;a[i] x; }这段代码的时间复杂度是&#xff1a;O(n)&#xff0c;当然在实际估算的时候…

Jupyter部署和使用教程

在本教程中&#xff0c;我们将探讨如何部署Jupyter Notebook&#xff0c;它是一个开源的、基于Web的交互式计算环境&#xff0c;用于创建Jupyter笔记本文档。Jupyter支持超过40种编程语言&#xff0c;包括Python、R、Julia和Scala。 一、Jupyter Notebook介绍 Jupyter Notebo…

Docker:利用Docker搭建一个nginx服务

文章目录 搭建一个nginx服务认识nginx服务Web服务器反向代理服务器高性能特点 安装nginx启动nginx停止nginx查找nginx镜像拉取nginx镜像&#xff0c;启动nginx站点其他方式拉取nginx镜像信息通过 DIGEST 拉取镜像 搭建一个nginx服务 首先先认识一下nginx服务&#xff1a; NGI…

Python面试宝典:Python中与数据处理与清洗相关的面试笔试题(1000加面试笔试题助你轻松捕获大厂Offer)

Python面试宝典:1000加python面试题助你轻松捕获大厂Offer【第二部分:Python高级特性:第二十六章:Python与数据科学:第二节:数据处理与清洗】 第二十六章:Python与数据科学第二节:数据处理与清洗1. 数据处理工具1.1 Pandas1.2 NumPy2. 数据清洗工具2.1 处理缺失值2.2 数…

04-认识微服务-SpringCloud

04-认识微服务-SpringCloud 1.SpringCloud&#xff1a; 1.SpringCloud是目前国内使用最广泛的微服务框架。官网地址&#xff1a;https://spring.io/projects/spring-cloud 2.SpringCloud集成了各种微服务功能组件&#xff0c;并基于SpringBoot实现了这些组件的自动装配&…

SpringCloud-面试篇(二十四)

&#xff08;1&#xff09;Nacos如何支撑数十万服务注册的压力 小型企业来讲nacos压力没有那么大&#xff0c;但是想阿里&#xff0c;服务的数量可能会达到数万&#xff0c;那麽多的服务。当服务原来越多时&#xff0c;除了服务注册以外&#xff0c;还有服务的定时更新&#x…

自养号测评防关联的关键点解析, 确保店铺权重和买家账号的安全稳定

现在很多大卖都是自己管理几百个账号&#xff0c;交给服务商不是特别靠谱。你不知道服务商账号质量怎么样&#xff0c;账号一天下了多少你也不清楚&#xff0c;如果下了很多单万一封号被关联了怎么办&#xff0c;你也不知道服务商用什么卡给你下单&#xff0c;用一些低汇率和黑…

C# 共享内存

共享内存定义 共享内存&#xff08;Shared Memory&#xff09;是一种进程间通信&#xff08;IPC&#xff09;机制&#xff0c;通过它&#xff0c;多个进程可以访问同一块内存&#xff0c;从而实现高效的数据共享和通信。这种方式比其他IPC机制&#xff08;如管道、消息队列&am…

Redis的基本数据类型

基本的数据类型包括: 字符串、列表、哈希、集合、有序集合 拓展的数据类型包括: bitmaps位图 hyperloglog基数估计算法 geo 地理位置 streams 流 字符串 字符串经常用来存储单个值&#xff0c;用户信息、商品信息等或者二进制的数据。 字符串是基于SDS动态字符串来实现的&a…

一个简单好用的 C# Easing Animation 缓动动画类库

文章目录 1.类库说明2.使用步骤2.1 创建一个Windows Form 项目2.2 安装类库2.3 编码2.4 效果 3. 扩展方法3.1 MoveTo 动画3.2 使用回调函数的Color动画3.3 属性动画3.4 自定义缓动函数 4.该库支持的内置缓动函数5.代码下载 1.类库说明 App.Animations 类库是一个很精炼、好用的…

DeepSORT(目标跟踪算法)中的计算观测值与状态估计的马氏距离

DeepSORT&#xff08;目标跟踪算法&#xff09;中的计算观测值与状态估计的马氏距离 flyfish 在目标跟踪中&#xff0c;使用马氏距离可以帮助判断某个观测值是否与当前的状态估计一致。 gating_distance 是一个方法&#xff0c;用于计算状态分布和观测值之间的门限距离&#…

Django ORM的QuerySet:解锁数据库交互的魔法钥匙

用到此篇文章知识的几篇文章&#xff1a; Django ORM实战&#xff1a;模型字段与元选项配置&#xff0c;以及链式过滤与QF查询详解Django API开发实战&#xff1a;前后端分离、Restful风格与DRF序列化器详解 文章目录 前言一、什么是QuerySet&#xff1f;二、QuerySet 的用途三…

Latex详细教程——图片、表格、公式

一、图片 1、占地一栏普通图片 使用figure环境&#xff0c;[thpb]表示希望在文中占地的优先级&#xff0c;[t] ~ top&#xff0c;顶部&#xff1b;[h] ~ here&#xff0c;当前位置&#xff1b;[p] ~ page of its own&#xff0c;浮动页&#xff1b;[b] ~ bottom&#xff0c;底…

Dell服务器根据GPU温度调整风扇转速

前言 dell服务器自动风扇是根据CPU温度来调速的&#xff0c;我跑AI的时候cpu温度不高但是GPU温度很高导致显卡卡死PVE虚拟机直接挂起无法运行&#xff0c;我看了下也没有基于显卡温度调速的脚本&#xff0c;于是我就自己写了一个 基于ipmi工具 乌班图等linux先安装ipmi apt …

GPT-4o:人工智能新贵的崭露头角

近日&#xff0c;OpenAI 推出了 GPT-4o&#xff0c;这一新一代的人工智能技术引起了广泛的关注和讨论。本文将对 GPT-4o 进行评价&#xff0c;包括与之前版本的对比分析、技术能力以及个人整体感受等方面。 1. 版本间的对比分析 GPT-4o 是 GPT 系列的最新版本&#xff0c;相较…

搭建vauditdemo靶场mysql为NO问题

一、问题 在搭建vauditdemo时&#xff0c;遇到如下显示问题&#xff1a; mysql版本检测为NO 二、解决 查找该方面问题时&#xff0c;并没有找到解决方法 然后换mysql版本换了五六个也没有解决问题 问了AI后给的答复有一条为将mysql改为mysqli 修改保存后解决问题 步骤如…

二分【1】二分查找框架 查找指定元素

目录 二分查找 基本思想 几种情况汇总 一。严格递增序列 1.查找本身 2.查找第一个大于等于自己的 3.查找第一个大于自己的 4.严格递减序列 二。有重复元素 1.取其中第一个出现的 2.取其中最后一个出现的 二分查找 基本思想 几种情况汇总 一。严格递增序列 1.查找本身…

QT 使用opencv 打开usb相机

1.在.pro文件中 添加opencv的头文件与lib 库 INCLUDEPATH D:\opencv\build\install\include LIBS D:\opencv\build\install\x64\mingw\lib\libopencv_*.a LIBS D:\opencv\build\install\x64\mingw\bin\libopencv_*.dll 2. usb相机类的头文件usbCamera.h #ifndef USBCAM…

QNX Hypervisor详细介绍

标签: QNX Hypervisor; Hypervisor; QNX Hypervisor是当前主流的满足车规级的虚拟机产品,这方面高通和QNX高度绑定,“QQ”(Qualcomm+QNX)组合在智能座舱领域占比高达90%以上。 什么是QNX Hypervisor? QNX Hypervisor是由BlackBerry旗下的QNX软件系统公司开发的一种虚…