滚雪球学MySQL[8.3讲]:数据库中的JSON与全文检索详解:从数据存储到全文索引的高效使用

全文目录:

    • 前言
    • 8.3 JSON与全文检索
      • 1. JSON数据类型的使用
        • 1.1 JSON 数据类型概述
        • 1.2 JSON 数据的插入与查询
        • 1.3 JSON 常用函数与操作
        • 1.4 JSON使用的优缺点与性能考虑
      • 2. 全文索引与全文检索
        • 2.1 全文索引概述
        • 2.2 全文检索的使用
        • 2.3 全文检索模式
        • 2.4 全文索引优化与性能调优
      • 3. 拓展与实际应用
        • 3.1 JSON与全文检索的结合
        • 3.2 全文检索在生产环境中的应用
      • 4. 实战项目:在线博客系统中的全文检索
    • 小结
    • 下期预告:实战项目——在线博客系统

前言

在上一期中,我们探讨了事件调度,并讨论了如何通过自动调度器在数据库中高效执行定时任务。通过事件调度,管理员可以优化数据库的运行流程并减少人为干预的操作。然而,随着数据的多样化和复杂度的增加,传统的关系型数据库结构面临着更大的挑战。为了处理复杂的半结构化数据,数据库需要引入更灵活的解决方案,例如使用JSON数据类型。同时,在大量文本数据的应用场景中,快速检索大规模文本信息成为关键问题,全文索引提供了一种高效的解决方案。

本期内容将深入探讨数据库中的JSON数据类型及其使用,帮助您了解如何灵活存储和查询复杂的JSON数据。同时,我们将探讨全文检索的原理和应用,展示如何通过全文索引高效地进行大规模文本搜索,并结合实际案例展示其在生产环境中的应用。

最后,我们还将简要预告下期内容实战项目:在线博客系统,展示如何在实战项目中运用这些技术。

8.3 JSON与全文检索

1. JSON数据类型的使用

JSON(JavaScript Object Notation)作为一种轻量级的数据交换格式,因其简洁易读、灵活结构而被广泛用于现代Web应用和数据传输中。随着需求的变化,许多数据库(如MySQL、PostgreSQL等)都引入了对JSON数据类型的原生支持,使得存储和处理半结构化数据变得更加简单。

1.1 JSON 数据类型概述

在关系型数据库中,传统的数据结构通常要求字段类型固定,而JSON格式则允许以嵌套、灵活的方式存储对象和数组。这样,开发者可以根据实际需求动态调整数据结构,而不需要频繁更改表结构。例如,用户的偏好、产品的动态属性、复杂的配置信息等都可以通过JSON格式灵活存储。

在MySQL中,我们可以使用JSON类型定义字段,并通过标准的SQL查询对其进行操作。例如,以下示例展示了一个包含用户偏好数据的表:

CREATE TABLE users (id INT PRIMARY KEY AUTO_INCREMENT,name VARCHAR(100),preferences JSON
);

preferences字段中,我们可以存储类似以下的JSON数据:

{"theme": "dark","notifications": {"email": true,"sms": false},"language": "en"
}

这种灵活性使得开发者能够轻松处理复杂的嵌套数据结构。

1.2 JSON 数据的插入与查询

将JSON数据插入到数据库中非常简单,我们可以直接在SQL查询中嵌入JSON对象。例如:

INSERT INTO users (name, preferences)
VALUES ('Alice', '{"theme": "dark", "notifications": {"email": true, "sms": false}, "language": "en"}');

要查询JSON字段中的特定值,MySQL提供了强大的函数支持。例如,JSON_EXTRACT()函数允许提取JSON字段中的某个属性:

SELECT name, JSON_EXTRACT(preferences, '$.theme') AS theme
FROM users
WHERE JSON_EXTRACT(preferences, '$.language') = 'en';

此查询将提取用户偏好的语言为en的所有用户,并显示他们的主题设置。

1.3 JSON 常用函数与操作

为了支持JSON数据的操作,MySQL等数据库引入了多个函数用于处理JSON字段。以下是常用的一些操作:

  • JSON_SET():用于更新JSON字段的值。例如,修改某用户的通知设置:

    UPDATE users
    SET preferences = JSON_SET(preferences, '$.notifications.sms', true)
    WHERE name = 'Alice';
    
  • JSON_ARRAY_APPEND():用于向JSON数组添加元素。例如,向用户的兴趣列表中追加一个新的兴趣:

    UPDATE users
    SET preferences = JSON_ARRAY_APPEND(preferences, '$.interests', 'reading')
    WHERE name = 'Alice';
    
  • JSON_REMOVE():用于删除JSON字段中的某个属性。例如,删除用户的语言设置:

    UPDATE users
    SET preferences = JSON_REMOVE(preferences, '$.language')
    WHERE name = 'Alice';
    

这些操作使得开发者可以在不改变数据库表结构的情况下,灵活管理嵌套的复杂数据。

1.4 JSON使用的优缺点与性能考虑

尽管JSON数据类型带来了极大的灵活性,但在使用时也需要谨慎对待。以下是一些最佳实践和注意事项:

  • 结构化与规范化:虽然JSON格式允许灵活存储,但在实际使用中,保持数据结构的一致性有助于提高查询和维护的效率。
  • 查询性能:在处理大规模JSON数据时,直接从JSON字段中提取数据可能导致查询性能下降。为提高性能,可以使用虚拟列(generated columns)或为JSON字段的常用属性建立索引。

2. 全文索引与全文检索

在处理大规模文本数据时,传统的查询方式往往难以满足复杂的文本搜索需求。为了支持高效的文本检索,许多数据库引入了全文索引,并提供了基于关键字的全文检索功能。

2.1 全文索引概述

全文索引是为文本字段设计的一种特殊索引,能够将文本分解为单词并创建倒排索引,从而支持快速的关键字搜索。与传统索引不同,全文索引关注的是文本中的单词出现频率和位置,而不是字段的精确匹配。

在MySQL中,可以为VARCHARTEXT类型的字段创建全文索引。例如,假设我们有一个存储博客文章的表:

CREATE TABLE posts (id INT PRIMARY KEY AUTO_INCREMENT,title VARCHAR(255),content TEXT,FULLTEXT(title, content)
);

此时,MySQL会为titlecontent字段创建全文索引,以支持高效的全文搜索。

2.2 全文检索的使用

创建了全文索引后,MySQL允许我们使用MATCHAGAINST关键字进行全文检索。MATCH指定要搜索的字段,AGAINST指定搜索的关键词:

SELECT * FROM posts
WHERE MATCH(title, content) AGAINST('database optimization' IN NATURAL LANGUAGE MODE);

此查询会返回所有包含关键词database optimization的博客文章。在自然语言模式下,MySQL会根据关键词的出现频率、重要性等因素对结果进行评分,返回最相关的结果。

2.3 全文检索模式

MySQL支持不同的全文检索模式,每种模式适用于不同的搜索场景。常见的模式包括:

  • 自然语言模式(Natural Language Mode):适用于大多数普通文本搜索,系统根据文本分词和词频对搜索结果进行排序。

  • 布尔模式(Boolean Mode):允许用户定义更复杂的搜索逻辑,可以使用操作符来控制查询行为。例如,使用+表示必须包含,-表示不能包含:

    SELECT * FROM posts
    WHERE MATCH(title, content) AGAINST('+database -mysql' IN BOOLEAN MODE);
    

    这条查询会返回包含database但不包含mysql的文章。

  • 查询扩展模式(Query Expansion Mode):在自然语言模式的基础上,通过扩展搜索范围,返回更多相关的搜索结果。这种模式适用于模糊搜索场景。

2.4 全文索引优化与性能调优

在处理大量文本数据时,全文索引的性能优化至关重要。以下是一些优化建议:

  • 限制索引字段:仅为需要检索的字段创建全文索引,避免不必要的性能消耗。
  • 调整分词规则:不同的语言和应用场景对分词的要求不同,MySQL允许开发者根据需求配置自定义的分词器,提升全文检索的精度。
  • 缩小搜索范围:尽量减少全文检索的文本量。例如,可以通过WHERE子句先过滤出符合条件的记录,再进行全文检索,从而提高查询效率。

3. 拓展与实际应用

3.1 JSON与全文检索的结合

在某些复杂的应用场景中,我们可能同时需要使用JSON数据存储复杂结构化信息,并结合全文检索实现高效的文本搜索。例如,在电商系统中,我们可以通过JSON存储产品的动态属性,并通过全文索引实现对产品描述的搜索。

这种结合应用可以大大提升系统的灵活性,同时支持复杂的搜索需求。以一个简单的电商产品搜索为例,我们可以将产品信息和评论存储在JSON

字段中:

CREATE TABLE products (id INT PRIMARY KEY AUTO_INCREMENT,name VARCHAR(255),details JSON,description TEXT,FULLTEXT(description)
);

接着,我们可以根据用户输入的关键词,在产品描述中进行全文检索,并结合产品的JSON属性筛选结果。

3.2 全文检索在生产环境中的应用

全文检索在内容管理系统(CMS)、电子商务平台、知识库和社交网络等应用中得到了广泛应用。在这些场景中,用户通常需要通过关键词快速找到相关的文章、产品或其他信息。通过合理配置全文索引和优化查询,我们可以确保全文检索的高效性,并显著提升用户体验。

例如,社交网络平台可能需要支持对用户发布内容的快速检索。在这种场景下,全文索引能够有效提高关键词匹配速度,确保用户能够快速找到与其搜索相关的内容。

4. 实战项目:在线博客系统中的全文检索

假设我们正在开发一个在线博客系统,用户可以通过关键词在博客文章中进行搜索。为此,我们可以为博客文章创建全文索引,并实现简单的搜索功能:

CREATE TABLE articles (id INT PRIMARY KEY AUTO_INCREMENT,title VARCHAR(255),body TEXT,FULLTEXT(title, body)
);

用户在搜索框中输入关键词时,系统将执行如下查询,返回相关的文章:

SELECT * FROM articles
WHERE MATCH(title, body) AGAINST('database optimization' IN NATURAL LANGUAGE MODE);

通过这种方式,系统可以根据用户输入的关键词快速检索博客文章,并根据相关性进行排序,提升搜索体验。

小结

本期内容我们详细探讨了JSON数据类型全文检索的使用方法。通过使用JSON数据类型,开发者可以灵活地存储半结构化数据,而全文索引则提供了高效的文本搜索解决方案。结合实际应用场景,这两种技术可以帮助开发者构建功能强大、性能优越的数据库系统。

下期预告:实战项目——在线博客系统

在接下来的实战项目中,我们将结合前几期学习的数据库技术,构建一个完整的在线博客系统。该系统将涵盖用户管理、文章发布、评论系统和全文检索功能,帮助大家深入理解如何在实际项目中应用数据库的各类技术。敬请期待!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/55907.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

react-问卷星项目(4)

项目实战 使用CSS 尽量不要使用内联CSS 内联style代码多&#xff0c;性能差&#xff0c;扩展性差外链css文件可复用代码&#xff0c;可单独缓存文件 元素内联style 和HTMl元素的style相似必须用JS写法&#xff0c;不能是字符串&#xff0c;里面必须是对象 <span style…

洛谷P5648

洛谷P5648 这题花了很长时间&#xff0c;是在线段树题单里找到的&#xff08; &#xff09;。有线段树做法&#xff0c;但是我感觉可能比倍增做法更难看懂。以后有空再看看吧。感觉线段树现在只会板子题&#xff0c;绿稍微难点可能就不会。 花了很久时间之后&#xff0c;就觉得…

【YOLO学习】YOLOv5口罩检测实战

文章目录 1. 环境配置2. 下载代码3. 安装库3.1 安装pytorch3.2 安装其他库 4. 测试5. 数据标注6. 模型训练6.1 一些修改6.2 训练 7. 界面可视化 1. 环境配置 1. 先参考其他文章安装 Anaconda 或者 Miniconda&#xff0c;我安装的是 Miniconda。 2. 更换国内源&#xff0c;以加快…

LLM详解

一 定义 Large Language Model&#xff0c;称大规模语言模型或者大型语言模型&#xff0c;是一种基于大量数据训练的统计语言模型&#xff0c;可用于生成和翻译文本和其他内容&#xff0c;以及执行其他自然语言处理任务&#xff08;NLP&#xff09;&#xff0c;通常基于深度神…

vue 的属性绑定

双大括号不能在 HTML attributes 中使用。想要响应式地绑定一个 attribute&#xff0c;应该使用 v-bind 指令。 <template> <div v-bind:class"boxClass" v-bind:id"boxId"> </div> </template><script> export default{da…

VNC轻松连接远程Linux桌面

Linux配置VNC&#xff08;以RedHat、CentOS为例&#xff09; 说明&#xff1a; Linux平台安装VNCServer Windows平台使用VNC-Viewer 1.在Linux平台安装VNCServer服务端软件包。 yum -y install vnc *vnc-server*2.修改VNCServer主配置文件 vi /etc/sysconfig/vncservers复制…

【Redis】Set类型的常用命令与应用场景

目录 1.命令小结 2.命令解析 3.编码方式与应用场景 1.命令小结 &#xff08;1&#xff09;set的特点 1&#xff09;set中存放的数据也都是String类型 2&#xff09;set集合中的元素是无须的 3&#xff09;set集合中的元素是唯一的&#xff0c;不可重复 &#xff08;2&a…

RISC-V开发 linux下GCC编译自定义指令流程笔记

第一步&#xff1a;利用GCC提供了内嵌汇编的功能可以在C代码中直接内嵌汇编语言 第二步&#xff1a;利用RSIC-V的中的.insn模板进行自定义指令的插入 第三步&#xff1a;RISC-V开发环境的搭建 C语言插入汇编 GCC提供了内嵌汇编的功能可以在C代码中直接内嵌汇编语言语句方便了…

在树莓派上部署安装OAK

OAK设备可以与微型主机&#xff08;例如树莓派&#xff09;进行连接&#xff0c;在树莓派上安装DepthAI, 需要安装相关依赖Dependencies并且可以通过pip安装Depthai Library. DepthAI Library 在PyPi上对树莓派有预构建的 wheels 使用预配置的树莓派OS 镜像 我们提供预安装了D…

期权懂|面对期权下跌该如何操作呢?

本期让我懂 你就懂的期权懂带大家来了解&#xff0c;面对期权下跌该如何操作呢&#xff1f;有兴趣的朋友可以看一下。期权小懂每日分享期权知识&#xff0c;帮助期权新手及时有效地掌握即市趋势与新资讯&#xff01; 面对期权下跌该如何操作呢&#xff1f; 首先我们需要保持冷静…

Zotero插件指南:20个工具让你的学术生活更简单

以下插件排序按照星标量进行排序&#xff0c;常用的插件大概是前20的样子&#xff0c;可以根据自己的需求进行插件的安装。 顺带提一句&#xff0c;插件不是越多越好&#xff0c;装多了可能会出现软件卡顿的情况。 1、Scholaread for Zotero 插件下载&#xff1a;插件下载 …

Linux文件权限与用户管理详解:权限、所属用户组和所有者的变更

&#x1f49d;&#x1f49d;&#x1f49d;欢迎莅临我的博客&#xff0c;很高兴能够在这里和您见面&#xff01;希望您在这里可以感受到一份轻松愉快的氛围&#xff0c;不仅可以获得有趣的内容和知识&#xff0c;也可以畅所欲言、分享您的想法和见解。 推荐&#xff1a;「storm…

HTB:Markup[WriteUP]

目录 连接至HTB服务器并启动靶机 1.What version of Apache is running on the targets port 80? 2.What username:password combination logs in successfully? 使用Yakit并使用TOP1000字典对密码进行爆破 3.What is the word at the top of the page that accepts use…

以光塑形:光固化3D打印机原理图文解析

公众号端&#xff1a; 光固化打印机介绍https://mp.weixin.qq.com/s?__bizMzkwMjc0MTE3Mw&mid2247484073&idx1&sn0d0fd026b373b06cd7c340ec8f56a006&chksmc0a1af73f7d62665a632baebbde4e5e00ffb9c6bd31bf547b4a86855d5524535619a6175a428#rd 光固化打印机…

Linux 下 poll 详解

在Linux系统编程中&#xff0c;poll 是一个强大的多路复用&#xff08;I/O 多路复用&#xff09;函数&#xff0c;用于同时监控多个文件描述符的事件&#xff0c;特别是在处理网络套接字或其他I/O设备时。相比于select&#xff0c;poll 支持监控更多的文件描述符&#xff0c;并…

clickhouse常用脚本语句

1.创建库和删除库 drop database IF EXISTS rt_db CREATE DATABASE rt_db ENGINE = Ordinary; CREATE DATABASE rt_db ENGINE = Atomic;2.创建表 CREATE TABLE IF NOT EXISTS intellect_alarm_info ( `id` UInt64 , `client_info_id

前端面试:项目细节重难点问题分享(17)

更多详情&#xff1a;爱米的前端小笔记&#xff08;csdn~xitujuejin~zhiHu~Baidu~小红shu&#xff09;同步更新&#xff0c;等你来看&#xff01;都是利用下班时间整理的&#xff0c;整理不易&#xff0c;大家多多&#x1f44d;&#x1f49b;➕&#x1f914;哦&#xff01;你们…

SpringSession;基于Redis的SpringSession实现;实现session共享的三种方式

一&#xff0c;SpringSession简介 是SpringCloud下管理session的框架&#xff0c;在微服务架构中&#xff0c;由于应用了分布式的思想&#xff0c;session无法做到内存中互通&#xff0c;需要一个框架来实现各个微服务中session数据共享&#xff0c;SpringSession解决了这个问题…

C++语言学习(3): type 的概念

type 的概念 C中的变量拥有类型&#xff0c; 这是显然的。 实际上&#xff0c;每个 object&#xff0c; 每个 reference&#xff0c; 每个 function&#xff0c; 每个 expression &#xff0c; 都有对应的 type &#xff08;类型&#xff09;&#xff1a; Each object, refer…

随机掉落的项目足迹:使用箭头函数时踩到的坑

这篇博客没有啥硬核知识&#xff0c;讲的是我遇到问题然后排错的过程&#xff0c;大家可以当故事看看 事情的起因是请求响应的对象打印出来竟然是undefined&#xff0c;但是network里却可以正常看到响应体 于是我把这个问题扔给了我队友&#xff0c;他改了我两处代码&#xff…