揭秘 LLMs 时代向量数据库的 3 大实用场景

过去一年,ChatGPT 和其他大语言模型(LLMs)的爆火也带动了向量数据库的发展。

许多用户在搭建检索增强生成(RAG)系统过程中选择了使用向量数据库 Zilliz Cloud ,但 Zilliz Cloud 的功能不止于此,它在搜索和检索系统中的应用也十分广泛。这也反映出了 Zilliz Cloud 产品的设计初衷——帮助计算机真正理解人类数据,包括文本、图像、银行交易用户行为等。

近期,Zilliz Cloud 发布了新版本,并上线了 Range Search、多租户和 RBAC 等新特性。同时,Zilliz Cloud 搜索和索引性能也提升了 10 倍,获得了许多用户的积极反馈。本文将通过 3 个真实的用户案例,展示 Zilliz Cloud 的新特性是如何为其赋能的。

01.智能问答机器人

对于智能问答机器人而言,一个重要组成部分就是记忆——特指传入 LLM 中的上下文文本片段。通过记忆,问答机器人就可以获取历史信息。但是 LLM 的上下文窗口有着严格限制:

1)长度限制

2)上下文过长将明显降低文本生成速度

3)大多数长上下文 LLM 只倾向于“记住”上下文窗口开始和结束的信息

向量数据库能够很好地解决上述问题。以客服机器人为例,机器人会收到许多不同的信息,包含原始知识库、用户的所有提示、用户上传的图像、音频片段、回复内容等,这些都存储在 Zilliz Cloud 中以便进行快速检索。每当用户输入消息时,都会优先检索来自知识库和之前对话的所有相关内容。这样一来,系统的读写负载会加重,每秒需要存储大量消息数据。此外,提供给客服机器人的的数据本质上是多模态的,因此,仅有文本搜索是远远不够的。

Zilliz Cloud 的分布式数据库架构能够很好地解决上述问题:增加查询节点数量以提高读取吞吐量,增加数据节点数量以提高写入吞吐量。此外,新发布的 Cardinal 搜索引擎中进行了多方面的性能优化,包含 Zilliz 自研的向量索引、机器代码级别的计算优化,以及优化缓存感知算法等。

总而言之,在问答机器人的用例中,用 Zilliz Cloud 后可以实现与其他向量数据库相同的搜索和索引吞吐量,但价格却不到其他解决方案的三分之一。因此,在考虑成本但同时保障性能的用例中,Zilliz Cloud 绝对是一个不错的选择。

02.商品推荐

推荐系统(https://zilliz.com.cn/use-cases/recommender-system)会根据消费者之前的观看或浏览历史推送各种内容,例如产品、新闻、用户内容等,向量数据库非常适合用来搭建这类应用。开发者可以将内容转化为向量并将数据存储在 Zilliz Cloud,随后通过调用collection.search便可轻松进行向量相似性搜索获取相关内容,完成推荐。

搜索速度和相关性是所有 B2C 产品的基石。在电商领域,产品推荐结果对整体用户体验尤为关键,很大程度上可以决定收益。Zilliz 在实际应用中发现,有用户的诉求就是通过借助 AI 的力量提升产品推荐系统性能。这些用户和用例对延时和吞吐量有着极高要求——向量数据库需要在 10 毫秒内完成查询。此外,推荐系统还需对搜索结果进行过滤(例如,根据服装的特定尺寸或特定鞋码筛选搜索结果)。从本质上来说,商品数据是复杂的多模态数据,包含了产品名称、产品描述、产品图片等数据。

Cardinal 能够满足用户对性能的要求,再配合动态 Schema 功能和支持 JSON 的特性加持,Zilliz Cloud 便成为此类用户的不二之选。有了 Zilliz Cloud,用户便能够根据每个产品类别的特定特征,定制自己的数据模型,从而确保有效存储和查询每个商品向量数据多样且复杂的元数据。

03.AI 制药

制药过程极其复杂困难,不同的药物分子大小不同,有些药物可能具有几十个原子的“小分子”,有些则是具有数万个原子的大型生物制剂。机器学习可以根据药物功效(如治疗特定疾病或缓解特定症状)将每个分子转化为向量。

在此用例中,Zilliz Cloud 的 Rang Search 功能就能发挥关键作用。研究人员可以将需要治疗的疾病或症状转化为向量,并在 Zilliz Cloud 中搜索相关药物。相比基础的 top-k 搜索,Rang Search 能够在一定距离内找到与目标相似的所有向量(分子),提供所有在此范围内的相关搜索结果,而不仅仅是固定数量的结果。此功能不仅对 AI 制药至关重要,也适用于欺诈保护、网络安全等领域。例如,在银行系统中,我们可以将交易转化为向量并通过范围搜索与新交易进行比较,以识别类似的历史活动,有助于进行异常检测。

本文中我们通过 3 个业界典型用例介绍了 Zilliz Cloud 的部分新特性,欢迎大家上手尝试 (https://cloud.zilliz.com.cn/signup) !

本文由 mdnice 多平台发布

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/693810.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Git如何使用 五分钟快速入门

Git如何使用 五分钟快速入门 Git是一个分布式版本控制系统,它可以帮助开发人员跟踪和管理项目的代码变更。与传统的集中式版本控制系统(如SVN)不同,Git允许开发人员在本地存储完整的代码仓库,并且可以独立地进行代码修…

GEE数据更新——MODIS数据LST地表温度计算案例MODIS/006/ MOD11A1 已弃用并且没有新数据。请改用MODIS/061/ MOD11A1

问题 为什么我无法在下面给出的代码中下载 2024 年的数据?看起来有效期到 2022 年 11 月。你能帮我吗? 差异 MODIS/006/ MOD11A1和MODIS/061/ MOD11A1是两个不同的MODIS地表温度数据集。它们之间的差异主要体现在数据处理方法和时间范围上。目前GEE中已经没有前者的数据。…

《英伟达-本地AI》--NVIDIA Chat with RTX-本机部署

阿丹: 突然发现公司给配置的电脑是NVIDIA RTX 4060的显卡,这不搞一搞本地部署的大模型玩一玩??? 从0-》1记录一下本地部署的全过程。 本地模型下载地址: Build a Custom LLM with Chat With RTX | NVIDIA…

虚拟机安装Centos7迷你版

虚拟机安装Centos7迷你版 迷你版较常规版精简了很多功能,所以体积也小了很多,喜欢自定义安装的可以选择迷你版 参考文章: VirtualBox虚拟机安装Centos7详细教程图解 网卡配置参考文章 下载Centos迷你版镜像 安装镜像 下载镜像 阿里云Cen…

Python 安装和使用的IDE

安装 安装 Anaconda (包较大), 包含了一些库安装 Miniconda (包较小) 只和 python 打包, 没有其他的包, 用的时候需要自己安装 conda install pandaspython pythonipython 有更多的功能 ipythonjupyter jupyter notebookjupyterlab 可以去 github 查看 conda install -c…

理论学习-ARM-内核

ARM内核 函数的调用加载、存储计算中断异常线程的切换 为了提高学习效率,我们要提前想好学习策略。 首先,使用频率越高的知识点,越要首先学习。假使,我们学习了一个知识点,能覆盖工作中80%的工作量,那是不是…

机器学习基础(四)非监督学习的进阶探索

导语:上一节我们详细探索监督学习的进阶应用,详情可见: 机器学习基础(三)监督学习的进阶探索-CSDN博客文章浏览阅读296次,点赞13次,收藏11次。监督学习作为机器学习的一个主要分支,…

【C++】vector模拟实现+迭代器失效

vector模拟实现 成员变量定义默认成员函数构造函数 迭代器范围for、对象类型匹配原则 容量操作sizeemptycapacityreserve成员变量未更新memcpy值拷贝 resize内置类型的构造函数 数据访问frontbackoperator[ ] 数据修改操作push_backpop_backswapclearinsertpos位置未更新无返回…

解决缓存失效导致的数据库压力问题(缓存击穿问题)

问题描述 在软件开发过程中,特别是在使用缓存策略优化数据访问性能时,经常会遇到缓存失效引发的问题。具体来说,在一个服务类BaseDataService中,findData方法负责从数据库拉取数据并缓存。这里使用了expireAfterWrite60s的缓存策…

【Linux】Linux调试器-gdb使用

1. 背景 程序的发布方式有两种,debug模式和release模式 Linux gcc/g出来的二进制程序,默认是release模式 要使用gdb调试,必须在源代码生成二进制程序的时候, 加上 -g 选项 2. 开始使用 gdb binFile 退出: ctrl d 或 quit 调…

新建一个flask项目

在Flask中创建一个新的项目,您可以遵循以下步骤: 确保您已经安装了Python环境。如果还未安装Flask,可以通过pip来安装: pip install flask创建一个新的文件夹作为您的项目文件夹,例如myflaskapp: mkdir …

Java 学习和实践笔记(15):面向过程和面象对象其实很简单!

学完这一节,才真正明白了什么叫面向对象和面向过程,其实很简单~ 第一个例子:怎样把大象装进冰箱 这个很清楚很容易地可以列出第一步。 第二个例子:怎样制造一台汽车 这个就很难确定哪一步做第一步。 面向过程和面向对象的区别 …

echarts折线图单位为Bit/s的数据展示

需求:单位为Bit/s的数据需要换算y轴、legend和tooltip的单位; 显示数据时需要换算单位是因为数据以比特每秒(Bit/s)的形式返回,但是在实际展示中,可能更方便和易读的是使用其他单位,例如Gb/s、M…

8 磁盘存储器的管理

外存的组织方式 连续组织方式:为每一个文件分配一组相邻接的盘块 链接组织方式:多个不连续的盘块 链接指针 隐式链接 显示链接:文件分配表FAT FAT技术: FAT12(512B)、以簇为单位的FAT12文件系统、FAT16、…

笔记:torch.roll

最近在准备写 swin transformer 的文章,记录下 torch.roll 的用法: >>> x torch.tensor([1, 2, 3, 4, 5, 6, 7, 8]).view(4, 2) >>> x tensor([[1, 2],[3, 4],[5, 6],[7, 8]]) 第0维度向下移1位,多出的[7,8]补充到顶部 &g…

【移动开发】iOS平台 Java编译器 Jedona Compiler 评测

上期编译器评测链接: Java Compiler IDE评测 一、使用平台 该编译器(Jedona Compiler)在苹果应用市场App Store中下载,笔者使用iPad进行Java代码编写。 应用市场界面: 二、开发界面介绍 开发界面比较简洁&#xf…

【JGit 】简述及学习资料整理

JGit 介绍 [官网](JGit | The Eclipse Foundation): https://www.eclipse.org/jgit/ 用户指南 : https://github.com/eclipse-jgit/jgit/wiki/User-Guide JGit是一个用于Java编程语言的开源Git实现。它提供了一组Java库和API,使开发人员可以在他们的Java应用程序…

python 与 neo4j 交互(py2neo 使用)

参考自:neo4j的python.py2neo操作入门 官方文档:The Py2neo Handbook — py2neo 2021.1 安装:pip install py2neo -i https://pypi.tuna.tsinghua.edu.cn/simple 1 节点 / 关系 / 属性 / 路径 节点(Node)和关系(relationship)是构成图的基础…

重磅!移远通信正式发布一站式XR产品解决方案,助力探索数字世界新纪元

伴随着以5G、大数据、云计算等现代化信息科技的发展,人类对数字世界、智慧地球的探索更加深入。尤其是以XR(扩展现实)为代表的技术崛起,更让物理世界与虚拟世界中的连接愈发紧密,千行百业也亟待新探索。 近日&#xff…

计算机组成原理(4)-----Cache的原理及相关知识点

目录 1.Cache的原理 2.Cache的性能 3.Cache和主存的映射方式 (1)全相联映射 (2)直接映射 (3)组相联映射 4.替换算法 (1)随机算法(RAND) (2)先进先出算法(FIFO) (3)近期最少使用(LRU) (4)最近不经…