【数据库】你听说过矢量数据库吗?

在这里插入图片描述


个人主页:【😊个人主页】
系列专栏:【❤️其他领域】


文章目录

  • 前言
  • 什么是向量/矢量数据库
  • 嵌入模型
  • 使用向量数据库的优势
    • 与传统数据库的对比
    • 其他方面
  • AWS 如何支持您的矢量数据库需求?
    • Amazon OpenSearch Service
    • Amazon Aurora PostgreSQL-Compatible Edition和Amazon Relational Database Service (Amazon RDS) for PostgreSQL
    • Amazon Neptune ML


前言

在今年三月结束的 NVIDIA GTC Keynote (英伟达 GPU 技术大会)中,黄仁勋首次提及向量数据库(Vector Database),他强调了对于构建专有大型语言模型的组织而言,向量数据库至关重要,让人们将目光聚焦在了这一全新的概念之上。今天我们就来谈谈向量数据库的概念。
在这里插入图片描述

“我们将推出一个新的库,即 RAFT,用于加速索引、数据加载和近邻检索。我们正在将 RAFT 的加速引入到 Meta 的开源 FAISS AI 相似性搜索,超过 1000 家组织使用的 Milvus 开源向量数据库以及 Docker 镜像下载次数超过 40 亿次的 Redis。对于构建专有大型语言模型的组织而言,向量数据库至关重要。”黄仁勋表示

什么是向量/矢量数据库

在数学中,我们对向量的定义是有大小和方向的量,可以使用带箭头的线段表示,箭头指向即为向量的方向,线段的长度表示向量的大小。

而向量数据库(Vector Database),在某些地方我们也称之它为矢量数据库(以下均称向量数据库)1顾名思义是用来存储和处理向量数据的数据库系统。
在这里插入图片描述


嵌入模型

可能会有很多人好奇为什么一个储存向量的数据库会与人工智能联系紧密?这里我们就要引入一个新的概念——嵌入模型。人工智能和机器学习(AI/ML)的创新使我们能够创建一种机器学习模型,即嵌入模型。嵌入模型将所有类型的数据编码为向量,以捕获资产的含义和上下文。

嵌入模型是一种将高维数据映射到低维空间的技术,它可以将数据表示为低维向量,从而更好地进行数据分析和处理
基于GNN的动态图模型和KGE都是嵌入模型的应用。其中,基于GNN的动态图模型可以将图的动态演化信息保留在低维嵌入中,从而更好地对图进行建模和分析。
知识图谱嵌入(KGE)是一种利用监督学习来学习嵌入以及节点和边的向量表示的模型。它们将“知识”投射到一个连续的低维空间,这些低维空间向量一般只有几百个维度(用来表示知识存储的内存效率)。向量空间中,每个点代表一个概念,每个点在空间中的位置具有语义意义。

在这里插入图片描述

图像、文本和音视频这种非结构化数据都可以通过某种变换或者嵌入学习转化为向量数据存储到向量数据库中,从而实现对图像、文本和音视频的相似性搜索和检索。这意味着您可以使用向量数据库根据语义或上下文含义查找最相似或相关的数据,而不是使用基于精确匹配或预定义标准查询数据库的传统方法。


使用向量数据库的优势

我们都知道评判一个数据库的优劣往往是通过其对数据的处理能力来进行判断。

与传统数据库的对比

数据的搜索方面:向量数据库使用相似性搜索,可以快速找到与查询向量最接近的向量。
在数据容量方面:因为向量数据通常比文本和结构化数据更紧凑占用更少的存储空间,所以相比于传统数据库,向量数据库可以支持更大的数据容量,

其他方面

在对数据处理的准确性方面:向量数据库支持基于向量距离的相似性搜索,可以更准确地匹配查询向量和目标向量之间的相似度。
更好的数据可视化:向量数据库可以将数据向量转换为低维空间的点或者图形进行可视化,帮助用户更好地理解数据的关系和分布。
更好的扩展性:向量数据库采用分布式架构,可以轻松地扩展到多个节点,以满足高并发的查询需求。
在这里插入图片描述

AWS 如何支持您的矢量数据库需求?

Amazon Web Services(AWS)针对您的矢量数据库要求提供了一系列服务

Amazon OpenSearch Service

由亚马逊提供的全托管搜索和分析服务。是一个开源的搜索和分析引擎,是 ElasticSearch 项目的一个分支。它支持在大规模数据集上进行实时搜索、近实时搜索、文本搜索和复杂的分析操作。OpenSearch Service 可以快速扩展以支持数百万次查询和分析请求,并提供高可用性和可扩展性。

在这里插入图片描述

Amazon Aurora PostgreSQL-Compatible Edition和Amazon Relational Database Service (Amazon RDS) for PostgreSQL

Amazon Aurora PostgreSQL-Compatible Edition是一种高性能、可扩展的数据库引擎,它是AWS自主开发的,与传统的PostgreSQL数据库引擎不同。它是兼容PostgreSQL的,因此可以与PostgreSQL应用程序无缝集成。它具有快速数据副本和快速恢复功能,以及自适应容量和自动故障转移功能,这使它成为大型、高吞吐量应用程序的理想选择。
Amazon RDS for PostgreSQL是一种基于传统PostgreSQL数据库引擎的托管式数据库服务。它提供了与常规PostgreSQL数据库相同的功能和API,但可以自动扩展、备份和维护。它也很容易使用,可以通过AWS管理控制台轻松配置和管理数据库实例。

Amazon Neptune ML

Amazon Neptune ML 是 AWS Neptune 的一个扩展功能,它使用户能够在 Neptune 图形数据库中使用机器学习功能,包括自动图形分类、预测和生成。这使得 Neptune 更容易地学习和推理图形数据,从而更好地支持应用程序、搜索引擎和推荐系统等业务场景。
在这里插入图片描述


  1. 关于是向量数据库还是矢量数据库的问题因为翻译的缘故网络上没有明确的标准,但在百度百科的官方介绍中并未提及矢量数据库的概念 ↩︎

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/151856.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

[Docker]记一次使用jenkins将镜像文件推送到Harbor遇到的问题

系统版本: Ubuntu 18.01 私服: Harbor Docker版本: Docker version 18.09.5 首先需要明确的是,即在harbor里项目设置为公开,但是在push的时候还是需要用户验证的,即需要使用docker登录 docker login harbo…

CF1514 C. Product 1 Modulo N [妙妙题]

传送门:CF [前题提要]:感觉这道题是真的妙,解这道题的所有步骤都是一步一步按图索骥来的,有种玩解密游戏的感觉 题目很简单,就是求1~n中最长的子序列,使得这n个数的乘积模n为1. 乍一看很不好解决.那不妨先假设我们挑选了 k k k个数,然后这 k k k个数的乘积为 K K K, K K K模 …

【Unity】流体模拟(更新ing)

Fluid Simulation 参考于 Sebastian Lague 的项目进行分析学习 流体模拟视频链接 文章目录 Fluid Simulation2D流体Simulation2D.cs 2D流体 Simulation2D.cs 流体的边界用OnDrawGizmos设置流体的边界 void OnDrawGizmos(){Gizmos.color new Color(0, 1, 0, 0.4f);Gizmos.Dr…

vue中绑定class样式和条件渲染

绑定class样式 字符串写法: 适用于: 样式的类名不确定,需要动态指定 数组写法: 适用于: 要绑定的样式个数不确定,名字也不确定 绑定对象:适用于:要绑定的样式个数确定、名字确定、…

Python loglog()函数

常用坐标下的图像显示 import matplotlib.pyplot as plt import numpy as np import mathplt.figure() x_input np.linspace(1, 10, 50) y_input x_input**2plt.plot(x_input, y_input,r-,linewidth2) plt.show()在loglog函数尺度下的曲线 plt.loglog(x_input, y_input,r-,…

机器人走迷宫问题

题目 1.房间有XY的方格组成,例如下图为64的大小。每一个方格以坐标(x,y) 描述。 2.机器人固定从方格(0, 0)出发,只能向东或者向北前进,出口固定为房间的最东北角,如下图的 方格(5,3)。用例保证机器人可以从入口走到出口。 3.房间…

[JDK工具-2] javap 类文件解析工具-帮助理解class文件,了解Java编译器机制

文章目录 1. javap -version 版本信息2. javap -verbose 输出附加信息3. javap -l 显示行号和局部变量列表4. javap -c 对代码进行反汇编(或叫反编译生成汇编代码,一般说反编译是生成java代码),分解方法代码,也就是显示…

想要成为CSS大师?这些技巧是你必须知道的!

前言 CSS 是网页设计中不可或缺的一部分,掌握一些实用的 CSS 技巧,可以让你在设计中展现出更多的创意和个性。本文将介绍一些 CSS 技巧,帮助你提升自己的技能,成为一个真正的 CSS 大师。 1. 改变 input 自动填充的背景颜色 这段 …

Ansible的dict的key里包含圆点.

环境 管理节点:CentOS Stream release 9控制节点:同上Ansible:2.15.4 从文件读取yaml数据 假设目标机器上有文件 data.yml 内容如下: a:b: 111c: 222d.e: 333现在要读取该文件内容,并转成yaml数据。 创建文件 tes…

高精度算法【Java】(待更新中~)

高进度加法 在Java中可以使用BigInteger进行高精度计算,除此也可以仿照竖式相加的计算原理进行计算。 BigInteger 提供所有 Java 的基本整数操作符的对应物,并提供 java.lang.Math 的所有相关方法。另外,BigInteger 还提供以下运算&#xff1…

UE5像素流送详细教程,以及解决黑边和鼠标消失问题

说明 本文是阅读UE5官方文档并且实践之后写的读书笔记,更多详细内容读者可以参考官方文档,本文只是因为在follow官方文档时发现有些操作界面不一样,有些细节遗漏了,所以才自己整理一篇笔记,以备后续使用。 读者按该文件指引操作后,可完成本地发布一个游戏,使用像素流网…

ts 联合react 实现ajax的封装,refreshtoken的功能

react ts混合双打,实现ajax的封装,以及401的特殊处理 import axios from axios import {AMDIN_EXPIRES_KEY,AMDIN_KEY,AMDIN_REFRESH_EXPIRES_KEY,AMDIN_REFRESH_KEY,COMMID_KEY,getToken,removeToken } from ../utils/user-token import { showMessage…

C#入门(7):接口详细介绍与代码演示

在C#中,接口是一种定义行为的契约。接口可以定义方法、属性、索引器和事件的签名,但它们都没有实现(即,接口包含的都是抽象成员)。任何实现了特定接口的类都需要提供接口定义的所有成员的具体实现。 C#接口的一些主要…

vscode运行dlv报错超时

描述 点击F5运行dlv调试go代码时报错:couldnt start dlv dap: connection timeout 解决方式 在网上搜索这个报错,据说是dlv的配置问题,修改配置后还是不行。有人说是dlv和go的版本不匹配,就朝这个方向试试 go版本改为1.19之后…

网上被吹爆的Spring Event事件订阅有缺陷,不要用

Spring Event事件订阅框架,被网上一些人快吹上天了,然而我们在新项目中引入后发现,这个框架缺陷很多,玩玩可以,千万不要再公司项目中使用。还不如自己手写一个监听者设计模式,那样更稳定、可靠。 之前我已…

C# params关键字

在C#中,params关键字用于指定一个方法参数,它可以接受任意数量的参数,或者说是一个参数数组。当使用params关键字时,你可以向方法传递逗号分隔的参数列表,或者是一个数组。在方法内部,这些参数被处理为一个…

ARM CoreLink CCN 互连总线介绍

NIC NOC CCI CMN CNN NI cmn-700 nic-700 ni-700 MLGB这都是啥玩意? 后期博文或视频将会更新这一系列。今天先温习一下CNN的概念,这是来自2014年的文章,然后稍微整理总结一番。 以下是正文… 现代主流和优质 ARM 片上系统 (SoC) 产品使用 CoreLink 缓存一致性网络 (CCN) 504…

SpringBoot-过滤器Filter+JWT令牌实现登录验证

登录校验-Filter 分析 过滤器Filter的快速入门以及使用细节我们已经介绍完了,接下来最后一步,我们需要使用过滤器Filter来完成案例当中的登录校验功能。 我们先来回顾下前面分析过的登录校验的基本流程: 要进入到后台管理系统,我…

java 位运算 表示状态小记

单一状态码var i2 1 << 2; //4 左移var i3 1 << 3; //8 左移var i4 1 << 4; //16 左移var i5 1 << 5; //32 左移数据状态值var huo i3 | i4 | i2; //28 或//判断状态System.out.println("yu1" (huo & i2)); // 4 & 与System.o…

CentOS 安装etcd集群 —— 筑梦之路

环境说明 192.168.1.11 192.168.1.12 192.168.1.13 yum在线安装 yum install etcd -y #etcd01 cat > /etc/etcd/etcd.conf <<EOF ETCD_NAMEetcd01 ETCD_LISTEN_PEER_URLS"http://0.0.0.0:2380" ETCD_LISTEN_CLIENT_URLS"http://0.0.0.0:2379&quo…