百度智能云发布专用向量数据库 VDB 1.0,全新设计内核开启性能狂飙

1    专用向量数据库应对未来业务挑战

向量数据库 = 向量检索 + 数据库

向量数据库大致可以分为 2 部分:向量数据的检索,以及向量数据的存储和管理。

向量数据库的性能,比如高 QPS、低延时等,使得业务能够更快的响应用户的查询请求,提供更流畅的使用体验。想要提高向量数据库的性能,首先可以采用更新的向量检索算法,其中各类优异的向量检索算法,通常能够通过各类插件被快速应用。想要进一步提升业务性能,则只有回到数据库的架构和核心层面,设计一款专门为向量数据设计的数据库产品。

同时,随着大模型在业务应用范围不断扩大,向量数据库将从支持业务创新,转变为企业成熟业务体系中的一部分。这对向量数据库的企业级能力要求会越来越全面,比如权限管理、数据加密、备份与恢复、异地多活等。另外,数据规模在不断增长,数据类型日益复杂,这将对以单体数据库为支撑的技术架构提出挑战。

面向向量数据设计、支持大规模弹性扩展、提供企业级能力……这些都意味着我们需要设计一款专用的向量数据库,以便应对 AI 原生应用不断发展带来的挑战。

2    从数据库内核开始设计,为向量数据而生

今年 2 月底,百度智能云推出了一款专用的向量数据库产品 VDB。

在 VDB 1.0 版本中,我们全新设计了数据库内核,使得产品的性能更好,资源开销更低,支持百亿级别的弹性伸缩。相比同类开源产品,VDB 1.0 的 QPS 在不同线程下平均时延最低,性能提升 40~60%。

VDB 1.0 的数据库内核的技术特点如下:

  • 分布式架构:基于 bRaft 协议库构建,通过了 TLA+ 形式化验证和混沌测试,支持快速故障切换,具备高可靠和高可用的特性;
  • 存储引擎:针对向量数据特性设计的列存引擎。对于一行具有多个向量字段的场景,不同的向量字段的数据能够进行有效地隔离,各自进行存储和索引,能够更精细地管理各自的资源开销。对于标量字段,可通过列式压缩进一步降低存储开销;
  • 编程框架:基于现代 C++ 语言编写,使用 bRPC 和 bthread 协程等编程框架构建,充分应用 GCC 编译器优化和 CPU 指令集优化,能够提供更高的性能和内存管理能力。

在产品功能层面,VDB 1.0 支持向量和标量混合检索,提供丰富的标量过滤条件。基于 VDB 1.0 丰富的检索方式,用户可以方便地引入更多场景。同时,VDB 1.0 支持各种数据类型,以及任意数据类型的混合,用户可以设计出更加紧凑的业务数据库表模型,简化业务架构。

如果您正在进行以下几类应用或业务的开发,比如基于大模型的知识处理、基于特性的相似性检索、NoSQL 类数据库应用等,可以尝试使用百度智能云 VDB,体验不一样的速度,以及丰富的企业级能力。

3    第一时间体验 VDB 性能狂飙

接下来,我们展示一个 VDB 1.0 在知识库场景的示例。通过「千帆大模型平台 + LangChain + VDB」的组合搭建 RAG 应用,第一时间体验 VDB 带来的业务性能提升。以下是一个 RAG 应用的典型方案架构图:

图片

百度智能云全新设计的内核,为 VDB 的后续进化提供了一个良好的底座。在 VDB 后续版本更新中,我们将提供更全面的数据库企业级能力,集成更多的 AI 生态,成为一款为向量数据而生的专业向量数据库。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/730229.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

2024 AI 辅助研发的新纪年

随着人工智能技术的持续发展与突破,2024年AI辅助研发正成为科技界和工业界瞩目的焦点。从医药研发到汽车设计,从软件开发到材料科学,AI正逐渐渗透到研发的各个环节,变革着传统的研发模式。在这一背景下,AI辅助研发不仅…

【kubernetes】关于k8s集群中的ingress规则案例

目录 一、k8s 对外服务之 Ingress 1.1什么是ingress 1.2外部的应用能够访问集群内的服务有哪些方案? 1.3Ingress 组成 1.4Ingress-Nginx 工作原理 1.5ingress 暴露服务的方式 二、实操ingress暴露服务 前期.部署 nginx-ingress-controller 2.1基于host网络…

RabbitMQ的Windows版安装教程

文章目录 前言一、Windows安装RabbitMQ总结 前言 曾经写过一篇关于RabbitMQ的Ubuntu安装教程(http://t.csdnimg.cn/5CYfC),当时使用的是Docker将RabbitMQ安装到虚拟机上,但是有很多小伙伴问Windows上如何进行安装RabbitMQ&#x…

flink重温笔记(十二): flink 高级特性和新特性(1)——End-to-End Exactly-Once(端到端精确一致性语义)

Flink学习笔记 前言:今天是学习 flink 的第 12 天啦!学习了 flink 高级特性和新特性之 End-to-End Exactly-Once(端到端精确一致性语义),主要是解决大数据领域数据从数据源到数据落点的一致性,不会容易造成…

官宣!百度智能云千帆产品发布会3月21日北京见!

回望2023大模型狂奔的一年,百度智能云千帆大模型平台无疑是浓墨重彩的一笔。自2023年3月27日正式问世后,百度智能云千帆大模型平台以突飞猛进的速度持续发展。从模型、应用到生态,“千帆”书写着自身在大模型时代的答卷。 作为全球首个一站式…

指针的学习5

目录 sizeof和strlen的区别 sizeof strlen 数组和指针笔试题解析 一维数组 字符数组 二维数组 指针运算笔试题解析 题目1: 题目2: 题目3: 题目4: 题目5: 题目6: 题目7: sizeof和…

Jmeter二次开发实现rsa加密

jmeter函数助手提供了大量的函数,像 counter、digest、random、split、strLen,这些函数在接口测试、性能测试中大量被使用,但是大家在实际工作,形形色色的测试需求不同,导致jmeter自带或者扩展插件给我们提供的函数无法…

Redis中的SCAN渐进式扫描底层原理

Scan渐进式扫描原理 概述 由于Redis是单线程再处理用户的命令,而Keys命令会一次性遍历所有key,于是在命令执行过程中,无法执行其他命令。这就导致如果Redis中的key比较多,那么Keys命令执行时间就会比较长,从而阻塞Re…

即插即用篇 | YOLOv8 引入 ParNetAttention 注意力机制 | 《NON-DEEP NETWORKS》

论文名称:《NON-DEEP NETWORKS》 论文地址:https://arxiv.org/pdf/2110.07641.pdf 代码地址:https://github.com/imankgoyal/NonDeepNetworks 文章目录 1 原理2 源代码3 添加方式4 模型 yaml 文件template-backbone.yamltemplate-small.yamltemplate-large.yaml

程序员常用的几种算法

程序员常用的几种算法 一、程序员算法汇总二、程序员常用的几种算法1.选择排序算法1.1 选择排序算法解析:1.2 示例代码: 2.插入排序算法2.1 插入排序算法解析:2.2 示例代码: 3.冒泡排序算法3.1 冒泡排序算法解析:3.2 示…

【PyTorch】进阶学习:探索BCEWithLogitsLoss的正确使用---二元分类问题中的logits与标签形状问题

【PyTorch】进阶学习:探索BCEWithLogitsLoss的正确使用—二元分类问题中的logits与标签形状问题 🌈 个人主页:高斯小哥 🔥 高质量专栏:Matplotlib之旅:零基础精通数据可视化、Python基础【高质量合集】、Py…

微服务架构 | 多级缓存

INDEX 通用设计概述2 优势3 最佳实践 通用设计概述 通用设计思路如下图 内容分发网络(CDN) 可以理解为一些服务器的副本,这些副本服务器可以广泛的部署在服务器提供服务的区域内,并存有服务器中的一些数据。 用户访问原始服务器…

(未解决)macOS matplotlib 中文是方框

reference: Mac OS系统下实现python matplotlib包绘图显示中文(亲测有效)_mac plt 中文值-CSDN博客 module ‘matplotlib.font_manager‘ has no attribute ‘_rebuild‘解决方法_font_manager未解析-CSDN博客 # 问题描述(笑死 显而易见 # solve 找到…

【Linux】 yum —— Linux 的软件包管理器

Linux 的软件包管理器 yum yum 是什么什么是软件包查看软件包 yum 命令行工具yum 配置文件yum 凭什么可以支持下载呢?yum 生态yum 社区yum 的故障排除和资源支持yum 的持续集成和持续交付 yum 是什么 Yum(Yellowdog Updater Modified)是一个…

【PCIe】TLP结构与配置空间

🔥博客主页:PannLZ 文章目录 PCIe TLP结构PCIe配置空间和地址空间 PCIe TLP结构 TLP 主要由3个部分组成: Header 、 数据(可选,取决于具体的TLP 类 型 ) 和 ECRC (End to End CRC, 可选)。TLP 都始于发送端的事务层,终…

物联网,智慧城市的数字化转型引擎

随着科技的飞速发展,物联网(IoT)已成为推动智慧城市建设的关键力量。物联网技术通过连接各种设备和系统,实现数据的实时采集、传输和处理,为城市的智能化管理提供了强大的支持。在数字化转型的浪潮中,物联网…

【操作系统概念】 第8章:内存管理

文章目录 0.前言8.1 背景8.1.1 基本硬件8.1.2 地址绑定8.1.3 逻辑地址空间和物理地址空间8.1.4 动态加载(dynamic loading)8.1.5 动态链接(dynamically linking)与共享库 8.3 连续内存分配(contiguous memory allocati…

【linuxC语言】dup、dup2函数

文章目录 前言一、dup函数二、dup2函数三、将标准输出重定向到文件总结 前言 在Linux环境下,dup、dup2以及原子操作都是用于文件描述符管理和处理的重要工具。这些功能提供了对文件描述符进行复制和原子操作的能力,使得在多线程或多进程环境中更加安全和…

10大主流压力/负载/性能测试工具推荐

在移动应用和Web服务正式发布之前,除了进行必要的功能测试和安全测试,为了保证互联网产品的服务交付质量,往往还需要做压力/负载/性能测试。然而很多传统企业在试水互联网的过程中,往往由于资源或产品迭代速度等原因忽视了这一块工…

整屋案例丨福州府108m²3室2厅2卫轻奢有度,高级耐看。福州中宅装饰,福州装修

空间之间的空间 比空间本身更具有意味, 但也容易被忽略, 正是由于“之间”的多元性和复杂性 以及它的不确定性, 空间之间变得无限可能。 平面设计图 项目信息 项目名称 | 福州府 设计地址 | 福建福州 项目面积 | 108㎡ 项目户型 | …