科技云报到:大模型时代下,向量数据库的野望

科技云报到原创。


自ChatGPT爆火,国内头部平台型公司一拥而上,先后发布AGI或垂类LLM,但鲜有大模型基础设施在数据层面的进化,比如向量数据库。

在此之前,向量数据库经历了几年的沉寂期,现在似乎终于乘着ChatGPT的东风成为资本的“宠儿”。然而,一年狂飙之后,市场逐渐退潮,因此有人质疑,向量数据库又凉了?

判断一条赛道是否真的有潜力,资本的注入虽是前提,但更重要的还有市场的态度。大模型应用的逐步落地于向量数据库而言,无疑是最好的催熟剂。

然而任何新技术的到来,都需要更长的时间才能得到市场的接受。

一份关于向量数据库的市场研究是,随着AI应用场景加速落地,据西南证券分析,预计2025年向量数据库渗透率约为30%,其中,中国向量数据库市场规模约为82.56亿元。而据中国信通院测算,到2025年,中国数据库市场规模将达688亿元。这意味着,两年后向量数据库在中国的渗透率将超过10%。

在国内,不少数据库厂商都在尝试推出向量数据库产品,然而从市场验证阶段走向实现盈利,中间还需要一段更漫长的时间。向量数据库究竟是虚火过旺还是星辰大海?在向量数据库这条赛道,能否看到更远的未来?

fcbe28de5c4e8ca9a5ef541ad9d7aca1.jpeg


向量数据库,刚刚开始

向量数据库,顾名思义,是一种专门处理向量数据的数据库。在传统的关系型数据库中,数据通常以表格形式存储,而向量数据库则将非结构化数据(如文本、图像、音频等)转换为向量形式进行存储。这种数据表示方法使得向量数据库能够高效地处理大规模、高维度的数据集,为AI提供了强大的计算基础。

如果说数据库是数据的“硬盘”,那么,向量数据库就是更适合AI体质的“硬盘”,其“AI原生”的体质,具体表现在以下几个方面。

首先,是更高的效率。AI算法,要从图像、音频和文本等海量的非结构化数据中学习,提取出以向量为表示形式的“特征”,以便模型能够理解和处理。因此,向量数据库比传统基于索引的数据库有明显优势。

其次,更低的成本。大模型要从一种新技术转化为产业价值,必须达到合理的投入产出比,而向量数据库可以有效减少存储和计算成本。一个公开数据是,通过腾讯云向量数据库,QQ音乐人均听歌时长提升3.2%、腾讯视频有效曝光人均时长提升1.74%、QQ浏览器成本降低37.9%,就在于检索效率、运行稳定性、运营效率、推荐算法等,有了较大的提升。

第三,更强的数据安全。企业想做大模型,还要确保数据的隐私安全,就必须与数据库产品做好配合,这给向量数据库的本地部署带来了广阔的需求。

第四,更大的扩展性。随着大模型走向行业应用,垂直领域的AI用例不断增多,汹涌的数据洪潮和存算任务,会带来大量向量搜索的需求。而向量数据库嵌入向量的长度不受限制,具有良好的扩展性,可以根据AI用例和模型而变化,更好地处理大规模数据集。

从大模型技术标杆的OpenAI发布的GPT-4o和即将发布的GPT-5消息来看,以及国内外商业化大模型的进展来看,大模型的技术路线还没有发生颠覆性的变革,因此落地应用还是需要向量检索和向量数据库。

由此可见,向量数据库与AI的关系紧密相连。在大模型兴起之前,传统数据库已经在不断尝试与AI结合,主要涉及以下几个方向:数据存储与管理、数据清洗与预处理、数据检索与查询、数据集成与共享、数据安全与隐私保护。随着大模型的兴起,可以看到在这些方向上,数据库与AI间的关联比以往任何时候都要密切。

此外,AI 大模型的兴起还为数据库注入了预测估算的能力。AI模型可以通过学习历史数据和模式,对未来的趋势和结果进行预测和估算。传统数据库可以集成AI模型,实现对数据的预测分析。这使得数据库可以不仅提供对历史数据的查询和分析,还能够提供对未来数据的预测和估算结果,帮助用户做出更准确的决策。

总的来说,几乎所有类型的数据库都在积极向AI靠拢,比如在数据库中添加向量索引,数据库和AI已经密不可分,两者相辅相成,共同推动着技术的进步和应用的拓展。

76fd033d083057560ef071ce0ee86599.jpeg


两大新势力,云是方向

传统数据库厂商不必多说,既有相应的能力建设,也有一定的客户基础,推出相关产品是必然。一些在AI领域积淀已久的科技大厂,如谷歌、微软、Meta、百度等大厂,都有向量数据库的技术积累,也都可以向外输出相关能力和产品。

除了这些常规面孔,向量数据库市场也吸引了新的参与者。作为这一轮大模型投资热和创业热的主要目标之一,向量数据库领域诞生了不少创新创业公司。比如AI创业新秀Pinecone就是闭源的领跑者,凭借良好的开箱即用的产品体验,获得了非常大的增长,B轮估值达到7.5亿美元。其他竞争者大多建立在开源项目的基础上。

不过,作为创业公司,长期盈利能力还有待验证。一个主要原因,是客户大多是尝鲜、实验性质。

企业需要先将非结构化的私密数据,放入一个小的模型中进行数据转化,即数据向量化,产生一个向量的矩阵,再存储到向量数据库里,来供大模型学习和检索。这个过程涉及大量的工程化,会耗费企业许多开发人员、时间成本,一开始可能会因为AI大模型很火而对向量数据库产生兴趣,但能否真正在业务中落地还是个未知数。因此,长期付费意愿还有较大的不确定性。

另一股积极参与的新势力,就是公有云厂商。

从2017年到2019年,于向量数据库的发展而言,是一段更为重要的时间。腾讯云、百度智能云、京东科技等也恰都是在这个时间段将向量数据库的相关组件应用到具体的业务之上。

实际上,这段时间所对应的背景也正是,非结构化数据需求的激增。

一个具有代表性的事件是,2017年,短视频的爆火,催生了新媒体行业,各种结构数据也随之出现。这一现象就导致了不同结构数据的处理需求。

除此之外,京东、腾讯和百度的内部产品也有更多类似的需求。而向量化引擎也正是从这一时间点开始萌芽。

事实上,不是所有企业都有能力自建大模型所需要的基础设施,通过MaaS(模型即服务)业务来训练应用大模型,是更灵活的选择。此外,很多政企客户往往会选择公有云或行业云来满足其业务需求,对云数据库的关注度和接受度上升,而这些用户在探索大模型时,会倾向于以整体解决方案的形式来交付,这就给了云厂商参与到此赛道机会,同时也要求云厂商提供向量数据库的全栈支持。

如今头部云厂商基本建立了全生命周期AI化的向量数据库。有数据显示,企业原先接入一个大模型需要花1个月左右时间,使用某公有云的向量数据库后,3天时间即可完成,极大降低了企业的接入成本。

更何况,前不久火山引擎、阿里云、百度智能云等都围绕大模型API价格,打起了互相抄底的“价格战”,意味着AI创新门槛的降低,而AI应用市场的用户规模扩大,也会带动向量数据库的使用需求。

综合来看,整个云AI市场的格局还在快速变化之中,风物长宜放眼量,AI Native的向量数据库,前景仍然值得期待。


向量数据库,展望AGI时代

从某种程度上而言,无论是向量数据库,还是大模型,归根结底,大家在追捧它时的心态,焦虑大于需求。而这种焦虑则来源于“害怕被落下”。

大模型、多模态等新技术、新应用的出现,正在迅速刷新着人们对AGI时代的期待,仿佛它下一刻就会到来。

而向量数据库的热潮,在一定程度上“外化”了人们的焦虑。但这并不能否定向量数据库的实际价值,甚至更长远的价值。

虽然,目前向量数据库仍处于发展初期,但可以确定的是,向量数据库与大模型一定是捆绑关系。因此,未来其演进方向也一定随着大模型能力的演进而发生变化。

腾讯云数据库副总经理罗云认为,向量数据库帮助大模型解决在专有领域知识不足的问题。通用大模型是基于海量的互联网业务和数据去训练的,但对于一些细分的垂直行业缺少知识。而向量数据库可以帮助企业打通企业私有知识库和大模型的连接,帮助企业更好地利用大模型等AI新技术去实现企业的降本增效,推动企业从“数字化”到“数智化”的跃升,这就是向量数据库在AI时代的重要的定位和价值。

cff54bd2624db77abb6ffc3baffb5ae4.jpeg

而在具体的演进方向上,向量数据库一定会考虑多模态数据的表达以及数据的智能化管理。

首先,在大模型应用百花齐放的背景下,向量数据库对于多模态数据的处理意义,变得十分重要。

罗云进一步举例,比如某教育客户,把一些线下的教育课程,甚至老师上课的教育提纲,全部作为向量,存储到腾讯云的向量数据库里。当家长想要去咨询某节课老师讲了什么,就可以把存储在向量数据库里面内容检索出来,再交给大模型按照人们能理解的语言来回答,这就将向量数据库与大模型进行了很好的匹配。

如果没有向量数据库参与,以及没有合理的多模态数据处理方式,这种情况下是无法查询出这些数据的。

但随着多模态数据规模上的提升,另一个问题也随之出现。不同数据库中数据如何将其统一管理并让数据流通起来,这就涉及到的智能化管理也是向量数据库未来的发力点。

向量数据库作为处理多样性和复杂性数据挑战的得力工具,为各行业提供了高效、灵活的数据管理解决方案。其高维索引、相似性查询、向量聚合等特点,使其在推荐系统、搜索引擎、社交媒体分析、生物信息学和图像视频分析等多个领域得到了成功应用。

不可否认,向量数据库的未来既蕴含着广阔的发展空间,也面临着诸多挑战。得益于大模型火热,向量数据库已逐渐成为资本市场的青睐之选。在未来的AGI道路上,向量数据库仍需要砥砺前行。


【关于科技云报到】

企业级IT领域Top10新媒体。聚焦云计算、人工智能、大模型、网络安全、大数据、区块链等企业级科技领域。原创文章和视频获工信部权威认可,是世界人工智能大会、数博会、国家网安周、可信云大会与全球云计算等大型活动的官方指定传播媒体之一。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/56873.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Linux驱动开发——设备树

文章目录 1 什么是设备树?2 DTS、DTB和DTC3 DTS语法3.1 dtsi头文件3.2 设备节点3.3 标准属性3.4 根节点compatible属性3.5 向节点追加或修改内容 4 创建小型模板设备树5 设备树在系统中的体现6 绑定信息文档7 设备树常用OF操作函数7.1 查找节点的OF函数7.2 查找父/子…

Unity Meta Quest 开发调试工具 Immersive Debugger

XR 开发者社区链接: 赠送原版GPT、完整课程、项目下载、项目孵化宣发、答疑、投融资(YY) 此工具可以在头显当中对 Unity 脚本的参数进行调整(相当于在编辑器 Inspector 里调整脚本参数),并且还可以查看 Un…

免费送源码:Java+B/S+MySQL springboot电影推荐系统 计算机毕业设计原创定制

摘 要 随着互联网与移动互联网迅速普及,网络上的电影娱乐信息数量相当庞大,人们对获取感兴趣的电影娱乐信息的需求越来越大,个性化的电影推荐系统成为一个热门。然而电影信息的表示相当复杂,己有的相似度计算方法与推荐算法都各有优势&#…

赋能特大城市水务数据安全高速运算,深圳计算科学研究院YashanDB数据库系统斩获“鼎新杯”二等奖

第三届“鼎新杯”数字化转型应用优秀案例评选结果日前正式公布,深圳计算科学研究院联合深圳市环境水务集团有限公司申报的《深圳环境水务国产数据库YashanDB,赋能特大城市水务数据安全高速运转》案例,经过5个多月的评审,从4000申报…

Docker搭建Cisco AnyConnect 教程

本章教程搭建一个Cisco AnyConnect 连接教程。 一、下载文件 因为是基于Docker方式进行搭建的,所以需要提前安装好Docker,本章不介绍如何安装Docker,可以自行百度解决。 通过网盘分享的文件:ocserv-docker 链接: https://pan.baidu.com/s/14-2p9jenqE0KWzMilVzV-A?pwd=4yd…

穷举vs暴搜vs深搜vs回溯vs剪枝(一)

文章目录 全排列子集找出所有子集的异或总和再求和全排列 II电话号码的字母组合 全排列 题目:全排列 思路 通过深度优先搜索的方式,不断枚举每个数在当前位置的可能性,然后回溯到上一个状态,直到枚举完所有可能性得到正确的结果 r…

幂律分布笔记

一、幂律分布的数据拟合 数据分箱: 所谓分箱就是对原始数据进行分组,然后对每一组内的数据进行平滑处理。常见的分箱方式主要有等深分箱、等宽分箱、用户自定义等 对数分箱: 对原数据进行分箱,第i个箱的宽度为bi,b…

客户案例 | Ansys与台积电和微软合作加速光子仿真

Ansys与台积电和微软展开合作,将硅光子器件的仿真和分析速度提高10倍以上 主要亮点 借助使用NVIDIA图形处理单元(GPU)的Microsoft Azure虚拟机,Ansys Lumerical™ FDTD 3D电磁仿真的光子器件仿真速度实现了10倍提升 凭借Azure云…

CRMEB标准版Mysql修改sql_mode

数据库配置 1.宝塔控制面板-软件商店-MySql-设置 2.点击配置修改,查找sql-mode或sql_mode (可使用CtrlF快捷查找) 3.复制 NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION 然后替换粘贴,保存 注:MySQL8.0版本的 第三步用…

Vulkan 开发(三):Vulkan 物理设备

Vulkan 物理设备 图片来自《 Vulkan 应用开发指南》 上一节了解了 Vulkan 实例,一旦有了实例,就可以查找系统里安装的与 Vulkan 兼容的物理设备。 Vulkan 物理设备(PhysicalDevice)一般是指支持 Vulkan 的物理硬件,通…

基于模型设计的智能平衡移动机器人-基础实验eCAP

目录 eCAP基本介绍 捕捉模式或者是APWM模式 捕获模块功能 CCS中打开模型 eCAP基本介绍 TMS320F28069的捕获单元模块能够捕获外部输入引脚的逻辑状态(电平的高或低、电平翻转时的上升沿或下降沿),并利用内部定时器对外部事件或者引脚状态变…

关于网络接口监测工具ifstat命令的功能详解以及Linux下lsof命令的使用详解

一、关于网络接口监测工具ifstat命令的应用 ifstat工具是个网络接口监测工具,比较简单看网络流量,像VMSTAT那样一行行显示着浏览信息,可以设置显示某个或所有网卡流量数据。ifstat默认不监控回环接口,显示的流量单位是KB。系统默认未安装&…

【目标检测---旋转框标注】roLabelImg安装与使用

在目标检测领域,数据标注是至关重要的一环。为了提升模型的准确率和泛化能力,高质量的标注数据集是必不可少的。而roLabelImg作为一款专门用于标注旋转框的工具,为处理复杂场景下的目标检测提供了极大的便利。本文将详细介绍roLabelImg的安装…

电力变压器故障诊断数据集(猫脸码客 第219期)

电力变压器故障诊断数据集 电力变压器作为电力系统中不可或缺的重要设备,其稳定性和可靠性直接关系到整个电网的安全运行。然而,由于运行环境复杂、负载多变以及设备老化等因素,变压器在运行过程中难免会出现各种故障。这些故障若不能及时发…

【解决Docker无剩余存储磁盘空间问题】

【解决Docker无剩余存储磁盘空间问题】 目录 【解决Docker无剩余存储磁盘空间问题】一、问题概述二、问题原因三、解决方案1、方案一:清除Docker磁盘空间2、方案二:更换Docker磁盘存储目录 一、问题概述 执行Docker build -t [镜像名] [源目录] 命令报错…

基于Neo4j的推理知识图谱展示:智能系统与图谱可视化

还在找毕业设计项目吗?试试我们基于Neo4j打造的推理知识图谱展示系统!这是一个兼具前沿技术与实战经验积累的项目,完美适合作为你的毕业设计。 👉 什么是知识图谱? 简单来说,它是通过连接的节点&#xff0…

线性代数基础02

目录 1.向量 1.1向量的定义 1.2向量的运算 1.2.1向量加法 1.2.2向量数乘 1.2.3向量点积 1.3矩阵的特征值和特征向量 1.4向量的模 1.4.1向量的模的定义 1.4.2向量的模的几何解释 1.4.3向量的模的性质 1.5向量的内积 1.5.1向量的内积的定义 1.5.2向量的内积的几何解…

STMicroelectronics 意法半导体芯片选型表

意法半导体作为全球知名的半导体厂商,其产品广泛应用于各个领域,从消费电子到工业控制,从汽车电子到通信设备,都能看到意法半导体芯片的身影。在电子硬件设计领域,芯片的选型至关重要。亿配芯城(ICgoodFind…

WPF常见容器全方位介绍

Windows Presentation Foundation (WPF) 是微软的一种用于构建Windows桌面应用程序的UI框架。WPF的布局系统基于容器,帮助开发者以灵活、响应的方式组织用户界面 (UI) 元素。本篇文章将详细介绍WPF中几种常见的容器,包括Grid、StackPanel、WrapPanel、Do…

Aspose.PDF功能演示:使用 JavaScript 从 PDF 中提取文本

在数据提取、业务文档自动化和文本挖掘方面,使用 JavaScript 从PDF中提取文本非常有用。它允许开发人员自动执行从 PDF 收集信息的过程,从而显著提高处理大量文档的生产力和效率。在这篇博文中,我们将学习如何使用 JavaScript 从 PDF 中提取文…