科技云报道:大模型风起云涌,向量数据库终有“用武之地”?

科技云报道原创。

每逢淘金热,最后的赢家都是卖铲人,而非淘金者。在近两年的大模型风口下,向量数据库就成了这把铲子。

随着大模型快速发展,向量数据库正在成为企业便捷使用大模型、最大化发挥数据价值的关键工具。据IDC调查数据显示,全球在AI技术和服务上的支出2023年将达到1540亿美元,到2026年将超过3000亿美元。其中,向量数据库为AI的开发、增强内容生成的准确性提供了重要技术支撑。

在今年数据库领域所有的技术趋势中,向量数据库无疑成为了最受资本热捧的一个。随着5月份大模型厂商掀起一轮又一轮价格战,接连调低大模型API的价格,高性价比的大模型+向量数据库,在行业应用、企业市场又显现出了商业价值。

为什么向量数据库会随着大模型的发展而爆发?它又将给AI行业带来怎样的机会?

大模型的必经之路

首先,我们需要厘清向量数据库在大模型当中扮演了什么角色。

大模型解决的是计算问题,而向量数据库则解决存储问题。这是从2023年初向量数据库崛起开始,至今为止行业内公认的看法。

人们常常把大语言模型比喻成大脑,但这是一个被切除了颞叶的大脑,缺乏记忆,并且常常出现幻觉。为了解决这些问题,常常需要借助向量数据库。

现实生活中两人进行对话,大致需要三步流程:一方首先抛出话题作引子;另一方会先调动记忆判断自己是否了解这个话题,然后再分析给出应该做出何种回答。如此循环往复直到互动结束。

为让计算机完成这样的互动过程,并持续在一对一或一对多的情况下变成日常,AI科学家提出了CVP结构,即“ChatGPT(以ChatGPT为代表的大模型)+Vector Database(向量数据库)+Prompt(提示词)”,分别承担计算机分析、记忆、引子的功能。

放到大模型上,针对其有可能出现的幻觉问题,可以将所需领域的专业知识存入向量数据库,当要prompt时,系统自动的从向量数据库中根据相似度查找最相关的专业知识,把这些知识和你的提示词一同提交给大模型,这样就可以有效减少幻觉的出现。记忆的问题也类似,可以选择把部分你和大模型的聊天记录存入向量数据库。这是向量数据库近期出现热度的原因。

向量数据库和传统数据库的不同点之一是,传统的数据库只能处理计算机容易了解和处理的数据、字符串等结构化数据,通过点查和范围查进行精确匹配,输出只有符合查询条件和不符合条件的答案,而向量数据库处理的是各种AI应用产生的非结构化数据,通过近似查进行模糊匹配,输出的是概率上的提供相对最符合条件的答案,而非精确的标准答案。

以OpenAI背后的GPT模型预训练所用的数据为例,GPT-3.5的“知识库”共包含3000亿单词的数据,汇聚了来自开源语料库、维基百科、各类图书与新闻报道、Reddit与Twitter平台文章等大量互联网文本数据。GPT-4在此基础上体量更大,且为了支持多模态专门收集各类图像、视频素材,这其中非结构化数据应占有极大比重。

正如冰山效应所喻示的“巨大的冰山往往是八分之一浮在水面上,八分之七沉没在水面之下”,真实世界中绝约80%的数据都为非结构化数据,只有约20%的数据是结构化数据。非结构化数据结构复杂且难处理,反而导致有效利用率远低于结构化数据。因此,打造面向非结构化数据的向量数据库也变成了一场从0到1的拓荒。

近年来,一些数据库厂商已经开始原生支持向量嵌入和向量搜索的功能,并提供了相应的向量索引和查询优化技术。这使得开发人员能够更方便地在数据库中存储和查询向量数据,而无需依赖额外的工具或库。

除了大语言模型的推动外,向量数据库在自身技术上也取得了重大突破,特别是在性能优化、数据处理能力和安全性方面。各数据库厂商和研究机构都在致力于改进向量数据库的算法和架构,以提高其处理大规模数据的能力。

ChatGPT的爆发彻底改变了向量数据库的发展速度。2023年3月,在英伟达全球开发者大会上,CEO黄仁勋力挺向量数据库对构建专有大型语言模型的重要价值,“向量数据库的一个新型重要用例是大型语言模型,在文本生成过程中可用于检索领域特定事实或专有事实。英伟达将推出一个新的库,即RAFT,用于加速索引、数据加载和近邻检索。我们正在将RAFT的加速引入到Meta的AI向量相似性搜索FAISS、Milvus开源向量数据库以及Redis。”他如是说。

在资本市场,近一年来向量数据库是当之无愧的“资本宠儿”,Qdrant、Chroma、Weaviate先后获得融资,成立短短几年的Pinecone宣布1亿美元B轮融资,估值达到7.5亿美元。可见,无论从技术演进还是资本市场来看,向量数据库都是这两年最亮眼的技术。

向量数据库的商业化探索

在大模型兴起之前,传统数据库已经在不断尝试与AI结合,主要涉及以下几个方向:AI for DB、DB for AI、预测估算。随着大模型的兴起,可以看到在这些方向上,数据库与AI间的关联比以往任何时候都要密切。

在“AI for DB”方面,将AI技术嵌入到传统数据库中,使其具备更智能的功能。例如,通过大模型,数据库可以实现更高级的数据分析、智能搜索和推荐等功能。AI技术的应用使得数据库能够更好地理解和处理数据,提供更精确的查询结果和分析报告。

对于“DB for AI”方面,传统数据库可以为大模型提供结构化数据和非结构化数据高效的存储和查询能力。由于大模型通常需要处理大规模的数据,传统数据库的可伸缩性和性能变得尤为重要。数据库可以通过融合查询和差异化存储等技术,提供快速的数据访问和处理能力,满足大模型对数据的高效需求。

此外,大模型的兴起还为数据库注入了预测估算的能力。大模型可以通过学习历史数据和模式,对未来的趋势和结果进行预测和估算。传统数据库可以集成模型,实现对数据的预测分析。这使得数据库可以不仅提供对历史数据的查询和分析,还能够提供对未来数据的预测和估算结果,帮助用户做出更准确的决策。

事实上,不仅是大模型厂商,云计算厂商凭借在AI基础设施、商业生态、市场规模效应方面的已有优势,也开始聚焦向量数据库市场进行各种技术和商业化尝试,这些尝试或许会让向量数据库加速走向商业成功。

首先,多元化部署能力。垂直行业大模型,数据都是私有机密的,客户一般不愿意放到公有云上,这对一部分支持混合多云的云厂商是一大利好,通过私有部署、分布式、混合云等多种方案,打消行业客户将数据放到云端的现实疑虑。

其次,一体化AI能力。向量数据库的火爆,本质是由AI驱动的,而AI Native时代的数据工程,还有许多复杂问题尚待解决,比如检索效率,在处理大规模数据的并行任务时,保持快速响应时间是一个挑战,需要优化索引结构和搜索算法;高负载下的系统稳定性,需要确保数据库系统具备高可用性和容错能力,防止服务中断;存储海量的向量数据,成本效益比要进一步优化……目前来看,云厂商具备从底层算力集群、Maas模型平台到全栈工具链的AI能力,有望通过技术协同创新,持续优化向量数据库的性能和成本。

第三,产业服务能力。各行业对AI与业务的结合热情高涨,但大多还处于尝试探索期,需要结合自身场景、AI应用、IT设施等多种因素试错并迭代。这个过程中,随叫随到、帮助客户及时解决问题的ToB服务能力,也是非常看重的。深耕产业的公有云,有望降低很多企业在AI技术革命中的机会成本。

从某种程度上而言,无论是向量数据库,还是大模型,归根结底,人们在追捧它时的心态,焦虑大于需求。而这种焦虑则来源于“害怕被落下”。

而向量数据库的热潮,在一定程度上外化了人们的焦虑。但这并不能否定向量数据库的实际价值,甚至更长远的价值。

虽然,目前向量数据库仍处于发展初期,但可以确定的是,向量数据库与大模型一定是捆绑关系。因此,未来其演进方向也一定随着大模型能力的演进而发生变化。

不可否认的是,向量数据库的未来有星辰大海,也有曲折的前路。背靠大模型,向量数据库成为资本追捧的“宠儿”。然而,在未来的AGI时代,向量数据库还有更多实事要干。

【关于科技云报道】

专注于原创的企业级内容行家——科技云报道。成立于2015年,是前沿企业级IT领域Top10媒体。获工信部权威认可,可信云、数博会、国家网安周与全球云计算等大型活动的官方指定传播媒体之一。深入原创报道云计算、人工智能、大模型、网络安全、大数据、区块链等企业级科技领域。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/19985.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Python自动化办公2.0 即将发布

第一节课:数据整理与清洗 第二节课:数据筛选、过滤与排序 第三节课:高级数据处理技巧 第四节课:数据可视化与实践案例 第五节课:统计分析与报表 第六节:常见的Excel报表 与下方的课程形成知识体系&…

vue3学习(六)

前言 接上一篇学习笔记,今天主要是抽空学习了vue的状态管理,这里学习的是vuex,版本4.1。学习还没有学习完,里面有大坑,难怪现在官网出的状态管理用Pinia。 一、vuex状态管理知识点 上面的方式没有写全,还有…

如何在Windows 10上更改默认系统字体,这里有详细步骤

Windows 10的默认系统字体Segoe UI看起来相当不错。但是,如果你有更好的替代品,你可以更改Windows 10 PC上的默认系统字体。我们将向你展示如何执行此操作。 如何使用注册表编辑器更改默认系统字体 在撰写本文时,“设置”和“控制面板”都没有更改默认系统字体的选项。这意…

官网:管它日薄西山or蒸蒸日上,气质这块,必须拿捏死死的。

在日薄西山的时候,网站建设面临着许多困难和挑战。市场竞争激烈,用户需求多样化,技术更新迅速,这些都要求我们在网站建设中拥有高尚的气质。 而在蒸蒸日上的时刻,网站建设同样需要我们拿捏好气质。只有坚持下去&#…

MFC实现守护进程,包括开机自启动、进程单例、进程查询、进程等待、重启进程、关闭进程

在Windows平台上实现一个守护进程,由于与系统有关,所有使用MFC来实现是最合适的,被守护的进程则不限语言。废话不多,直接开整。 目录 1. 开机自启动 2. 进程单例 3. 进程查询 4. 进程等待 5. 重启进程 6. 关闭进程 7、最后…

软件和系统集成项目确认测试报告的费用需要多少?

确认测试报告 软件和系统集成项目确认测试报告的费用因多种因素而异,包括项目的规模、复杂度、测试范围、测试周期等。第三方软件测试机构价格区间一般是几千到几万不等,还有些会根据建设费用的2-5%进行收费。 一般来说,软件和系统集成项目…

如何使用JavaScript获取当前URL?

在现代开发中,我们经常需要获取当前网页的URL来完成各种操作,例如页面重定向、参数解析等。在URL的处理上,JavaScript提供了一系列强大且便捷的工具。这篇文章将详细讲解如何使用JavaScript获取当前页面的URL,并分解URL的各个组成部分。 使用JavaScript获取完整的URL 获取…

element ui el-calendar日历组件完整代码

el-calendar日历组件完整代码 1. 说在前面2. 日历整体代码3. 编辑与新增 1. 说在前面 最近一直忙于上班,没咋看博客,发现很多小伙伴都要日历组件的代码,于是今天抽空给大家整理一下,为爱发电!日历组件的原文在这里&am…

mysql中的IN和NOT IN

在MySQL中,IN 和 NOT IN 是用于进行集合比较的条件运算符。它们可以用于简化多个 OR 或 AND 条件的查询。这些运算符在查询语句中非常常见,用于检查某个值是否在指定的集合中。 IN 运算符用于检查某个值是否在指定的集合中。NOT IN 运算符用于检查某个值…

USB转串口针线 USB四根线

USB转RS485 RXD 和 RXD- 分别代表数据接收的正端和负端。在一对通讯系统中,RXD信号在DTE设备端(如计算机、工程主机)为输入信号,即数据接收端。其中,RXD代表数据接收的正端,而RXD-代表数据接收的负端。 T…

如何构建最小堆?

方式1&#xff1a;上浮调整 /*** 上浮调整(小的上浮)*/ public static void smallUp1(int[] arr, int child) {int parent (child - 1) / 2;while (0 < child && arr[child] < arr[parent]) { // 0 < child说明这个节点还是叶子arr[child] arr[child] ^ ar…

吊车近电报警器:各种高空作业车辆防触电事故设备

吊车近电报警器&#xff1a;各种高空作业车辆防触电事故设备 吊车近电报警器是专门用于防止大型高空作业车&#xff08;如吊车、起重机、消防车等&#xff09;在作业过程中触碰高压线路而引发事故的装置。该装置能够实时监测吊车与高压电线之间的距离&#xff0c;并在危险情况…

静态链表具体题目处理详解

题目 给出两条链表的首地址以及若干结点的地址、数据、下一个结点的地址&#xff0c;求两条链表的首个共用结点的地址。如果两条链表没有共用结点&#xff0c;则输出-1. 思路 &#xff08;1&#xff09;由于地址的范围很小&#xff0c;因此可以直接用静态链表&#xff0c;但…

计算机视觉与模式识别实验1-1 图像的直方图平衡

文章目录 &#x1f9e1;&#x1f9e1;实验流程&#x1f9e1;&#x1f9e1;1.读入图像‘rice.png’&#xff0c;在一个窗口中显示灰度级n64&#xff0c;128和256的图像直方图。2.调解图像灰度范围&#xff0c;观察变换后的图像及其直方图的变化。3.分别对图像‘pout.tif’和‘ti…

③单细胞学习-pbmc的Seurat 流程

目录 1&#xff0c;数据读取 2&#xff0c;线粒体基因查看 3&#xff0c;数据标准化 4&#xff0c;识别高变基因 5&#xff0c;进行数据归一化 6&#xff0c;进行线性降维 7&#xff0c;确定细胞簇 8&#xff0c;UMAP/tSNE降维&#xff08;保存pbmc_tutorial.rds&#…

mirth Connect 自定义JAVA_HOME

mirth Connect 自定义JAVA_HOME 1、背景 服务器上安装了两个不同版本的Java&#xff0c;我希望Mirth服务使用与默认系统不同的版本。自定义指定java版本 2、解决方法 2.1 优先级说明 系统变量JAVA_HOME (设置后&#xff0c;mirth会根据这个进行启动运行服务&#xff0c;优先级…

【火炬打宝策略】

打宝策略刷遗物&#xff1a; 时可4 只刷奇诊加稀有度&#xff0c;没有奇诊可以直接不打。

模型 STORY评估框架

说明&#xff1a;系列文章 分享 模型&#xff0c;了解更多&#x1f449; 模型_思维模型目录。故事五要素&#xff1a;结构、时间、观点、现实、收益 。 1 STORY评估框架的应用 1.1 STORY模型展示其个性化在线学习解决方案的优势 一家在线教育平台想要通过一个故事来展示其个性…

不是我愿意孤独,而是周围找不到同类

概述 首先&#xff0c;听到这句话的时候&#xff0c;是从《天道》的电视剧中听到的。 仔细翻阅后&#xff0c;发现&#xff0c;这句话出自尼采。 完整的表述是&#xff1a;独处的人不是因为他想孤独&#xff0c;而是因为在他的周围找不到他的同类~ 先不说是不是真有此句&…

gcc 内建函数示例 __builtin_return_address

1,理论未动&#xff0c;示例先行 hello_gcc_callstack.c #include <stdio.h>void do_backtrace() {void *pc0 __builtin_return_address(0);void *pc1 __builtin_return_address(1);void *pc2 __builtin_return_address(2);void *pc3 __builtin_return_address(3);…