九章云极DataCanvas公司DingoDB完成中国信通院权威多模数据库测试

在这里插入图片描述

2024年5月16日,九章云极DataCanvas公司自主研发和设计的开源多模向量数据库DingoDB顺利完成中国信息通信研究院(以下简称中国信通院)多模数据库产品测试。本次测试的成功标志着DingoDB在技术能力、性能表现和产品稳定性方面得到了权威机构的高度认可,并进一步印证其为用户提供可靠高效数据管理解决方案的能力,以及在多模数据库领域的领先地位和卓越品质。目前,DingoDB已完成中国信通院《向量数据库标准》和《多模数据库技术要求》两大数据库领域的重量级测试。
在这里插入图片描述

图1 DingoDB多模向量数据库的多重能力

中国信通院作为国家级科研机构,承担了多项国家级重大科研任务和标准制定工作,具有极高的权威性和公信力,其测试和认证在业内广受认可。中国信通院定期对数据库产品进行全面测试,为用户选择合适的数据库产品提供权威指南,本次多模数据库产品测试正是基于《多模数据库技术要求》的标准。该标准由中国信通院云计算与大数据研究所联合多家企业专家制定,涵盖了多模数据库的基本能力、管理能力、兼容能力、安全能力、扩展能力、高可用等六大能力域,共33个测试项(包括21个必选项和12个可选项),测试产品需要满足所有必选项方可通过。

DingoDB——功能完全内建的数据库,而非多组件的简单堆砌

DingoDB集成了关系型、文档、向量和键值四种数据模型,能为用户提供高效多模型数据库解决方案。区别于市场上很多多模数据库厂商,它不是多个数据模型组件的简单堆砌,而是一款具备在线强一致性的完全内建的数据库。

DingoDB产品特性:

  • 企业级存储可靠性:基于Multi-Raft多副本存储,确保数据强一致性,满足企业级容灾需求。

  • 多模数据联合检索:支持通过SQL进行执行关系、向量、文档的联合检索,并提供丰富的索引类型,简化RAG应用的开发复杂度,满足各种场景需求。

  • 多模数据库的能力:部署一套DingoDB即可拥有键值缓存加速、关系数据库和向量数据库和文档的服务能力,减少多个数据库系统的维护和管理成本,提高整体系统的效率和灵活性。

  • 兼容MySQL协议:用户可以直接使用原生的MySQL客户端访问,无需学习新的数据库语法和工具,降低用户的使用门槛。

  • 水平扩缩容:基于存算分离的架构设计,DingoDB能够实现对性能和资源的一键水平扩容和缩容,使得企业能够根据业务需求快速调整数据库规模,有效应对流量变化。

  • 多存储引擎兼容:支持多种存储引擎,使得企业可以根据业务特点选择最适合的存储引擎,最大化性能效益。

  • 分布式事务:支持多种数据模态下的分布式事务,同时提供多种隔离级别,既兼容乐观事务和悲观事务,确保事务在分布式环境下的完整性和一致性。

  • 多租户支持:原生支持多租户,服务隔离防止数据泄露与干扰。支持请求级动态流控,灵活分配资源。支持混合存储与按租户和资源组隔离,确保资源的合理分配和高效利用。

  • 开源开放:完整开放数据库源代码,提供丰富的多语言SDK及详尽的开发文档,满足用户在不同应用开发场景中的需求。

DingoDB场景应用:

1)基于RAG技术的场景的应用

DingoDB覆盖关系型、文档、向量和键值等多种数据模型的特点,使得它在基于RAG技术(Retrieval Augmented Generation)的场景中得到广泛应用,例如企业知识管理场景。该场景的目标是从海量的技术文档中找到与问题相关的片段并生成回答。这个过程需要结合大语言模型(LLM,large language model)和多模数据库的能力。其中,LLM因为无法直接生成与技术内容相关的答案,只起到辅助性作用,效果好坏是由执行检索任务的多模数据库决定。在该场景,DingoDB提供两种不同的检索方式来召回相关文本数据,包括向量检索和关键词检索。向量检索依赖于DingoDB的向量数据库功能,而关键词检索则依赖于其文档数据库功能。这种多模检索方式能有效提高生成内容的准确性、连贯性和信息量,确保用户获得更高质量的响应。

使用DingoDB的企业知识管理场景的流程如下(图2),分为下列三个步骤:
在这里插入图片描述

图2 基于DingoDB多模向量数据库的RAG构建流程

Step1.文档解析入库

将企业的技术文档上传,通过Text Splitter模块进行分割,生成多个文本块(段落、句子等)。对文本块进行标注提取,生成标题或标签,便于检索。对于包含表格的数据,生成描述性句子,确保表格内容能被准确理解和检索。最后,通过Embedding模型将文本块向量化,生成用于向量检索的表示,存入DingoDB。

Step2. 基于DingoDB的向量检索和关键词检索

用户提出问题后,通过Embedding模型生成向量表示,在DingoDB中进行向量检索,找到最相关的多个文本块。关键词检索是为解决用户口头表达与专业文档不匹配而造成的检索不准确问题。关键词检索通过LLM提取关键词,输入DingoDB进行关键词匹配(match召回),找到相关文本块。DingoDB支持标量向量联合检索,结合关键词匹配和向量召回进行混合召回,返回TopN相关文本块。

Step3. 答案生成

将检索到的TopN相关文本块通过预定义的Prompt模板传递给LLM,由LLM生成详细且准确的答案。

综上所述,在大语言模型时代的RAG典型应用企业知识管理场景,DingoDB可以高效地处理和检索海量技术文档,提供精准、及时的答案,支持企业内部的信息查询和知识管理。依托该场景,DingoDB在多家央企客户得到应用。

2)分布式KV场景的应用

在金融行业的实时风控、反欺诈、精准营销、产品推荐等需要亚秒级决策的场景,DingoDB以其高性能和低延迟的特点,轻松驾驭亚秒级大规模数据处理与分析,为实时决策提供坚实的服务支撑。DingoDB采用先进的数据复制与故障转移机制,并通过持久化技术确保数据安全可靠。同时,能根据业务需求灵活扩展计算与存储资源,从容应对数据处理需求的持续增长。DingoDB具备满足信创标准的高频Serving计算能力,使企业在面对实时数据处理和决策时能够快速响应。

3)其他场景的应用

除上述两类场景,DingoDB还在多种丰富场景应用中展现了其强大的功能和多样化的能力(图3)。

在这里插入图片描述

图3 DingoDB多模向量数据库支撑多种业务场景

Vector Ocean数据支撑:Vector Ocean是九章云极DataCanvas对数据架构的一种全新设想。DingoDB在Vector Ocean中提供结构化和非结构化数据的存储,支持多模态数据分析能力和科学计算能力。其强大的数据处理能力使得企业能够在一个平台上处理多种数据类型,简化数据管理流程。

大模型记忆体:DingoDB辅助大语言模型生成前的Prompt管理,提供高效并发的搜索答案能力。这在大语言模型时代尤为重要,能够为AI模型提供可靠的数据支持,提升模型生成答案的准确性和效率。

结构化与非结构化数据的融合分析:DingoDB支持音频、视频、文本等非结构化数据的向量化存储,提供结构化与向量数据的联合分析和计算能力。这种融合分析能力使得企业能够从多维度进行数据分析,获取更全面的洞察。

总结

综上所述,DingoDB作为一款多模数据库,在企业知识管理、实时决策、数据支撑、大语言模型应用以及多类型数据检索和分析等方面展现出强大的应用能力,获得了广泛的认可和好评。DingoDB不仅可以充当海量数据的存储中心,还是推动数据驱动决策的核心动力。在数字化转型的浪潮中,DingoDB成为传统业务与前沿技术的重要桥梁。无论是云计算的高效处理、大数据的深度分析、人工智能的智能决策,还是物联网的实时数据交换,DingoDB都能提供坚实的数据分析和处理支撑。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/19012.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

python深入探索斐波那契数列:代码示例与不满足的外围条件

新书上架~👇全国包邮奥~ python实用小工具开发教程http://pythontoolsteach.com/3 欢迎关注我👆,收藏下次不迷路┗|`O′|┛ 嗷~~ 目录 一、斐波那契数列的初步实现 二、外围条件的不满足情况 总结 一、斐波那契数列的初步实现 …

存储型XSS

前言 什么是存储型xss: 提交恶意xss数据,存入数据库中,访问时触发。 存储型xss和反射型xss区别: 存储型存入数据库中,可持续时间长,而反射型持续时间短,仅对本次访问有影响,反射型一…

中华活页文选高中版投稿发表

《中华活页文选(高中版)》创刊于1960年,是中宣部所属中国出版传媒股份有限公司主管、中华书局主办的国家级基础教育期刊,曾获得“中国期刊方阵双效期刊”、国家新闻出版广电总局推荐的“百种优秀报刊”等荣誉称号。本刊以高中学科…

Day 6:2981. 找出出现至少三次的最长特殊子字符串 I

Leetcode 2981. 找出出现至少三次的最长特殊子字符串 I 给你一个仅由小写英文字母组成的字符串 s 。 如果一个字符串仅由单一字符组成,那么它被称为 特殊 字符串。例如,字符串 “abc” 不是特殊字符串,而字符串 “ddd”、“zz” 和 “f” 是特…

性能猛兽:OrangePi Kunpeng Pro评测!

1.引言 随着物联网和嵌入式系统的不断发展,对于性能强大、资源消耗低的单板计算机的需求也日益增加。在这个快节奏的技术时代,单板计算机已成为各种应用场景中不可或缺的组成部分,从家庭娱乐到工业自动化,再到科学研究&#xff0…

差分曼彻斯特编码详解

这是一种双向码,和曼彻斯特编码不同的是,这种码元中间的电平转换边只作为定时信号,不表示数据。数据的表示在于每一位开始处是否有电平转换:有电平转换则表示0,无则表示1。然后这就出现一个问题,很多小伙伴…

App Inventor 2 低功耗蓝牙BLE 两种通信方式:扫描和广播

低功耗蓝牙,也称为蓝牙 LE 或简称 BLE,是一种类似于经典蓝牙的新通信协议,不同之处在于它旨在消耗更少的功耗,同时保持可比的功能。 因此,低功耗蓝牙是与耗电资源有限的物联网设备进行通信的首选。BluetoothLE 扩展需…

DiffBIR论文阅读笔记

这篇是董超老师通讯作者的一篇盲图像修复的论文,目前好像没看到发表在哪个会议期刊,应该是还在投,这个是arxiv版本,代码倒是开源了。本文所指的BIR并不是一个single模型对任何未知图像degradation都能处理,而是用同一个…

数据结构(十)图

文章目录 图的简介图的定义图的结构图的分类无向图有向图带权图(Wighted Graph) 图的存储邻接矩阵(Adjacency Matrix)邻接表代码实现 图的遍历深度优先搜索(DFS,Depth Fisrt Search)遍历抖索过程…

【搜索方法推荐】高效信息检索方法和实用网站推荐

博主未授权任何人或组织机构转载博主任何原创文章,感谢各位对原创的支持! 博主链接 本人就职于国际知名终端厂商,负责modem芯片研发。 在5G早期负责终端数据业务层、核心网相关的开发工作,目前牵头6G算力网络技术标准研究。 博客…

同时执行多个python脚本扫描,报如下错误,原因为文件越大读取到内存占用内存越多。

killed nohup python $file unable to fork process cannot allocate memory ls: error while loading shared libraries: libdl.so.2 failed to map segment from shared object cannot allocate memory python进程被系统或者某个用户通过 kill 命令强制终止了

Springboot 实战运用

一&#xff0c;基本配置 1&#xff0c;pom文件配置介绍 1.1继承 <parent><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-parent</artifactId><version>2.5.2</version><relativePath/> <…

ubuntu下载离线软件包及依赖

目录 一、前言 二、正文 1.准备环境 2.开始下载 3.后续工作 三、总结 一、前言 由于给客户提供的设备机不允许上网&#xff0c;那么所有待安装的软件包及依赖库都需要提前下载好&#xff0c;然后通过局域网传过去再安装。 另外&#xff0c;软件包可能还依赖其他的库&…

Mac安装tomcat

代码 brew install tomcat 运行结果如下&#xff1a; 如果要启动输入&#xff1a; brew services start tomcat

新书推荐—华为HCIA路由交换技术实战

新书推荐—华为HCIA路由交换技术实战 由HCIE认证讲师、技术能手、ICT大赛优秀指导教师、教学名师、国家规划教材作者联袂编撰&#xff0c;让学习不再是“硬”茬&#xff0c;而是“嗨”起来&#xff01; 《华为HCIA路由交换技术实战》 作者黄君羡组编正月十六工作室书号978-7-12…

半个月获邀请函|在读博士公派新加坡南洋理工大学联合培养

J同学计划先申报CSC联培博士&#xff0c;如若获批&#xff0c;再走本校的联培资助项目。我们仅用半个月时间&#xff0c;就为其申请到新加坡南洋理工大学&#xff0c;因导师接收名额有限制&#xff0c;其又热心推荐了另一位指导导师&#xff0c;最终J同学如愿获得学校资助出国联…

职校老师的工资待遇怎么样

工资水平一直是教师们关注的焦点&#xff0c;毕竟&#xff0c;工资不仅关系到个人的生活品质&#xff0c;还影响着教师的职业满意度和工作动力。职校教师的工资待遇究竟是怎样的呢&#xff1f; 职校教师的工资水平受多种因素影响&#xff0c;包括地区、学校类型、个人资历和教学…

备份服务器的安全风险以及如何通过TDE透明加密提升安全性

备份服务器的潜在安全风险主要包括以下几个方面&#xff1a; 1. 数据泄露风险&#xff1a; 备份数据可能包含敏感信息&#xff0c;如用户个人信息、商业机密等。如果备份数据未经适当保护&#xff0c;例如存储在不安全的位置或未加密&#xff0c;黑客或未授权的人员可能会获取…

AppInventor2 表格布局的外面的黑框怎么去掉?

问&#xff1a;表格布局的外面的黑框怎么去掉啊&#xff1f; 答&#xff1a;这个黑框是界面设计的布局位置示意&#xff0c;实际 App 测试时并没有框。 来源&#xff1a;AppInventor2 表格布局的外面的黑框怎么去掉&#xff1f; - App应用开发 - 清泛IT社区&#xff0c;为创新…

ELT 同步 MySQL 到 Doris

如何基于 Flink CDC 快速构建 MySQL 到 Doris 的 Streaming ELT 作业&#xff0c;包含整库同步、表结构变更同步和分库分表同步的功能。 本教程的演示都将在 Flink CDC CLI 中进行&#xff0c;无需一行 Java/Scala 代码&#xff0c;也无需安装 IDE。 准备阶段 # 准备一台已经…