milvus元数据在etcd的存储解析

milvus元数据在etcd的存储解析

数据以key-value形式存在。

大致包含如下一些种类:

  • database
  • collection
  • field
  • partition
  • index
  • segment-index
  • resource_group
  • session

database

创建一个数据库会产生2个key,但value是相同的。

key规则:

  • 前缀/root-coord/database/db-info/{dbID}

  • 前缀/snapshots/root-coord/database/db-info/{dbID}_ts{时间戳}

默认数据库名为default,dbID为1。

ID和时间戳都是一串数字,由physicalTime+logicalTime组成。

创建一个名为testdb01的数据库,产生的2个key如下:

by-dev/meta/root-coord/database/db-info/444381061892856434by-dev/meta/snapshots/root-coord/database/db-info/444381061892856434_ts444383983389376515

444381061892856434为dbid。这个ID可以进行tso解析。

value结构如下:

在这里插入图片描述

在这里插入图片描述

将此结构体使用protobuf序列化后存入到etcd,因此etcd存储的是二进制数据。

collection

创建一个collection会产生2个key,但value是相同的。

key规则:

  • 前缀/root-coord/database/collection-info/{dbID}/{collectionID}

  • 前缀/snapshots/root-coord/database/collection-info/{dbID}/{collectionID}_ts{时间戳}

可以反映出collection属于哪个DB。

在testdb01下创建一个名为testcol01的collection,产生如下2个key:

  • by-dev/meta/root-coord/database/collection-info/444381061892856434/444384207423931210

  • by-dev/meta/snapshots/root-coord/database/collection-info/444381061892856434/444384207423931210_ts444384251124908036

value结构如下:

在这里插入图片描述

在这里插入图片描述

将此结构体序列化后存入到etcd,因此etcd存储的是二进制数据。

field

创建collection的时候会创建field,一个field会产生2个key,但value是相同的。

key规则:

  • 前缀/root-coord/fields/{collectionID}/{fieldID}

  • 前缀/snapshots/root-coord/fields/{collectionID}/{fieldID}_ts{时间戳}

可以反映field属于哪个collection。虽然并未反应出属于哪个db,但是collectionID是唯一的,也可以通过collectionID判断出属于那个db。这样不同的db下面有相同名称的collection就可以区别了。

一个field就是一个字段。

创建一个名为testcol01的collection,包含2个field(hid和embedding)产生的key如下:

hid字段:

  • by-dev/meta/root-coord/fields/444384207423938951/100

  • by-dev/meta/snapshots/root-coord/fields/444384207423938951/100_ts444384154740064260

embedding字段:

  • by-dev/meta/root-coord/fields/444384207423938951/101

  • by-dev/meta/snapshots/root-coord/fields/444384207423938951/101_ts444384154740064260

value结构如下:

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

将此结构体序列化后存入到etcd,因此etcd存储的是二进制数据。

partition

创建一个分区会产生2个key,但value是相同的。

key规则:

  • 前缀/root-coord/partitions/{collectionID}/{partitionID}

  • 前缀/snapshots/root-coord/partitions/{collectionID}/{partitionID}_ts{时间戳}

可以反映partition属于哪个collection。

一个collection可以包含多个partition。

默认partition名为:_default。

可配置(milvus.yml):common.defaultPartitionName

在名为testcol01的collection下包含1个partition,产生如下2个key:

  • by-dev/meta/root-coord/partitions/444384963133177989/444384963133177990

  • by-dev/meta/snapshots/root-coord/partitions/444384963133177989/444384963133177990_ts444384154740064260

value结构如下:

在这里插入图片描述

在这里插入图片描述

将此结构体序列化后存入到etcd,因此etcd存储的是二进制数据。

index

创建index会产生2个类型的key。一个是index,一个是segment-index。

key规则:

  • 前缀/field-index/{collectionID}/{IndexID}

可以反映index属于哪个collection。Index的value可以反映索引建立在哪个field。

不能反映属于哪个partition、哪个segment。

创建一个名为idx_embedding的索引,产生1个类型的key如下:

  • by-dev/meta/field-index/444384207423931210/444425876914135276

value结构如下:

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

将此结构体序列化后存入到etcd,因此etcd存储的是二进制数据。

segment-index

创建index会产生2个类型的key。一个是index,一个是segment-index。

key规则:

  • 前缀/segment-index/{collectionID}/{partitionID}/{segmentID}/{buildID}

创建一个名为idx_embedding的索引,产生1个类型的key如下:

  • by-dev/meta/segment-index/444517122896489678/444517122896489679/444517122896489694/444521062292259541

value结构如下:

在这里插入图片描述

在这里插入图片描述

将此结构体序列化后存入到etcd,因此etcd存储的是二进制数据。

resource_group

资源组可以用来进行查询节点的物理隔离。

在多collection环境中,为每个资源组分配适当数量的查询节点,应用到collection中

key规则:

  • 前缀/queryCoord-ResourceGroup/{rgName}

创建一个名为rg的资源组,产生如下1个key:

  • by-dev/meta/queryCoord-ResourceGroup/rg

value结构如下:

在这里插入图片描述

在这里插入图片描述

将此结构体序列化后存入到etcd,因此etcd存储的是二进制数据。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/9944.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

代码随想录算法训练营第六十一天| LeetCode739. 每日温度、496.下一个更大元素 I

一、LeetCode739. 每日温度 题目链接/视频讲解/文章讲解:https://programmercarl.com/0739.%E6%AF%8F%E6%97%A5%E6%B8%A9%E5%BA%A6.html 状态:已解决 1.思路 如果有同学学过单调栈的话这道题还是能看出明显解法的,因为需要寻找任一个元素的右…

【深度学习】Diffusion扩散模型原理解析1

1、前言 diffusion,这几年一直很火的模型,比如这段时间在网上的文生图大模型——Stable diffusion。就是以diffusion作为基底模型,但由于该模型与VAE那边,都涉及了较多了概率论知识,实在让人望而却步。所以&#xff0…

线路和绕组中的波过程(二)

本篇为本科课程《高电压工程基础》的笔记。 本篇为这一单元的第二篇笔记。上一篇传送门。 行波通过串联电感与旁路并联电容 由于并联电容或串联电感的存在,线路上传播的行波会发生幅值和波形的变化。 直角波通过串联电感 有一个无限长的直角波 U 1 f U_{1f} U1…

C语言 | Leetcode C语言题解之第82题删除排序链表中的重复元素II

题目: 题解: struct ListNode* deleteDuplicates(struct ListNode* head) {if (!head) {return head;}struct ListNode* dummy malloc(sizeof(struct ListNode));dummy->next head;struct ListNode* cur dummy;while (cur->next && cu…

vue----- watch监听$attrs 的注意事项

目录 前言 原因分析 解决方案 总结 前言 在 Vue 开发过程中,如遇到祖先组件需要传值到孙子组件时,需要在儿子组件接收 props ,然后再传递给孙子组件,通过使用 v-bind"$attrs" 则会带来极大的便利,但同时…

js代码中关于async await的滥用 async await的滥用

概念: 返回值: async返回一个promise---这个返回值是默认自发行为 async function name1(params) {console.log(params) } let result name1(lion) console.log(result) // Promise { undefined } result.then(res > console.log(res)) // undefin…

设计模式 六大原则之单一职责原则

文章目录 概述代码例子小结 概述 先看下定义吧,如下: 单一职责原则的定义描述非常简单,也不难理解。一个类只负责完成一个职责或者功能。也就是说在类的设计中, 我们不要设计大而全的类,而是要设计粒度小、功能单一的类。 代码例…

灯珠CCD或CMOS成像RGB数据 光谱重建

1. 源由 本文主要为了通过摄像头CCD或者CMOS传感器对灯珠成像数据分析、重建灯珠可见光范围光谱数据的研究,从原理和方法上论证可行性。 随着照明技术迅猛发展,LED技术日渐成熟。LED产品由于具备经久耐用、节能且价格低等优势,已成为照明行…

传输层之 TCP 协议

TCP协议段格式 源/目的端口号:表示数据是从哪个进程来,到哪个进程去。 序号:发送数据的序号。 确认序号:应答报文的序号,用来回复发送方的。 4 位首部长度:一个 TCP 报头,长度是可变的&#xff…

2024年汉字小达人活动还有4个多月开赛:来做18道历年选择题备考吧

不出特殊情况的话,距离2024年第11届汉字小达人比赛还有4个多月的时间,如何利用这段时间有条不紊地备考呢?我的建议是两手准备:①把小学1-5年级的语文课本上的知识点熟悉,重点是字、词、成语、古诗。②把历年真题刷刷熟…

脆皮之“指针和数组的关系”

文章目录 1. 数组名的理解2. 使用指针访问数组3. 一维数组传参的本质4. 冒泡排序5. 二级指针6. 指针数组7. 指针数组模拟二维数组 hello,大家好呀,窝是脆皮炸鸡。这一期是关于数组和指针的,我觉得并不是很难,但是我觉着下一期可能…

自定义el-select下拉菜单的内容以及数据回显的内容

最终的效果 下拉选项的自定义内容好实现&#xff0c;因为他有默认插槽&#xff0c;所以直接在el-option标签里面写自定义内容就可以实现 <el-selectref"seriesBorderTypeRef"class"series-border-type"change"changeSeriesBorderType"v-model…

程序设计---二分

整数二分&#xff08;重点在边界&#xff09; 本质并不是单调性&#xff0c;有单调性一定可以二分&#xff0c;有二分不一定有单调性。 二分的本质是边界&#xff0c; 将整个区间一分为二&#xff0c;一半满足&#xff0c;一半不满足。 那么我们可以找到这个性质&#xff0…

Rust - 终端输入、文件读写

文章目录 查看参数接收终端输入读取文件写入文件 查看参数 fn main() { let args std::env::args();println!("{:?}", args); // Args { inner: ["target/debug/rt"] }for arg in args {println!("{}", arg);} }接收终端输入 use std::io:…

【已解决】chrome/其他浏览器:你的连接不是私密连接

一、问题原因 这个问题一般是https的网址会有&#xff0c;它是安全的访问连接&#xff0c;在原来的基础上SSL/TLS协议进行加密和身份验证。 这里可能是证书过期了&#xff0c;其实 二、解决方法【亲测有效】 方法1&#xff1a;点击高级&#xff0c;如果有继续访问对应的http…

ESLint: Unexpected ‘debugger‘ statement.(no-debugger)(debugger报红)

ESLint: Unexpected debugger statement.(no-debugger) 解决办法&#xff1a; 找到.eslintrc.js文件中rules的no-debugger更改为0即可

gpustat 不能使用问题

突然间就不能用了&#xff0c;可能是环境出了问题&#xff0c;如果GPU没问题的话&#xff0c;那么换个环境重新安装试一下&#xff08;pip install gpustat&#xff09;&#xff0c;目前是换个环境就可以了&#xff08;做个笔记&#xff09;

两正序列元素之和比值的上下界——小于等于其元素之比的最大值,大于等于元素之比的最小值

对于两个正数序列&#xff08;集合&#xff09; { a 1 , a 2 , . . . , a l } \{a_1,a_2,...,a_l\} {a1​,a2​,...,al​} 和 { b 1 , b 2 , . . . , b l } \{b_1,b_2,...,b_l\} {b1​,b2​,...,bl​} &#xff0c;满足 min ⁡ i a i b i ≤ ∑ i 1 l a i ∑ i 1 l b i ≤ …

信息系统项目管理师0101:项目建议与立项申请(7项目立项管理—7.1项目建议与立项申请)

点击查看专栏目录 文章目录 第七章 项目立项管理7.1项目建议与立项申请1.立项申请概念2.项目建议书内容记忆要点总结第七章 项目立项管理 项目立项管理是对拟规划和实施的项目技术上的先进性、适用性,经济上的合理性、效益性,实施上的可能性、风险性以及社会价值的有效性、可…

代码随想录算法训练营第三十五天| 435. 无重叠区间 763.划分字母区间 56. 合并区间

435. 无重叠区间 题目链接 思路 遍历数组&#xff0c;如果i的右区间大于i-1的左区间&#xff0c;就没有重叠&#xff0c;需要更新左区间 解题方法 遍历数组&#xff0c;如果i的右区间大于i-1的左区间&#xff0c;就没有重叠&#xff0c;需要更新左区间 Code class Solut…