Milvus 向量数据库实践

Milvus 向量数据库实践 - 1

假定你已经安装了docker、docker-compose 环境

参考的文档如下：

Milvus技术探究 - 知乎

MilvusClient() - Pymilvus v2.3.x for Milvus

一文带你入门向量数据库milvus

一、在docker上安装单机模式milvus数据库

1、进入milvus官网： Install Milvus Standalone with Docker Compose Milvus documentation

2、复制并执行以下执行命令：

# 下载docker-compose文件
wget https://github.com/milvus-io/milvus/releases/download/v2.3.10/milvus-standalone-docker-compose.yml -O docker-compose.yml# 执行docker-compose 
sudo docker compose up -d

3、查看应用是否全部成功启动了：docker ps -a

4、执行docker-compose命令后，可能会出现 milvus-standalone 服务无法正常启动的情况，此时可长时间更改 milvus 的版本后再试试

5、安装 milvus 的可视化操作控制台：Attu


# MILVUS_URL 是 milvus的连接地址，这个不重要，因为在可视化控制台可以修改 
docker run -p 8000:3000 -e MILVUS_URL=127.0.0.1:19530 zilliz/attu:v2.3.0

6、浏览器打开：http://192.168.3.32:8000/

7、预先创建一个collection，方便接下来用代码来测试实际效果

二、使用python 测试图片的向量存储与检索：

注意：实际使用发现使用ResNet50模型更加方便一点，主要是dimension的维度不会特别大，milvus的向量维度最大支持：32768。而使用MobileNetV2模型的话，提取的图片向量特征的dimension为62720。所以为了方便运行代码，体验milvus，直接使用ResNet50模型。

1、直接上代码

import tensorflow as tf  
from PIL import Image  
from tensorflow.keras.applications.resnet50 import ResNet50, preprocess_input  
from tensorflow.keras.preprocessing import image  
import numpy as np  
from pymilvus import MilvusClient
import os  # 初始化Milvus连接  
milvus_client = MilvusClient(uri='http://192.168.3.32:19530')  # 创建一个集合来存储图片向量  
collection_name = 'image_vectors'  
vector_dim = 1000   #向量维度
field_name = 'vec'  #向量字段# 加载预训练的ResNet50模型  
model = ResNet50(weights='imagenet', include_top=True)# 提取图片向量
def getFilefeatureVector1(image_path):  img = image.load_img(image_path, target_size=(224, 224))  img_array = image.img_to_array(img)  img_array = np.expand_dims(img_array, axis=0)  img_array = preprocess_input(img_array)  # 使用模型提取特征  feature_vector = model.predict(img_array)  feature_vector = np.squeeze(feature_vector, axis=0)  return feature_vector;# 待测试图片的文件夹目录
image_folder = '/data/files/milvus/'  # 遍历文件夹下的所有图片，提取特征并存储到Milvus  
def saveFileFeatureVector():i=1for filename in os.listdir(image_folder):  image_path = os.path.join(image_folder, filename)print(filename)# 获取向量  feature_vector=getFilefeatureVector1(image_path)print(feature_vector)# 将特征向量插入到Milvus集合中  insert_data = [{'id':i,'fileName':filename,field_name: feature_vector.tolist()}]  milvus_client.insert(collection_name, insert_data)  i=i+1# 用特定图片的向量特征从milvus中查询相似的图片
def searchFile():# 取测试一张测试图片，获取到其向量特征后，作为查询条件image_path = os.path.join(image_folder, "IMG_20210716_212727_edit_1565328531531.jpg")# 获取向量  feature_vector=getFilefeatureVector1(image_path)search_params = {"metric_type": "L2", "params": {"nprobe": 10}}results=milvus_client.search(collection_name=collection_name, data = [feature_vector],limit=6, # 查询6条offset=0, # 当该参数不为空的时候，为分页查询，配合limit使用，下标从0开始output_fields=["fileName"],search_params= search_params)for hits in results:# get the IDs of all returned hits# print(hits)for hit in hits:# get the value of an output field specified in the search request.# dynamic fields are supported, but vector fields are not supported yet.    print(hit)#
print('开始打印')# 第一步，保存图片向量数据到milvus中（数据初始化成功后，可以注释掉该方法）
saveFileFeatureVector()# 第二步，用指定图片的向量特征查询相似图片
searchFile()# 关闭Milvus连接  
milvus_client.close()

2、saveFileFeatureVector 保存图片特征没有保存的时候，我们可以直接在Attu控制台查看数据集