目录

背景

训练素材

download

torchvision 简介

python代码

执行结果

模型训练

模型训练参数

训练模型

注意事项

模型加载

录入vectorDB

使用预加载的模型参数对图片进行编码

录入milvus

查询效果

查询编码

milvus search

模型适用列表

总结

---

背景

应该说Milvus 在2.4以上版本提供了一个 collection 放多个 vector db 的功能，并在之上 query 时，可以结合多个不同的query weights 给出综合性得分。但是不是一定要用这个功能才可以完成图片与文本的交互式搜索？答案肯定是否定的。从CLIP的原理上来说，就是 txt 与 pic 映射到相同维度的一个向量空间，只要让 txt 与对应的 pic 的 similarity 足够小，与不mapping 的pic simlairty足够大就好，于是本着这个思路，我们看看怎么实现。

训练素材

download

首先下载 

pip install torchvision -i https://pypi.tuna.tsinghua.edu.cn/simple

torchvision 简介

Torchvision是Pytorch中一个开源的机器学习框架，专门为计算机视觉任务设计和优化。它提供了多种功能来支持计算机视觉项目的开发和实验。

简要来说有如下的功能：

数据加载与处理：

Torchvision提供了torchvision.datasets模块，其中包含了许多常用的计算机视觉数据集，如CIFAR-10、CIFAR-100、ImageNet等。torchvision.transforms模块提供了许多预处理功能，如裁剪、旋转、翻转、归一化等，这些功能可以帮助进行数据增强和预处理。
预训练模型：