无代码DIY图像检索

软件环境准备

可参见《HuggingFists-低代码玩转LLM RAG-准备篇》中的HuggingFists安装及Milvus安装。

流程环境准备

图片准备

进入HuggingFists内置的文件系统，数据源->文件系统->sengee_fs_settings_201
创建Image文件夹
将事先准备的多张相同或不同种类的图片上传到Image目录下。如下图：

HuggingFace账号准备

HuggingFists系统没有提供内置的Hugging Face账号，所以用户需要先去申请一个Hugging Face账号。用户可通过链接https://Hugging Face.co/join注册账号。注册成功后，通过界面右上角的个人信息->Settings->Access Tokens申请一个专属的访问令牌。

其次，在HuggingFists右上角的个人信息->个人设置->资源账号中添加一个Hugging Face访问账号。进入资源账号界面后，选择添加资源账号，弹出如下的界面：

选中Hugging Face类型，并将申请到的访问令牌填充进“访问token”输入框，填充完成后提交，创建成功。

Embedding算法准备

在HuggingFace网站中搜索支持Image Embedding的模型，如下图。本文选中的模型为radames/blip_image_embeddings。该模型生成的向量的长度为1024，使用Milvus创建向量集合时需将向量字段的长度设置为1024。

向量环境准备

可参见《HuggingFists-低代码玩转LLM RAG-准备篇》中的添加Milvus数据源何创建Milvus表的相关章节。

图像入库流程构建

进入流程管理，新建Image-Writer流程。拖拽并配置文件输入、Milvus写出及HuggingFaceImageEmbedding算子构建图像入库流程。

文件输入

如下图所示，将流程准备阶段创建的存放图片的image文件夹加入文件输入配置。

HuggingFaceImageEmbedding

为HuggingFace图像嵌入算子设置访问代理、访问账号以及我们在环境准备阶段选好的图嵌入模型。设置内容如下：

Milvus写出

为Milvus写出算子指定通过前序准备环节创建的数据源milvus和数据表image02。设置HuggingFace图像嵌入算子与image02表字段的映射关系。streamName字段写入image02的name字段；embeddings字段写入image02的embedding字段。

流程执行

流程构建完毕，点击执行流程。执行结果如下：

环境准备时，我们准备了3张图片。执行结果看，流程读入了3张图片，并且写入Milvus3条记录，流程被正确运行了。为了验证这种插入检索到有效性，下面我们在构建一个图检索流程。

图像检索流程构建

新建Image-Reader流程。拖拽并配置文件输入、HuggingFaceImageEmbedding及Milvus读取算子。

文件输入

配置方式与图像入库流程中的文件输入相同，唯一差别是，这次我们只选择一张图片作为输入。这张图片是以图01作为基础截取了一部分构成的图。我们打算以这张图作为检索条件。

HuggingFaceImageEmbedding

配置同上

Milvus读取

为Milvus读取算子指定数据源milvus。编写如下查询语句：

select  *  from image02 where vMatch(embedding, 'L2', '[@{embeddings}]') and consistencyLevel('STRONG') and nProbe(10) limit 5

由于Milvus本身不支持SQL的访问方式，所以这里使用的是基于开源项目MOQL对Milvus支持的语法格式。上面的SQL语句中使用了@{embeddings}变量，该变量表示上下文变量，上下文变量可以与算子的输入列做绑定映射。HuggingFaceImageEmbedding算子有一个名为embeddings的列输出到Milvus读取算子，故从配置中可以看到，变量embeddings与输入的embeddings列做了映射绑定。运行时，变量会被输入列的值替换掉，从而生成可运行的SQL语句。当输入为多条记录时，每条记录都会驱动一次SQL的生成与检索。

流程执行

流程构建完毕，点击执行流程。执行结果如下：

结果我们可以看到，我们插入的3个图片都返回了。这是因为我们的SQL语句写的条件是limit 5,这表示查回与输入图片相似的5张图片。因为数据库就3张图片，所以查询时就都返回了。但我们可以通过结果的idScore列看到，01.png的分值最低，这表示其与输入的图片最相似，而其它图片的相似程度就差了很多。为了能够得到更精准的结果，我们可以在流程里加一个过滤算子，设置一个过滤条件，过滤掉那些明显不相似的图片。比如我们将过滤条件设置为idScore < 100，那么只有01.png这个图片会被筛选到了。