文搜文、图搜图介绍:
文搜文 :即文本搜索文本,是指通过输入关键词或短语,在大量文本数据中检索出与之相关的内容 。 搜 索引擎(百度、谷歌、 360 ) 、 文档管理系统 、 电商搜索 。
图搜图 :即图像搜索图像,是一种基于图像内容的搜索技术 。 电商平台 、 版权保护 、 设计行业 、 智 慧医疗 ( 医生可以通过图搜图技术检索医学影像库中的相似病例,辅助病情诊断和治疗方案的制定 )、 旅游出行 。
传统的 Elasticsearch 全文搜索引擎可以通过分词实现搜索功能,但是要实现图搜图就无从下手了。
向量 Embeddings 结合向量数据库不仅可以实现文搜文,还实现图搜图。
向量 Embeddings 结合向量数据库在向量搜索领域相比 Elasticsearch 具有更高的性能(比如相似度)、更强的灵活性和可扩展性、更低的开发门槛和成本效益,以及更广泛的应用场景。
比如 Milvus 向量数据库,在 万亿条 向量数据中检索数据可以实现毫秒级别的速度。
向量 Embeddings 介绍:
向量 Embeddings 也叫向量嵌入( Vector Embeddings ),是自然语言处理( NLP )和机器学习领域中一个非常重要的概念,它是一种将高维数据(如文本、图像、音频或视频等)映射到低维空间(向量)的技术。这种转换使得这些数据(如文本、图像、音频或视频等)能够在数学上被处理,从而能够进行自然语言搜索、分类、计算等操作。
非结构化数据 ( 如 WORD 、 PDF 、 TXT 等 ) ,通过 深度学习模型 ( 神经网络 ) ,把 自然语言 转换成 向量 ,这样就可以实现自然语言搜索、分类、计算等操作。
深度学习向量模型 (神经网络)目前已经非常成熟,如何借助深度学习模型把 非结构化数据转换成向 量 , 并对向量进行处理 是目前开发 AI 大模型应用开发比较关注的问题。
向量 Embeddings 在多个领域都有广泛的应用,包括但不限于:
1、自然语言处理( NLP ) :在 NLP 中,单词 Embedding (词嵌入)是一种常见的技术,用于将单词转换为连续向量表示。这种表示方法有助于捕捉单词之间的语义关系,从而提高NLP 任务的性能, 如文本分类、情感分析、机器翻译等。
2、图像处理 :在图像处理领域,图像 Embedding 技术可以将图像转换为向量表示,从而便于进行图像分类、识别、检索等任务。
3、推荐系统 :推荐系统可以利用用户行为数据(如点击、购买、评分等)和物品属性数据(如标题、描述、图片等)生成向量表示,进而计算用户与物品之间的相似度,从而为用户推荐可能感兴趣的物品。
这张图片通过坐标系和向量化表示的方法,展示了四种动物(猫、狗、牛、羊)在某种 抽象空间 中的位置关系 。
通过把自燃语言向量转化为向量,可以让我们在向量空间中进行语义搜索、分类、计算等操作。
比如我们把 “ 宠物 ” 向量化,然后用对应的向量进行搜索,就可以获取猫和狗的向量数据。比如我们把 “ 家畜“ 向量化,然后用应的向量进行搜索就可以搜索到牛和羊对应的向量,从而实现语言搜索。
Embeddings 大模型 : BERT ( Google 开发 ) 、 GPT 系列 、 Word2Vec 、 百度文心大模型 、 bge-large- zh 、 智谱 、 讯飞新火 等。
AI大模型 向量Embeddings+向量数据库实现文搜文、图搜图学习:
AI教程