LLM应用开发与落地:chroma的近似搜索问题

背景

最近开始测试一个游戏客户的RAG模块,发现一个向量数据库中大家容易忽略的一个点:近邻搜索算法。一开始我们选择的是chroma作为向量数据库,因为chroma的用户接口和设计非常简单,而我偏向于简单。创建collection时设置的距离计算方式是 "hnsw:space": "cosine"。

但是在测试过程中发现,使用 “为什么宗族商店贡献每天都会减少?” 去向量数据库中查询的时候,发现无法查到最匹配的句子 “宗族商店贡献每天都会无故减少,这是什么原因?”。

入库问题

一开始我以为是bug,是不是这句话没有入到向量数据库,然后查询了下,发现这句话是在向量数据库中的,并且距离为0

distances: [[0.0]]documents: [['宗族商店贡献每天都会无故减少,这是什么原因?']]

然后我再单独写了个脚本用 “为什么宗族商店贡献每天都会减少?”这句话去搜索最近邻向量,确实没有查询到 “宗族商店贡献每天都会无故减少,这是什么原因?

向量计算问题

然后我怀疑是不是使用的embedding 模型计算这两个句子时计算出来的向量距离就是比较远。单独自己写了个生成这两个句子的向量并计算余弦距离的工具,计算出来发现结果是 0.02539,也符合预期。

chroma 的近邻查找算法

最后只能怀疑chroma的近邻搜索算法了。找了下chroma的资料,没有明确说是用什么近邻搜索算法,也没有更多的配置。但从设置距离计算公式的配置中的命名 "hnsw:space": "cosine"猜测是使用的 hnsw 算法。这是一种 Approximate Nearest Neighbor Search (ANNS) ,近似的最近邻搜索算法。但是我感觉还是chroma的实现有点问题,然后开始去对比其他向量数据库。

qdrant

快速看了一下其他向量数据库,发现 qdrant是少有几个做了准确率压测的,还支持 Quantization,可以在速度和准确率之间选择最适合自己的。详细见:https://qdrant.tech/documentation/guides/quantization/

我快速搭建了qdrant,把数据导入到qdrant后,在没有配置Quantization的情况下,可以通过 “为什么宗族商店贡献每天都会减少?”去搜索最近邻向量,返回了 “宗族商店贡献每天都会无故减少,这是什么原因?” ,详细如下:

[ScoredPoint(id=120000, version=508, score=0.9746094, payload={'a': 12, 'q': '宗族商店贡献每天都会无故减少,这是什么原因?'}, vector=None, shard_key=None)]

也是用cosine计算距离,这里的1 - score 就是距离,跟之前计算出来的 0.02539 对得上。所以即使都是hnsw算法,不同的实现出来的准确率还是不一样的。

hnsw 算法

关于hnsw 这种近似的最近邻搜索算法网上文章很多,大家感兴趣的去搜索一下即可。之前遇到这些算法我都会去细究,毕竟我也是打ACM过来的,但是现在实在没有时间。AI这块发展太快了,这么多年学习过来的感触是知识真的学不完,需要再学吧。

总结

网上很多介绍向量数据库的,基本都是浅浅带过,或者把文档中文翻译一下。很多东西还是得亲自去实践过后才知道很多细节。选择向量数据库还是得看下索引实现方式,是否支持量化索引,响应速度,准确率等等。

纸上得来终觉浅,绝知此事要躬行。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/691413.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

2024牛客寒假算法基础集训营4

文章目录 A-柠檬可乐B-左右互博C-冬眠D-守恒E-漂亮数组G-数三角形&#xff08;easy&#xff09; A-柠檬可乐 #include<bits/stdc.h> #define endl \n #define int long long using namespace std; int a,b,k; void solve() {cin>>a>>b>>k;if(a>k*b…

EasySass: could not generate CSS file. See Output panel for details.微信小程序报错及解决

解决微信小程序导入vscode的easysass包报错 问题发现问题来源和解决制作不易&#xff0c;感谢三联&#xff0c;谢谢大家啦 问题发现 当我喜滋滋的在vscode中导入easysass包之后&#xff0c;又在微信小程序中添加vscode扩展&#xff0c;又去文件中改好了配置文件后却直接弹出了…

npm run dev运行出现NODE_OPTIONS=--max_old_space_size=4096 vite --mode dev --host?

问题描述 PS E:\AWorkDataease\DataEase\core\core-frontend> npm run dev dataease0.0.0 dev NODE_OPTIONS–max_old_space_size4096 vite --mode dev --host 0.0.0.0 ‘NODE_OPTIONS’ 不是内部或外部命令&#xff0c;也不是可运行的程序 或批处理文件。 解决方案 遇到…

生成对抗网络----GAN

系列文章目录 文章目录 系列文章目录前言一、基本构成二、应用领域三、基本原理四、如何训练GAN 前言 一、基本构成 GAN (Generative Adversarial Network) : 通过两个神经网络&#xff0c;即生成器&#xff08;Generator&#xff09;和判别器&#xff08;Discriminator&#…

AtCoder Beginner Contest 341 D - Only one of two (Java)

AtCoder Beginner Contest 341 D - Only one of two (Java) 比赛链接&#xff1a;AtCoder Beginner Contest 341 D题传送门AtCoder&#xff1a;D - Only one of two D题传送门洛谷&#xff1a;[ABC341D] Only one of two 题目&#xff1a;[ABC341D】 Only one of two 题目…

padding属性顺序

padding 一个属性值应用四个边&#xff0c; 二个属性值&#xff0c;先上下&#xff0c;后左右 三个属性值&#xff0c;前上&#xff0c;中左右&#xff0c;最后是下 四个属性值&#xff0c;从上边开始&#xff0c;顺时针开始&#xff0c;上&#xff0c;右&#xff0c;下&…

安卓游戏开发之图形渲染技术优劣分析

一、引言 随着移动设备的普及和性能的提升&#xff0c;安卓游戏开发已经成为一个热门领域。在安卓游戏开发中&#xff0c;图形渲染技术是关键的一环。本文将对安卓游戏开发中常用的图形渲染技术进行分析&#xff0c;比较它们的优劣&#xff0c;并探讨它们在不同应用场景下的适用…

C/C++ BM12 单链表的排序

文章目录 前言题目解决方案一1.1 思路阐述1.2 源码 解决方案二2.1 思路阐述2.2 源码 总结 前言 链表排序处理起来比较麻烦&#xff0c;因为它不支持下标操作。这里写一下链表排序的常用方法。 题目 描述 给定一个节点数为n的无序单链表&#xff0c;对其按升序排序。 数据范围…

【论文阅读笔记】AutoAugment:Learning Augmentation Strategies from Data

AutoAugment:Learning Augmentation Strategies from Data 摘要 &#x1f52c; 研究方法: 本文描述了一种名为AutoAugment的简单程序&#xff0c;通过这个程序可以自动寻找改进的数据增强策略。研究设计了一个策略空间&#xff0c;其中策略包含多个子策略&#xff0c;在每个小…

python+django+vue汽车票在线预订系统58ip7

本课题使用Python语言进行开发。基于web,代码层面的操作主要在PyCharm中进行&#xff0c;将系统所使用到的表以及数据存储到MySQL数据库中 使用说明 使用Navicat或者其它工具&#xff0c;在mysql中创建对应名称的数据库&#xff0c;并导入项目的sql文件&#xff1b; 使用PyChar…

好书推荐丨《细说机器学习:从理论到实践》

文章目录 写在前面机器学习推荐图书内容简介编辑推荐作者简介 推荐理由粉丝福利写在最后 写在前面 本期博主给大家推荐一本有关机器学习的全新正版书籍&#xff0c;对机器学习、人工智能感兴趣的小伙伴们快来看看吧~ 机器学习 机器学习&#xff08;Machine Learning, ML&…

※【回溯】【深度优先前序】Leetcode 257. 二叉树的所有路径

※【回溯】【深度优先前序】Leetcode 257. 二叉树的所有路径 解法0 迭代法解法1 深度优先 前序解法2 深度优先 前序 添加了StringBulider ---------------&#x1f388;&#x1f388;257. 二叉树的所有路径 题目链接&#x1f388;&#x1f388;------------------- 解法0 迭代法…

08MARL深度强化学习 independent learning

文章目录 前言1、Independent Value-based Learning2、Independent Policy Gradient Methods 前言 记录independent learning算法的基础概念&#xff0c;使用一些RL算法训练多智能体 1、Independent Value-based Learning 基于值的独立学习算法&#xff1a;每个智能体根据自身…

十一、Nacos源码系列:Nacos配置中心原理(三)- 配置热更新

上面章节我们讲了服务启动的时候从远程 Nacos 服务端拉到配置&#xff0c;以及服务启动后对需要支持热更新的配置都注册了一个监听器&#xff0c;这个章节我们来说下配置变动后具体是怎么处理的。 回到前面文章说过的 NacosPropertySourceLocator 的 locate()方法看看&#xff…

浅谈前端性能优化的方法

前端性能优化是一个多方面的过程&#xff0c;涉及减少加载时间、提高响应速度、优化渲染等方面。以下是一些常见的前端性能优化方法&#xff1a; 减少HTTP请求&#xff1a;合并CSS和JavaScript文件&#xff0c;使用CSS Sprite技术&#xff0c;以及使用HTTP2.0等协议来减少HTTP…

51-2 万字长文,深度解读端到端自动驾驶的挑战和前沿

去年初&#xff0c;我曾打算撰写一篇关于端到端自动驾驶的文章&#xff0c;发现大模型在自动驾驶领域的尝试案例并不多。遂把议题扩散了一点&#xff0c;即从大模型开始&#xff0c;逐渐向自动驾驶垂直领域靠近&#xff0c;最后落地到端到端。这样需要阐述的内容就变成LLM基础模…

【Docker】集群容器监控和统计 Portainer基本用法

Portainer是一款轻量级的应用&#xff0c;它提供了图形化界面&#xff0c;用川于方便地管理Docker环境&#xff0c;包括单机环境和集群环境。 主要功能&#xff1a;实现集群容器的监控和统计 下载安装 官网&#xff1a;https://www.portainer.io 文档&#xff1a;https://do…

如何用java来调用FileMaker data Api 新增数据的代码

Claris Filemaker目前在国内的使用用户并不是很多&#xff0c;但是非常适合我们目前的实验室智能化研发系统&#xff0c;今天也给大家做一个小小的技术分享。&#xff08;看最后注释部分&#xff0c;有彩蛋哦&#xff09; 要使用Java调用FileMaker Data API来新增数据&#xf…

Python Selenium实现自动化测试及Chrome驱动使用

前些天发现了一个巨牛的人工智能学习网站&#xff0c;通俗易懂&#xff0c;风趣幽默&#xff0c;忍不住分享一下给大家。点击跳转到网站零基础入门的AI学习网站~。 目录 ​编辑 前言 Selenium简介 安装Selenium库 编写自动化测试脚本 1 打开浏览器并访问网页 2 查找页面元…

前端架构: 脚手架框架之commander从基础到高级应用教程

commander 1 &#xff09;概述 commander 是一个更为知名的脚手架框架进入它的npm官网: https://www.npmjs.com/package/commander目前版本: 12.0.0Weekly Downloads 133,822,797 (动态数据)最近更新&#xff1a;15 days ago (npm)说明这是一个更优质的库同时使用commander的案…