引言

随着大模型的崛起，数据的海洋愈发浩渺无垠。受限于token的数量，无数的开发者们如同勇敢的航海家，开始在茫茫数据之海中探寻新的路径。他们选择了将浩如烟海的知识、新闻、文献、语料等，通过嵌入算法（embedding）的神秘力量，转化为向量数据，存储在神秘的Chroma向量数据库中。每当用户在大模型的界面上输入一个问题，这个问题也会如同被施了魔法一般，被转化为向量，然后在向量数据库中寻找与之最匹配的相关知识。这些知识如同宝藏一般，被精心组合成大模型的上下文，为其提供了丰富的思考背景。这种方式不仅削减了大模型的计算负担，提高了响应的速度，还大大降低了成本。更令人惊叹的是，它巧妙地绕过了大模型的token限制，成为了一种既简单又高效的处理手段。而向量数据库，在大模型的记忆存储等领域中，发挥着无可替代的作用。它的存在，如同一位守护者，默默地守护着大模型的智慧与记忆，让其在知识的海洋中畅游无阻。

由于大模型的火热，现在市面上的向量数据库众多，主流的向量数据库对比如下所示：

向量数据库	URL	GitHub Star	Language
chroma	https://github.com/chroma-core/chroma	7.4K	Python
milvus	https://github.com/milvus-io/milvus	21.5K	Go/Python/C++
pinecone	https://www.pinecone.io/	❌	❌
qdrant	https://github.com/qdrant/qdrant	11.8K	Rust
typesense	https://github.com/typesense/typesense	12.9K	C++
weaviate	https://github.com/weaviate/weaviate	6.9K	Go

表格引用自：向量数据库｜一文全面了解向量数据库的基本概念、原理、算法、选型-腾讯云开发者社区-腾讯云

本文重点围绕向量数据库Chroma的使用和实战，主要包括以下内容：

• Chroma设计理念
• Chroma常见概念（数据集，文档，存储，查询，条件过滤）
• Chroma快速上手
• Chroma支持的Embeddings算法
• 实战：在Langchain中使用Chroma对中国古典四大名著进行相似性查询

Chroma快速上手

设计理念

Chroma的目标是帮助用户更加便捷地构建大模型应用，更加轻松的将知识（knowledge）、事实（facts）和技能（skills）等我们现实世界中的文档整合进大模型中。

Chroma提供的工具：

• 存储文档数据和它们的元数据：store embeddings and their metadata
• 嵌入：embed documents and queries
• 搜索： search embeddings

Chroma的设计优先考虑：

• 足够简单并且提升开发者效率：simplicity and developer productivity
• 搜索之上再分析：analysis on top of search
• 追求快（性能）： it also happens to be very quick

目前官方提供了Python和JavaScript版本，也有其他语言的社区版本支持。

实现Demo

首先需要Python环境（Chroma官方原生支持Python和JavaScript，本文用Python做示例）

pip install chromadb

直接运行如下代码，便是一个完整的Demo：

import chromadb
chroma_client = chromadb.Client()collection = chroma_client.create_collection(name="my_collection")collection.add(documents=["This is a document about engineer", "This is a document about steak"],metadatas=[{"source": "doc1"}, {"source": "doc2"}],ids=["id1", "id2"]
)results = collection.query(query_texts=["Which food is the best?"],n_results=2
)print(results)

上面的代码中，我们向Chroma提交了两个文档（简单起见，是两个字符串），一个是This is a document about engineer，一个是This is a document about steak。若在add方法没有传入embedding参数，则会使用Chroma默认的all-MiniLM-L6-v2 方式进行embedding。随后，我们对数据集进行query，要求返回两个最相关的结果。提问内容为：Which food is the best?

返回结果：

{'ids': [['id2', 'id1']],'distances': [[1.5835548639297485, 2.1740970611572266]],'metadatas': [[{'source': 'doc2'}, {'source': 'doc1'}]],'embeddings': None,'documents': [['This is a document about steak', 'This is a document about engineer']]
}

结果显示，两个文档都被正确返回，且id2由于是steak（牛排），相关性与我们的提问更大，排在了首位。还打印了distances。

数据持久化

Chroma一般是直接作为内存数据库使用，但是也可以进行持久化存储。

在初始化Chroma Client时，使用PersistentClient：

client = chromadb.PersistentClient(path="/Users/yourname/xxxx")

这样在运行代码后，在你指定的位置会新建一个chroma.sql