这个问题需要深入讨论大模型与向量数据库之间的关系。从去年 ChatGPT 推出时这个问题就开始引发我们的思考。在当时,我们敏锐地意识到这将是一个机遇。然而,在国内,这个概念的认知需要更长的时间。我个人在去年四五月份的美国之行中注意到,数据库在美国已经是一个非常热门的话题,但在国内似乎还没有得到广泛认知。所以,我们需要从向量数据库与大型模型之间的关系入手。
在我看来,这个关系解决了人工智能领域中两个重要问题:生成和检索。一开始,很多人在争论是否可以通过对大型模型进行微调来获得领域知识。向量数据库与大型模型的结合是否合适?现在越来越多的观点表明,微调主要带来了一些规则性的认知,而真正的知识需要外部存储来补充。这就引发了对向量数据库的需求。
在上述背景下,我们提出了一个名为“CVP Stack”的概念,其中“V”代表向量数据库(vector database),“C”代表 ChatGPT,"P"代表 prompt。在我们看来,大型模型代表推理能力,向量数据库则补充了它的知识,而 prompt 代表控制逻辑,用于实现特定语义。这三者的结合可以实现出色的业务效果。
既然向量数据库在大型模型和存储之间扮演存储角色,就出现了对向量数据库的多重需求。首先,大模型需要存储海量数据