之前的文章:
- 零基础构建基于LangChain的聊天机器人(1)
- 零基础构建基于LangChain的聊天机器人(2)
- 零基础构建基于LangChain的聊天机器人(3)
- 零基础构建基于LangChain的聊天机器人(4)
- 零基础构建基于LangChain的聊天机器人(5)
设计聊天机器人
现在已经了解了业务需求、数据和 LangChain 的先决条件,为设计聊天机器人做好了准备。
聊天机器人将使用多种工具来回答关于医院系统的多种问题。这是一个流程图,说明了实现过程:
这个流程图说明了从用户的输入查询到最终响应的过程中,数据如何在聊天机器人中流动。以下是每个组件的说明:
- LangChain Agent:LangChain Agent 是聊天机器人的大脑。给定一个用户查询,Agent 决定调用哪个工具以及给工具提供什么输入。然后 Agent 观察工具的输出并决定返回给用户什么——这是 Agent 的响应。
- Neo4j AuraDB:在Neo4j AuraDB图数据库中存储结构化的医院系统数据和患者评论。
- LangChain Neo4j Cypher Chain:这个链尝试将用户查询转换为 Cypher,这是 Neo4j 的查询语言,在 Neo4j 中执行 Cypher 查询。然后,链使用 Cypher 查询结果回答用户查询。链的响应反馈给 LangChain Agent 并发送给用户。
- LangChain Neo4j Reviews Vector Chain:这与步骤 1 中构建的链非常相似,只不过现在患者评论嵌入存储在 Neo4j 中。链根据与用户查询语义相似的评论搜索相关内容,并使用这些评论回答用户查询。
- Wait Times Function:类似于步骤 1 中的逻辑,LangChain Agent 尝试从用户查询中提取医院名称。医院名称作为输入传递给一个 Python 函数,该函数获取等待时间,并将等待时间返回给 Agent。
举例说明,假设用户问:“2023年有多少紧急访问?”LangChain代理将收到这个问题并决定将问题传递给哪个工具(如果有的话)。在这种情况下,代理应该将问题传递给 LangChain Neo4j Cypher 链。链将尝试将问题转换为Cypher查询,在 Neo4j 中运行Cypher查询,并使用查询结果回答这个问题。
一旦LangChain Neo4j Cypher链回答了问题,它将把答案返回给 Agent,Agent 将把答案中继给用户。
有了这个设计,可以开始构建聊天机器人了。第一项任务是为聊天机器人设置一个Neo4j AuraDB实例。
第3步:设置Neo4j图数据库
正如在第2步中看到的,医院系统数据目前存储在CSV文件中。在构建聊天机器人之前,需要将这些数据存储在一个聊天机器人可以查询的数据库中。此处使用Neo4j AuraDB。
图数据库简介
图数据库,如Neo4j,是用来表示和处理存储为图数据的数据库。图数据由结点、边或关系以及属性组成。结点代表实体,关系连接实体,属性提供有关结点和关系的其他元数据。
例如,这里展示了如何在图中表示医院系统结点和关系:
这个图有三个结点——患者、访问和支付方。患者和访问通过HAS关系连接,表示医院患者有一次访问。同样,访问和支付方通过COVERED_BY关系连接,表示保险支付方涵盖了一次医院访问。
注意关系由一个箭头表示,指示它们的方向。例如,HAS关系的direction表明患者可以有访问,但访问不能有患者。
结点和关系都可以有属性。在这个例子中,患者节点有id、名称和出生日期属性,COVERED_BY关系有服务日期和计费金额属性。以这种方式在图中存储数据有几个优点:
- 简单性:在图数据库中对实体之间的现实世界关系进行建模是自然的,减少了需要复杂模式的需求,这些模式需要多个连接操作来回答查询。
- 关系:图数据库擅长处理复杂的关系。遍历关系是高效的,使得查询和分析连接的数据变得容易。
- 灵活性:图数据库是无模式的,允许轻松适应变化的数据结构。这种灵活性对于不断演变的数据模型是有益的。
- 性能:在图数据库中检索连接的数据比在关系数据库中更快,特别是对于涉及多个关系的复杂查询场景。
- 模式匹配:图数据库支持强大的模式匹配查询,使得更容易表达和查找数据中的特定结构。
当拥有具有许多复杂关系的数据时,图数据库的简单性和灵活性使它们比关系数据库更容易设计和查询。稍后将看到的,指定形数据库查询中的关系是简洁的,并且不涉及复杂的连接。
由于这种简洁的数据表示,当 LLM 生成图数据库查询时,出错的余地较小。这是因为只需要告诉LLM有关图数据库中的结点、关系和属性。在关系型数据库中,LLM 必须导航并记住整个数据库的表模式和外键关系,这在SQL生成中留下了更多的出错机会。
接下来,将通过设置Neo4j AuraDB实例开始使用图数据库。之后,把医院系统搬进Neo4j实例,并学习如何查询它。
创建Neo4j账户和AuraDB实例
要开始使用Neo4j,可以创建一个免费的Neo4j AuraDB账户。登录页面应该看起来像这样:
点击“开始免费”按钮并创建一个账户。一旦登录,应该看到Neo4j Aura控制台:
点击“新建实例”并创建一个免费实例。应该会弹出一个对话框:
点击“下载并继续”后,实例应该会被创建,并且下载一个包含Neo4j数据库凭据的文本文件。实例创建后,会看到其状态为运行中。目前还没有任何节点或关系:
接下来,打开下载的包含Neo4j凭据的文本文件,并将 NEO4J_URI
、``NEO4J_USERNAME和
NEO4J_PASSWORD 复制到
.env` 文件中:
将使用这些环境变量在Python中连接到 Neo4j 实例,以便聊天机器人可以执行查询。
现在已经准备好与 Neo4j 实例交互了。接下来,设计医院系统图数据库。
如何学习大模型 AI ?
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段(10天):初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么?
- 大模型是怎样获得「智能」的?
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例:向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段(30天):高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示(Embeddings)
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段(30天):模型训练
恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2:手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段(20天):商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身:基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例:如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。