使用了一段时间的大模型应用,遇到一些问题,分享给大家。
使用大模型的基本情况
使用了下面三种大模型:
- 百度 ERNIE-3
- kimi 大模型
- chatGPT3.5
使用的大模型应用架构:
- langchain
- langchain RAG
- langchain Agent
- vector 数据库 Chroma
- langchain memory
- 使用python 编程
遇到的问题
1 百度的ERNIE-3 ,ERNIE-4 大模型做Agent 时,经常是明明得到了结果,但是出现 格式不对,不断地Through,无法停下来。改用kimi 和chatGPT 没有这样的现象出现
2 使用vector 数据库导入文本文件,做Retriver 时,并不能够回答所有的问题,比如,我明明写入了“XXX 居住在XXX 小区”的内容,回答却是“我不知道”,语言的理解能力也存在问题。
3 Agent 的推理能力有限,例如
X 的儿子是Y。
Y 的儿子是Z。
问X 的孙子是谁? 经常会出差错。或者乱回答。
4 无论是国产的ERNIE,kimi 还是chatGPT ,调用LLM 的响应时间都很慢。
5 百度的ERNIE做Agent 应用成本很高,一个晚上就花了50元。
结论
不知道什么原因,我体会不到大模型的神奇。做一些内容提取感觉还可以。上面只是我的一些感觉,不一定正确。如果有人了解其中的缘故,请明示我吧。