-
LLM的知识库问答有3种实现路径:RAG 或 微调,或两者结合。
- RAG:低成本易部署,适用于知识会更新的场景,但知识内容多的情况下,检索成本会变高。
- 微调:算力成本高,微调效果不稳定,训练不好容易出现幻觉,不适用于知识频繁更新场景,但调好后,LLM回复速度很可观。
-
一种只适合采用外挂知识库而不适合采用微调方式的情况
对于已有的结构化数据,一定不要将其直接训练到大模型当中。
结构化数据,其实是已经进行了精确标注的数据,无论是数据的准确性、可解释性,都是大模型中的token所无法企及的,如果将这些结构化数据训练到大模型当中,极大可能会失去数据的各种标注属性,或者会弱化数据及其标注属性的强关联。
大语言模型的基础是机器学习,属于归纳法,要从海量的数据中发现规律,结果的可靠性、可解释性是它正在努力解决的问题,那么对于已经解决了这些问题的结构化的数据,如果重新混入大模型当中,则被认为是一种倒退,是损失。
-
在基于大模型的整体应用架构中,大模型的作用到底应该如何定位?
从目前来看,大模型所起到的作用主要体现在两方面,一是推理能力,二是知识库。
按照大力出奇迹的思路,知识库越大,也就是模型参数规模越大,推理能力越强,当然成本也就越高。
是否存在另外一种选择,例如大语言模型,就发挥它的“词语接龙”的语言能力,用于对指令的理解意图和生成自然语言式的结果,而其中关键的内在专业逻辑或事实,则由外部知识库来提供,不要由大语言模型来“推理”,这样就将纯专业知识交给外挂知识库来管理,大语言模型则重点提升语言相关的能力,不断增强特定的话术和表达方式。概括一句话就是,大语言模型负责语言逻辑,外挂知识库负责领域中的专业逻辑。