原文：Retrieval-Augmented Generation with Knowledge Graphs for Customer Service Question Answering
一、研究背景与问题
在客服领域,快速准确地匹配用户问题与历史工单,是提供优质回答的关键。传统的检索增强生成(Retrieval-Augmented Generation, RAG)方法虽然通过大语言模型取得了一定成效,但仍面临两大挑战:
- 忽略了工单的结构化信息和工单间的内在联系,导致检索精准度不足。
- 为适应模型输入,需对工单进行分割,造成关联信息的割裂,影响答案的完整性。
LinkedIn研究人员敏锐地洞察到知识图谱在解决上述难题中的潜力,开启了本研究的探索之旅。
二、研究方法
针对以上难题,LinkedIn团队别具慧眼地提出了一套全新解法。他们以知识图谱为核心,重塑了RAG模型的内在逻辑。首先,原始工单被解析为一棵棵树,每棵树表征一张票证的内部结构,而树与树之间则通过语义相似度等建立联接。如此,海量工单数据被组织为一张张大图,完整保存了其中的结构化信息和关系拓扑。
在此基础上,研究人员将RAG的查询理解、信息检索、答案生成等关键环节与知识图谱进行了深度融合。当用户提出问题时,基于图谱的检索算法会快速锁定最相关的若干工单,同时保留其上下文结构。然后,大语言模型再对这些局部子图进行语义理解和信息抽取,并据此组织生成最终答案。可以看出,这种图谱驱动的RAG范式巧妙地规避了文本分割的弊端,又最大限度地利用了工单间的结构关联,从而实现了检索和问答两个层面的质的飞跃。
实验结果充分印证了LinkedIn方法的优越性。在检索阶段,引入知识图谱使平均倒数排名(MRR)提升了77.6%,检索结果的准确性和相关性大幅跃升。在问答阶段,生成回答的BLEU值较传统RAG模型高出0.32,充分彰显了答案质量的全面进步。更令人振奋的是,这套系统已在LinkedIn的客服团队中落地应用,平均解决单个问题的时间从7小时降至5小时,效率提升28.6%。由此可见,知识图谱赋能RAG模型,不仅是学术探索,更是切实可行的商业方案。
下面，我们具体来看下Linkin的工作是如何做的。
2.1 知识图谱构建
研究的第一步是将历史工单转化为知识图谱。这里采用了两层图结构:
- 工单内部树(Intra-issue Tree):以树的形式刻画单个工单内部的层级结构。
- 节点代表工单的不同部分(如标题、描述、优先级等)
- 边代表部分间的从属关系和类型
- 工单间连接图(Inter-issue Graph):体现不同工单之间的联系。
- 工单间存在显式链接(如"与工单A相关")
- 也存在隐式关联(如工单标题的语义相似性)
知识图谱构建分两阶段进行:
(1)工单内解析:融合基于规则和基于LLM的方法,将纯文本工单转为结构化的树表示。
- 对于预定义字段(如代码块),通过规则提取
- 对于自由文本,则用LLM进行语义解析
(2)工单间连接:将各工单树整合为一张大图。
- 工单间的显式链接可直接从工单定义中获取
- 隐式关联则由工单标题的嵌入相似度决定,高于一定阈值的工单对即可建立连边
最后,研究者还对图谱节点的文本内容生成嵌入向量,便于后续的快速检索。
2.2 检索与问答
当用户提出新问题后,LinkedIn的智能客服系统将执行以下步骤:
(1)查询解析:借助LLM的强大语言理解能力,系统从用户描述中抽取关键实体(如故障现象、优先级)和潜在意图(如获取解决步骤)。
(2)子图检索:这一环节可细分为两个阶段。
- 工单匹配:利用实体信息,通过嵌入向量的相似度匹配,得到与问题最相关的K个工单。这一匹配过程充分利用了图谱中的结构信息,忽略了文本分割的负面影响。
- 子图提取:将用户意图从自然语言形式翻译为图数据库查询语句(如Cypher),从匹配的工单节点出发,沿着边的引导,高效提取最有价值的信息。
(3)回答生成:基于子图检索的结果,LLM作为解码器,组织生成最终答案。如遇查询困难,也可回退到纯文本检索的基线方法。
三、实验评估
研究团队在标准数据集上对算法进行了严格测试,并设置了合理的对照组。评估指标涵盖检索和问答两大类任务。
检索性能方面,引入知识图谱后,在平均倒数排名(MRR)上比传统方法高出77.6%,充分证明了结构化、关系化信息的巨大价值。
问答效果上,生成回答与标准答案的BLEU值提升了0.32,反映出答案质量的全面进步。这主要得益于知识图谱对原始工单的信息保全,避免了因分割而造成的内容损失。
更可喜的是,LinkedIn的客服团队已将该系统投入实际应用。使用新系统的小组处理每个问题的时间从7小时降至5小时,效率提升28.6%。足见这一技术革新给业务带来的切实益处。
四、创新点总结
本研究的核心创新,在于巧妙地将知识图谱引入大语言模型,构建了一套全新的客服问答范式。它以知识图谱为中心,既保留了工单的结构和联系,又能利用LLM的语义理解和生成能力,可谓优势互补、相得益彰。
与此同时,研究者在图谱构建、查询解析、子图提取等环节都采用了LLM,使得整个流程更加灵活、鲁棒,体现出领域适应性。这种全面拥抱LLM的做法堪称业界典范。
五、研究展望
尽管该研究在客服智能化上实现了新的突破,但仍存在进一步完善的空间。未来可考虑:
- 开发自动化工具,从工单语料中自动提取知识图谱模板,减少人工依赖。
- 探索知识图谱的动态更新机制,让系统能够从新工单和用户交互中持续学习,提升知识覆盖的时效性。
- 将知识图谱+LLM的范式扩展到客服以外的领域,如金融、医疗等,进一步验证其普适价值。
六、总结
LinkedIn的这项研究堪称客服智能化的里程碑。它以知识图谱为桥梁,将大语言模型赋能到信息检索和问题解答的全流程,在提升匹配精准度、保证答案完整性的同时,也为LLM的产业应用开辟了新的道路。
关注↓回复【LeCun】，可下载LeCun哈佛演讲PPT，回复【论文】可直接获取本文分享论文。
