腾讯互娱刘伟 | 知识图谱在运维中的应用

本文转载自公众号:InfoQ


 

随着业务监控建设不断完善,海量业务故障时产生成百上千条告警,如何智能定位故障根源、实时统计业务影响是现阶段运营面临的一个难题。Google 利用知识图谱优化了其搜索服务以来,知识图谱得到了迅速发展。无论是工业界还是学术界,都出现了各种各样的知识库。能否将知识图谱应用在故障定位领域?领域性知识图谱和通用性知识图谱有什么区别?构建领域性知识图谱是否有可供参考的经验分享?又有哪些前景和挑战?

为此,InfoQ 采访到了腾讯互娱技术运营部高级工程师刘伟,请他来谈谈知识图谱如何助力游戏故障定位。

InfoQ:介绍下您目前所做的研究?在故障定位方面,是什么机缘让您选择了知识图谱?

刘伟:我们现在所做的研究主要侧重于游戏故障定位相关的技术,涵盖以下三个方面:KPI 曲线异常检测、实时舆情故障分析及运维领域知识图谱构建。前面两方面的研究,是我们构建这个运维领域知识图谱的基础,有了前期游戏故障相关的数据,后续我们才能将知识抽象出来。

选择知识图谱用于故障定位,源于我们在游戏故障定位时,遇到的一些问题及用户需求的推动。首先故障定位是一个复杂的问题,需要综合多方面数据进行关联分析,并且需要融入运维专家的经验,而知识图谱在处理关系复杂性,对知识的可解释性方面具有优势。比方说,在发生一个游戏故障时,由于构建了游戏业务的图谱,各个模块之间存在关系,通过节点推导,很容易就找到真正发生问题的模块。

InfoQ:故障定位的知识图谱在腾讯怎么用?有什么收益?

刘伟:知识图谱是一个很火的概念,但我们构建的知识图谱并非通用性图谱,而是领域性图谱,专注于运维领域。故障定位是这个故障图谱具体的应用场景,将故障领域内的知识通过 CMDB 技术和一些机器学习的技术抽象化,构建成图谱。由于是知识的存储,因此构建完成的运维知识图谱,在数据赋能的情况下,可以解决游戏中复杂查询、风险预测、智能问答等很多场景需求。现阶段收益主要丰富用户查询结果,提高故障定位准确率。

InfoQ:谈谈您对知识图谱的理解?在应用知识图谱前,需要掌握哪些技术?

刘伟:知识图谱在学术界主要被定义为大规模语义网络,但在工业界,实际上可以理解为大数据环境下的知识工程,用于描述真实世界中的各种实体和概念,提供实体间的结构化关联关系。

知识图谱主要包括知识表示,知识获取和知识应用这三个部分。在应用图谱之前,对于知识表示技术和知识获取技术的掌握至关重要。知识表示技术主要是数据处理的粒度和层次,由于不同人对不同层次概念具有不同的认知,因而如何确认合理的数据层次和颗粒度面临着挑战。完全人工构建的层次概念到一定层次就会难以深入,具备一定的自动化表示能力才能继续推进。

现有自动化技术包括结合深度学习做信息抽取等。而知识获取技术主要是利用技术完成高质量的数据获取,也就是语料和知识的获取。尤其在领域性知识图谱中,知识质量的好坏决定着整个图谱的好坏。高质量的知识获取一般需要一定的人工干预,如何利用好人力资源并合理控制数据质量是其中的关键问题,结合众包技术做知识验证是目前较为常用的手段。

当然,知识图谱的建设永远不可能是完备的,后续在应用上可以根据实际的应用场景,不断优化和推理。

InfoQ:如何构建故障领域的知识图谱?有什么难点需要解决?

刘伟:我们构建的知识图谱是领域性知识图谱,领域性的知识图谱和通用性的知识图谱在构建上存在一些差别,通用性的知识图谱是高度自动化的,而领域性知识图谱更需要结合一定的专家概念。在构建领域性知识图谱时,我们结合运营环境中的一些基础建设来确定知识的层次和颗粒度,比如 CMDB、应用配置管理系统等,这些系统内具备友好的结构化数据。同时,利用机器学习的方法来自动化地改进层次关系。然后,我们结合运维专家的经验,对于运维数据不断进行筛选和知识验证,修正和优化需要存储的知识。例如,单业务掉线且目标机房有网络波动,从设备信息上有关联,但从专家知识可以得知,网络波动一般会影响多个业务,如果只有这个业务掉线,则单地区的网络问题不是该业务掉线的原因,不存在关联。结合物理设备信息和专家逻辑信息,我们最终构建了某业务为核心的故障知识图谱。部分图谱的内容如下图所示。


640?wx_fmt=jpeg

目前存在的难点依然是很难获取到高质量的运维数据和相关语料,并且高度依赖专家知识的领域性知识图谱虽然质量较好,但后续的大规模扩展上也较为困难。

InfoQ:构建故障领域知识图谱过程中,踩过坑吗?有哪些经验可以分享?

刘伟:在构建这个领域性知识图谱中,我们实际上也遇到了不少困难。在最开始构建中,我们期望能像构建一个通用性知识图谱一样,利用各种技术基本上自动化地从大规模数据中抽取实体和关系。但很快发现我们实际上并没有这样的大规模运维语料。因此我们渐渐考虑从具体场景入手逐步扩展:我们先从之前做故障定位的效果中看看哪些场景做的不好并且可以通过知识图谱来实现。然后结合目前运维现有结构化数据,我们不断细化数据的层次关系,这里我们也遇到了一个非常实际的问题,如多少程度的细化才能使整个图谱变得完备,这里的解决方案我们依然是依据场景,得出能解决问题的最粗粒度,然后根据不同的场景再不断深入,花费了很多力气来设计整个领域图谱的模式,这对后续专家知识的融合和整个图谱构建来说,是具有好处的。

InfoQ:据了解知识图谱在搜索领域应用的很广泛,那么,知识图谱在故障领域都有哪些应用?和搜索领域有什么区别?

刘伟:知识图谱在搜索领域主要为丰富查询结果,展现给用户真正想要的东西。把网页搜索升级为语义搜索。现阶段我们构建的图谱聚焦故障定位场景,主要利用知识图谱辅助决策并使故障定位结果的具备可解释性。区别主要在于搜索领域主要是通用性知识图谱,而我们故障领域主要侧重于领域性知识图谱。相较而言,范围较窄、程度较深、依赖专家知识更多。

InfoQ:知识图谱是实现 AIOps 的必经之路吗?

刘伟:这个问题挺难回答,谈下个人的一点看法。对 AIOps(智能运维)我们先设想下对它的预期,理想化是它可以做运维所有的事情,例如发布变更、业务巡检、故障处理、对外沟通等。做这些事情的前提,需要 AI 具备运维的背景知识,让 AI 像人一样思考并具备推理能力。因此知识图谱的引入正是把 AIOps 变成一个具有运维知识的 AI,知识图谱结合大数据下的机器学习,不断完善知识图谱,最终成为运维大脑。套用业界的一个观点,机器学习让 AI 更聪明,而知识图谱让 AI 更有学识。无疑运维人员是聪明的,而且各方面技术均涉及,是博学多才的杂家,利用领域性知识图谱,对于专家知识进行沉淀和存储,长远来看十分具有价值,可以说知识图谱是实现 AIOps 的关键技术之一。

InfoQ:知识图谱在故障定位方面的前景和挑战?

刘伟:利用大数据 + 算法可以让 AI 具备感知的能力,在处理图像、语音、文字方面有非常好的效果,但对于复杂场景下的故障定位,则需要 AI 具备先验知识,有一定认知能力,所以我认为知识图谱的空间很大。知识图谱技术方兴未艾,在运维领域尚没有很好的参考案例,也没有很好的语料知识,因此有很长的路要走,希望更多的人加入,大家结伴而行。

作者简介:

刘伟,10 年运维领域工作经验。2011 年加入腾讯,高级工程师,主要负责腾讯自研游戏运维及系统平台建设,主导开发腾讯游戏故障智能定位平台、实时游戏舆情监控系统,目前专注于 AIOps、运维大数据分析等智能运维领域工作。即将在 2018 CNUTCon 全球运维技术大会上分享《智能运维助力游戏故障定位》。



OpenKG.CN


中文开放知识图谱(简称OpenKG.CN)旨在促进中文知识图谱数据的开放与互联,促进知识图谱和语义技术的普及和广泛应用。

640?wx_fmt=jpeg

点击阅读原文,进入 OpenKG 博客。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/480401.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

中文人物关系图谱构建与应用项目(人物关系抽取,关系抽取评测)

ChinesePersonRelationGraph ChinesePersonRelationGraph, person relationship extraction based on nlp methods.中文人物关系知识图谱项目,内容包括中文人物关系图谱构建,基于知识库的数据回标,基于远程监督与bootstrapping方法的人物关系抽取,基于知识图谱的知识问答等应用…

2019 最新阿里中间件Java 4轮面试题!60万年薪起步~

Java中间件一面 1.技术一面考察范围: 重点问了Java线程锁:synchronized 和ReentrantLock相关的底层实现 线程池的底层实现以及常见的参数 数据结构基本都问了一遍:链表、队列等 Java内存模型:常问的JVM分代模型,以…

0011【冥想】87天冥想感悟汇总

0011【冥想】87天冥想感悟汇总 2018.1.6 Day1图片发自简书App1.7 Day2图片发自简书App❤️1.8冥想Day3❤️听了谷老师的分享,挺受益的。当我们的心越来越柔软,身体也会越来越柔软,所谓相由心生,冥想的时候,身体也会听从…

这个自然语言处理“工具”,玩得停不下来

今天推荐一个有趣的自然语言处理公众号「AINLP」,关注后玩得根本停不下来!AINLP的维护者是我爱自然语言处理(52nlp)博主,他之前在腾讯从事NLP相关的研发工作,目前在一家创业公司带技术团队。AINLP公众号的定…

观点 | 抛开炒作看知识图谱,为什么现在才爆发?

本文转载自公众号:AI前线。 作者 | George Anadiotis 译者 | 无明 导读:知识图谱究竟是什么,都有哪些围绕它们的炒作?如果你想要像 Airbnb、亚马逊…

算法--排序--寻找数组内第K大的元素

此题目,需要用到快速排序里的划分数组操作: 快排参考:https://blog.csdn.net/qq_21201267/article/details/81516569#t2 先选取一个合适的哨兵(三数取中法)将数组分成三部分【小于哨兵的】【哨兵】【大于等于哨兵的】…

淘宝网Java五面:现场面试49题含答案!

淘宝一面: 面试介绍 1)自我介绍? 2)项目介绍? 3)遇到的最大困难是什么?怎么解决的? 4)你觉得你能怎么优化这个项目? 面试题目 1)讲一下JVM 2&#xff…

告别自注意力,谷歌为Transformer打造新内核Synthesizer

一只小狐狸带你解锁 炼丹术&NLP 秘籍作者:舒意恒(南京大学硕士生,知识图谱方向)今天给大家介绍一篇来自Google的最新论文《SYNTHESIZER: Rethinking Self-Attention in Transformer Models》[4],该论文重新探索了T…

50万抽象知识图谱项目(实体抽象、性状抽象与动作抽象)

AbstractKnowledgeGraph AbstractKnowledgeGraph, a systematic knowledge graph that concentrate on abstract thing including abstract entity and action. 抽象知识图谱,目前规模50万,支持名词性实体、状态性描述、事件性动作进行抽象。目标于抽象…

算法--排序--大小写字母数字分离(桶排序思想)

题目: 对D,a,F,B,c,A,z这个字符串进行排序,要求将其中所有小写字母都排在大写字母的前面,但小写字母内部和大写字母内部不要求有序。比如经过排序之后为a,c&a…

2019 最新蚂蚁花呗Java三面题目:红黑树+并发容器+CAS+Solr+分布式等

蚂蚁金服专场 涵盖了蚂蚁金服从Java工程师到技术专家面试题目 支付宝高级Java三面题目:线程锁事务雪崩Docker等 蚂蚁花呗团队面试题:LinkedHashMapSpringCloud线程锁分布式 蚂蚁金服高级Java面试题目 支付宝Java开发四面:NgnixMQ队列集群并发抢购 蚂…

论文浅尝 | 实体图的预览表格生成

链接:ranger.uta.edu/~cli/pubs/2016/tabview-sigmod16-yan.pdf动机对于结构化数据和关系数据,通常使用Schema图为数据库的使用者提供基本信息。因此,作者提出了生成预览表格(preview table)的方法,为实体图…

万能的BERT连文本纠错也不放过

一只小狐狸带你解锁炼丹术&NLP秘籍作者:孙树兵学校:河北科技大学方向:QA/NLU/信息抽取编辑:小轶背景文本纠错(Spelling Error Correction)技术常用于文本的预处理阶段。在搜索引擎、输入法和 OCR 中有着…

POJ 1664 苹果放盘子(递归)

题目链接:http://poj.org/problem?id1664 m个相同的苹果放在n个相同的盘子里,有多少种不一样的方法。 例如,3个苹果放在4个盘子里有(3,0,0,0)(1,1&#xf…

蚂蚁金服4轮面经(Java研发):G1收集器+连接池+分布式架构

一面 线程池有哪些参数?分别有什么用?如果任务数超过的核心线程数,会发生什么?阻塞队列大小是多少? 数据库连接池介绍下,底层实现说下 hashset底层实现,hashmap的put操作过程 说说HaspMap底层…

算法--二分查找--求平方根(循环法/递归法)

二分查找: 数据需要是顺序表(数组)数据必须有序可以一次排序,多次查找;如果数据频繁插入,删除操作,就必须保证每次操作后有序,或者查找前继续排序,这样成本高&#xff0…

论文浅尝 | 在生成式多跳机器阅读任务中引入外部常识知识

Commonsense for Generative Multi-Hop Question Answering Tasks链接: https://arxiv.org/abs/1809.06309背景机器阅读任务按照答案类型的不同,可以大致分为:(1) 分类问题: 从所有候选实体选择一个(2) answer span: 答案是输入文本的一个片段(3) …

Overleaf v2 评测

原文链接:https://www.jianshu.com/p/1d73d4b9e880 Overleaf v2 评测 去年,两个著名的Latex在线编辑器Overleaf和Sharelatex合并了,强强联手,让我们对他们合并之后的新产品充满了期待。最近,他们的新产品发布了&#x…

蚂蚁中间件团队Java面试题:Netty+Redis+Kafka+MongoDB+分布式

蚂蚁中间件一面: 自我介绍 JVM垃圾回收算法和垃圾回收器有哪些,最新的JDK采用什么算法。 新生代和老年代的回收机制。 讲一下ArrayList和linkedlist的区别,ArrayList与HashMap的扩容方式。 Concurrenthashmap1.8后的改动。 Java中的多线…

面试必备!卖萌屋算法工程师思维导图—统计机器学习篇

卖萌屋的妹子们(划掉)作者团整理的算法工程师思维导图,求职/自我提升/查漏补缺神器。该手册一共分为数据结构与算法、数学基础、统计机器学习和深度学习四个部分。下面是第二部分统计机器学习的内容~公众号后台回复【思维导图】获取完整手册&…