我们团队探索了一种将事件、概念、逻辑、实时学习、多类知识库实时更新串起来的知识服务新模式。一个面向事理的实时学习和搜索系统Demo,取名叫“学迹”,取自“学事理,知行迹”。
项目地址:https://xueji.zhiwenben.com
一、 “学迹”的起源与愿景
“踏雪有痕,抓铁有印”,“来时须有影,去时更有踪”,万物皆有迹可循。语言是社会的镜子,每天产生的文本中蕴含了大量的事件知识,清晰地记录了社会发展中各个事物在人们脑海中的印象以及自身发展和演变的轨迹。
我们常想,“要是能够构建一个全面、精准、紧随社会发展的轨迹库(事理知识库),将社会对某个事物或事件不同的认识整理出来,将某个或每类事件发展和演化的逻辑轨迹梳理出来;并基于这种认识和演化逻辑,将互相关联的事物联系起来,做些有意义的未知推理,将是件多么美妙的事”。
秉持着这个“学事理,知行迹”的初衷,我们推出了“学迹”,一个7*24小时不断学习的实时事理学习与搜索平台,力图紧跟实时网络信息,面向公众提供以“事件”为核心的实时结构化知识搜索服务。
我们希望,来过“学迹”的人,都能看到“学迹”的这种初衷,并从我们的知识服务中得到有用的信息,并对我们的不足,提出批评和建议,督促“学迹”不断进步。
二、 “学迹”的技术与构成
“学迹”的背后,是以“数地工场”中围绕“事件”为核心的相关自然语言处理技术(事理抽取、概念识别、产业链识别等)沉淀以及实时知识库构建与基于事理的关联推理技术支撑,也是数据地平线全体开发人员在近年来对“事理”相关工作的一个典型总结和应用尝试。
“学迹”就像一个还在成长的孩子,随着后台知识学习算法的不断升级以及更多、更广多源异构数据的输入,它必将成为一个庞大的多源知识库,提供更好的检索体验,为此:
我们设计了一套以“事件”为核心的知识学习和搜索数据流。我们避开了类型众多且不可控的“实体搜索”,而选择了更为聚焦的“事件搜索”,我们约定,一个事件应该包括具体的施事主体和关联动作,如“人民币贬值”、“美联储降息”,对应其中的实体信息,我们将以“概念描述”的方式对其实体进行解释展示。
我们从零研发了一套互联网采集引擎。每天数以万计的网络开源文本源源不断地输入到我们的实时学习系统中,并变成新的结构化事理、概念、产业链知识。值得注意是,这个学习过程在无人干预的情况下 7 x 24 小时不间断运行,实时文本中的结构化知识可在几秒钟内即可被掌握。
我们设计了一套可靠的知识可信度评分算法。随着信息源不断增加,先前学习到的知识的可信度会被不断更新,错误结果的权重被自动纠正,根据可信度排序,可以看到“学迹”最有把握的知识。
我们尝试了一种友好的方式来最大化地展示事理学习的动态过程。我们用连线和层级表示的方式,为每条知识都提供可视化的学习实证,从中可以看到知识的创造者、知识的创造时间、知识出现的上下文,知识学习来源的评分。
我们尝试了一个针对事件的实时热点发现和推荐形式。基于这些不断涌进的实时知识信息,进一步对当下实时的热点事件进行聚合和提炼,在提供快速事理搜索的同时,能够时刻看到时下最新、最热、发生的事件列表。基于推荐,相关的搜索可进一步得到拓宽和聚合。
我们尝试了一条将各种数据进行关联聚合的展示方式。为了将事件与其他关联数据形成传导通路,以事件为连接中介,我们将概念、事件、产业、数据等进行关联,将事件相关的事物都有机地聚合起来。
我们尝试地做了一种基于推理可解释性的产业标的物预测。试图基于这些知识试探性地往前走一步,做一些产业相关的推理和预测。根据演变的轨迹以及在概念、产业链以及数据关联路径,我们对标的物的利好利空情况进行了可能的判定。
我们尝试尽可能最大化地提供信息或知识服务。对于暂时未能收录到我们的知识库中的事件,我们会推荐出与其最为相关的事件以及关联资讯,这样即便没有得到期待的结构化知识,用户也不会白来,随着后台实时数据的不断扩充,这种情况会得到好转。
三、 “学迹” 的用法和探索
我们避开了类型众多且不可控的“实体搜索”,选择了更为聚焦的“事件搜索”。我们约定,一个事件应该包括具体的施事主体和关联动作,如“人民币贬值”、“美联储降息”,对应其中的实体信息,我们将以“概念描述”的方式对其实体进行解释展示。
因此,在“学迹”里,所有的功能和内容都围绕“事件”展开,我们更推荐您在使用的过程中输入一个事件,这样能够尽可能得到更满意的结果。在这里,我们希望您可以:
1、找到关心的事件
“学迹”以搜索框的形态出现,并限制在指定事件的搜索,在搜索的过程中,会自动进行事件联想,您可以根据下拉的事件联想中选择,也可以自己输入。
此外,您也可以进一步根据我们推荐的事件,完成更进一步的搜索。
2、了解当下的热点事件
我们根据时下发布的资讯,识别出了当下的实时事件热点,并实时更新,您也可以直接点击查看。
3、体验到知识的实时学习过程
在“学迹”的首页底部,我们与后台的实时学习进行对接,动态地展示了这种学习过程。
4、了解社会对该事件或关联概念的理解
我们不断学习出该事件自身或者事件关联实体的描述信息,从中我们可以得到对该事件本身的印象。
5、看到知识学习过程中的实证来源过程
我们用连线的方式,为每条知识都提供可视化的学习实证,我们随机选取了几条结构化的知识放在页面的右侧。从线条的首末尾动态关联,可体验到其中的“取之有道”。
我们对每个结构化的知识都进行了可信度的表示,颜色的深浅以及结构化标签上的数值对其进行了清晰的区分。点开标签后出现的下拉信息框中,可以看到知识的生成者、知识的生成时间、生成知识的上下文,知识学习来源的评分。
6、获取特定事件发生的前因后果
因果逻辑是事理逻辑中的一个重要组成部分,通过事件发生的前因后果,可以对事件的演化提供一定借鉴,通过对逻辑事件关联的聚合,可以看出不同可信度下特定事件发生的前因后果。
7、查看特定事件关联的数据和经济产业
我们将事件与产业链实时知识库进行关联,从以事件的关联逻辑进一步延伸至产业链的关联逻辑。
我们将事件与后台数据指标进行关联,形成事件与具体量化数据指标的联通。
8、基于可解释推理路径的经济标的物影响预测
根据演变的轨迹以及在概念、产业链以及数据关联路径,我们对标的物的利好利空情况进行了可能的判定,在给出标的物的同时,还给出推理路径,标的物的影响类型。
9、跟踪特定事件的关联资讯
除了结构化的知识之外,还给出了与事件相关的关联资讯。需要注意的是,对于暂时未能收录到我们的知识库中的事件时,这些相关关联资讯可以进一步发挥全文检索的功能,您也不会白来。
四、 “学迹”的未来与期待
我们正在寻求一种更为友好的技术展示形态,并寻求运用这类技术来做一些有意义和有价值的落地应用,用于探索解决并自然语言处理业务中的一些实际问题。“学迹”是对这一目标的一个尝试。
学迹”正不断成长,交互方式以及各个细节还处于初步探索阶段,但其中的学习技术和知识库思想让“学迹”前路可望。
我们相信,假以时日,后台知识的精度和广度、实时处理的速度和性能将进一步提升。我们相信,成长的“学迹”,将更好地为社会提供的实时事理知识检索和探索。
“让事理知识学得更快、学得更多、学得更好,并为更多人传递事理知识和知识学习技术”,是“学迹”下一步要前进的方向。
有关于对“学迹”有更好的想法和意见,对“学迹”中使用的抽取、关联和推理技术以及积累的知识库有兴趣或需求,欢迎与我们联系。
“学迹”还在不断成长,欢迎常回来看看。
项目地址:https://xueji.zhiwenben.com
如有自然语言处理、[知识图谱、事理图谱]、社会计算、语言资源建设等问题或合作,如果对事件知识库有兴趣的落地或者研究,可联系我:
1、我的github项目介绍:https://liuhuanyong.github.io
2、我的csdn博客:https://blog.csdn.net/lhy2014
3、about me:刘焕勇,中国科学院软件研究所,lhy_in_blcu@126.com
4、懂预言者得天下,得语言者分天下,得知识逻辑者,游得天下。