Cognitive Inference：认知推理下的常识知识库资源、常识推理测试评估与中文实践项目索引

CognitiveInference

Cognitive Inference，认知推理、常识知识库、常识推理与常识推理评估的系统项目，以现有国内外已有的常识知识库为研究对象，从常识知识库资源建设和常识推理测试评估两个方面出发进行整理，并结合自己近几年来在逻辑性推理知识库的构建、应用以及理论思考进行介绍。具体包括已有常识知识库项目资源介绍、逻辑推理类知识库的项目实践集合、常识推理测试评估项目集合。

项目地址 ：https://github.com/liuhuanyong/CognitiveInference/

项目介绍

常识推理是人工智能的高级阶段，基于已有知识，运用知识推理机技术，完成限定领域决策行为，能够在充分减少人为劳动的同时，产生经济效益。例如，基于已知知识进行知识推理，采用如事件驱动传导路径等进行知识发现，能够辅助于业务的推理和辅助决策，在智能投研进行未知风险预警、在舆情分析中对公司进行舆论控制和监控。
“逻辑知识库”+"逻辑推理机"的混合协作模式，是目前实现以上目的的重要方式。
"逻辑知识库"作为描述现实社会事件之间传导关联的库，需要在规模、质量，领域针对性三个方面入手进行解决。具体地，作者通过对自己所涉及的推理项目进行系统回顾，认为，推理类常识知识库，应该从纵向和横向两个维度出发进行构建。

一、纵向常识逻辑

纵项常识逻辑需要考虑的是类人的抽象和概括能力，这个需要抽象、概念性、上下位知识的构建，可以让机器模仿人类的举一反三和概括总结的技能。例如，作者对纵向常识逻辑，形成了以下工作:
1、上下位关系图谱项目：HyponymyExtraction.

上下位这种语义关系是整个词汇语义关系中的一个重要内容，通过上下位关系，可以将世间万物进行组织和练联系起来，对于增进人们对某一实体或概念的认知上具有重要帮助，自然语言文本中存储着大量的上下位关系知识，如经过语言专家编辑整理形成的概念语义词典，如同义词词林，中文主题概念词典，hownet等，也存在开放百科知识平台当中，有效地利用这些信息，能够支持多项应用基于知识概念体系，百科知识库，以及在线搜索结构化方式的词语上下位抽取。项目实现为用户输入一个需要了解的词语，后台通过查询既定知识库，从百科知识库，在线非结构化文本中进行抽取，形成关于该词语的上下位词语网络，并以图谱这一清晰明了的方式展示出来。

2、电商商品概念与销售知识图谱项目：GoodsKG.

项目以京东电商为实验数据来源，采集京东商品目录树，并获取其对应的底层商品概念信息，组织形成商品知识图谱。目前，该图谱包括有概念的上下位is a关系以及商品品牌与商品之间的销售sale关系共两类关系，涉及商品概念数目1300+，商品品牌数目约10万+，属性数目几千种，关系数目65万规模。该项目可以进一步增强商品领域概念体系的应用，对自然语言处理处理的几个下游应用带来帮助，如商品品牌识别，商品对象及属性级别情感分析，商品评价短语库构建，商品品牌竞争关系梳理等提供基础性的概念服务。

3、抽象知识图谱项目：AbstractKnowledgeGraph.

项目提出了一个抽象知识图谱的项目，目的是对知识抽象与泛化提供一个思路并初步实践，介绍了抽象知识图谱，对抽象图谱的现实需求进行论述。介绍了中文抽象图谱的相关工作。包括 CN-Probase,Hownet,大词林,百度百科Schema等，并给出了之前关联的项目地址。本项目提出了一个可用的抽象知识图谱构建路线，提出抽象知识图谱的实施路线并给出抽象接口实践。建成抽象知识图谱，目前规模50万，支持名词性实体、状态性描述、事件性动作进行抽象，可完成抽象知识，包括抽象实体，抽象动作，抽象事件。基于该知识图谱，可以进行不同层级的实体抽象和动作抽象，这与人类真实高度概括的认知是保持一致。

二、横向常识逻辑

横向上，需要挖掘顺承、因果、反转等多个方向的逻辑演化关系。例如，作者对横向常识逻辑，形成了以下工作：

4、顺承事件图谱项目：SequentialEventExtration.

以谓词性短语作为事件表示的方法方兴未艾,针对特定领域,构建起特定领域的顺承事件图谱,可以支持事件推理,基于事件的意图识别与推荐等多项运用。本项目基于50W文章领域语料,运用简单提取方式形成的顺承关系图谱demo,形成了事件节点为326781个, 顺承事件对为543580条,分别为30W和50W的图谱规模。

5、因果事件图谱项目：CausalityEventExtraction.

项目以构造和总结因果模板，结合中文语言特点，构建因果语言知识库的方式，对因果事件抽取以及因果知识图谱构建进行尝试。罗列出了9类显式因果逻辑抽取模式，通过使用因果连词库，结果词库、因果模式库等，完成因果抽取、对文本进行噪声移除，非关键信息去除等进行文本预处理；基于因果模式库，完成因果对抽取，选择短语、短句、句子主干等方式进行事件表示；使用知识图谱中的实体对齐技术进行事件融合，基于业务需求，可以用相应的数据库进行存储，比如图数据库等完成事件存储。

6、复合事件图谱项目：ComplexEventExtraction.

项目对中文复合事件抽取，包括条件事件、因果事件、顺承事件、反转事件等事件事件图谱的类型、表现形式进行了归纳，并结合复合事件模式与语料进行了实验。实验表明，反转事件，其实在某种程度上可以用来构造反义词词典，例如"不是A而是B"这种模式，可以得到很多反义的词或短语，可以用wordvector找相近词，可以靠这种方式收集反义词。汉语显示标记其实在中文文本当中还是用的很普遍，在1000W文本中，有超过半数的文本中包含以上模式。能够把显示事件图谱做好，感觉用处还是很多的。

三、常识逻辑推理

"逻辑推理机"是支配逻辑知识库的重要运算机器，通过对现有逻辑知识库，通过推理规则传导、知识关联路径匹配，完成对现有逻辑知识库的游走，最终实现单跳或多跳等后续事件的推理和预测，在这个方面，需要使用owl本体推理机、图数据库匹配、图数据库路径查找、推理规则配置、图结构预测等多种不同形式。与此同时，与逻辑推理关联的推理能力评估，也是检验常识推理智能的必要手段。例如，作者对常识逻辑推理，形成了一下工作：

7、基于问答社区的逻辑知识问答项目：ZhidaoChatbot.

本项目完成了一个基于线上问答社区的常识逻辑性问答机器人接口demo，本项目的问答机器人接口可以满足原因逻辑，结果逻辑，可以回答为什么，有了会怎么样等问题，也可以推荐相似性的问题，可以作为基于逻辑事理知识的一种补充，问答机器人接口可以作为开源实体性问答机器人的逻辑性问答补充，也可以为逻辑性知识库的构建提供帮助。

8、基于事理图谱的未来事件预测项目：EventPredictBasedOnEG.

基于海量数据进行因果挖掘,可以得到大量的因果知识，基于因果逻辑库,即历史因果,通过计算当前事件与历史事件的相似性，可以在定性的方式上做出一些方向性的预测，方向上包括两种，一种是积极信号，另一种是消极信号，项目介绍了一个基于因果图谱的既定事件未来预测的接口预测demo。

9、学迹事理实时知识库终身学习项目：EventKGNELL.

事理图谱版Magi，EventKGNELL, eventuality knowlege graph never end learning system,一个7*24小时不断学习的实时事理学习与搜索平台，力图紧跟实时网络信息，面向公众提供以“事件”为核心的实时结构化知识搜索服务的实时事理逻辑知识库终身学习和事件为核心的知识库搜索项目，项目实现了包括事件概念抽取、事件因果逻辑抽取、事件数据关联推荐与推理，

开放常识知识库与常识推理评测项目

本项目对现有国内外已有的常识知识库为研究对象，从常识知识库资源建设和常识推理测试评估两个方面出发进行整理，形成已有常识知识库资源集合、常识推理评测项目集合两个组成部分。

一、已有常识知识库资源集合

大类小类名称地址
语言学知识库语言标注语料库Penn Treebank点击查看
语言学知识库语言标注语料库The Penn Discourse Tree- bank (PDTB)点击查看
语言学知识库语言标注语料库The Abstract Meaning Representation (AMR) corpus点击查看
语言学知识库词汇知识库WordNet点击查看
语言学知识库词汇知识库VerbNet点击查看
语言学知识库词汇知识库VerbOcean点击查看
语言学知识库词汇知识库VerbCorner点击查看
语言学知识库框架语义知识库FrameNet点击查看
语言学知识库框架语义知识库PropBank点击查看
语言学知识库预训练语义向量GloVe点击查看
语言学知识库预训练语义向量FastText点击查看
语言学知识库预训练语义向量wordpiece embeddings点击查看
常识库常识库YAGO点击查看
常识库常识库DBpedia点击查看
常识库常识库WikiTaxonomy点击查看
常识库常识库Freebase点击查看
常识库常识库NELL点击查看
常识库常识库Probase点击查看
常识库常识库Wikidata点击查看
常识知识库常识知识库Cyc点击查看
常识知识库常识知识库ConceptNet点击查看
常识知识库常识知识库SenticNet点击查看
常识知识库常识知识库Isanette and IsaCore点击查看
常识知识库常识知识库COGBASE点击查看
常识知识库常识知识库WebChild.点击查看
常识知识库常识知识库LocatedNear点击查看
常识知识库常识知识库ATOMIC点击查看
常识知识库常识知识库ASER点击查看
常识知识库常识知识库学迹实时事理系统点击查看

二、常识推理评测项目资源

大类名称作者规模网址
Reference ResolutionWinograd Schema ChallengeMorgenstern et al., 201660点击查看
Reference ResolutionWinoGrandeSakaguchi et al., 201944.0K点击查看
Question AnsweringMCTest.Richardson et al., 20132.00K点击查看
Question AnsweringRACE.Lai et al., 201797.7K点击查看
Question AnsweringNarrativeQA.Kocˇiský et al., 201846.8K点击查看
Question AnsweringARCClark et al., 20187.79K点击查看
Question AnsweringMCScriptOstermann et al., 201813.9K点击查看
Question AnsweringProParaMishra et al., 2018488点击查看
Question AnsweringMultiRC.Khashabi et al., 20189.87K点击查看
Question AnsweringARCTHabernal et al., 20182.45K点击查看
Question AnsweringSQuAD.Rajpurkar et al., 2018151K点击查看
Question AnsweringCoQA.Reddy et al., 20188.40K点击查看
Question AnsweringQuAC.Choi et al., 201898.4K点击查看
Question AnsweringOpenBookQA.Mihaylov et al., 20185.96K点击查看
Question AnsweringCommonsenseQATalmor et al., 20199.40K点击查看
Question AnsweringDREAM.Sun et al., 201910.2K点击查看
Question AnsweringDROP.Dua et al., 201996.6K点击查看
Question AnsweringCosmos QA.Huang et al., 201935.6K点击查看
Question AnsweringMC-TACO.Zhou et al., 20191.89K点击查看
Textual EnatailmentRTE Challenges.Bentivogli et al., 201148.8K点击查看
Textual EnatailmentConversational Entailment.Zhang & Chai, 2009875点击查看
Textual EnatailmentSICK.Marelli et al., 2014a9.84K点击查看
Textual EnatailmentSNLI.Bowman et al., 2015570K点击查看
Textual EnatailmentSciTail.Khot et al., 201827.0K点击查看
Textual EnatailmentSherLIiC.Schmitt & Schütze, 20193.99K点击查看
Plausible InferenceCOPA.Roemmele et al., 20111.00K点击查看
Plausible InferenceCBT.Hill et al., 2015687K点击查看
Plausible InferenceROCStories.Mostafazadeh et al., 201698.2K点击查看
Plausible InferenceLAMBADA.Paperno et al., 201610.0K点击查看
Plausible InferenceJOCI.hang et al., 201739.1K点击查看
Plausible InferenceCLOTH.Xie et al., 201799.4K点击查看
Plausible InferenceSWAG.Zellers et al., 2018114K点击查看
Plausible InferenceReCoRD.Zhang et al., 2018121K点击查看
Plausible InferenceHellaSWAG.Zellers et al., 2019a70.0K点击查看
Plausible InferenceAlphaNLI.Bhagavatula et al., 2019171K点击查看
Intuitive PsychologyTriangle-COPA.Gordon, 2016100点击查看
Intuitive PsychologyStory Commonsense.Rashkin et al., 2018a161k点击查看
Intuitive PsychologyEvent2Mind.Rashkin et al., 2018b57.1K点击查看
Intuitive PsychologySocialIQA.Sap et al., 2019b44.8K点击查看
Multple TasksbAbI.Weston et al., 201640.0K点击查看
Multple TasksInference is Everything.--点击查看
Multple TasksGLUE.--点击查看
Multple TasksDNC.Poliak et al., 2018a570K点击查看
Multple TasksSuperGLUE.--点击查看

关于作者

刘焕勇， Liu Huanyong，2017年硕士毕业，目前就职于中国科学院软件研究所，兼任数据地平线科技算法总监。专注金融、情报两大领域，从事事件抽取、事件演化、情感分析、事理（知识）图谱、常识推理、语言资源构建与应用等研发工作。主持研发自然语言处理技术开放平台数地工场、大规模实时事理知识学习系统学迹、全行业因果链查询与溯源项目寻链系统，并在智能金融、智能情报落地中负责实施了多个项目。致力于面向中文处理的基础知识库建设与理论技术开源共享，目前累计对外开放自然语言处理实践项目六十余项，其中知识图谱和事理图谱项目十六项。在openkg开放知识图谱联盟中开放工业应用知识库七类，主笔数地工场技术类系列文章二十余篇。

如有自然语言处理、知识图谱、事理图谱、社会计算、语言资源建设等问题或合作，可联系我：
1、我的自然语言处理开源项目：https://liuhuanyong.github.io
2、我的csdn技术博客：https://blog.csdn.net/lhy2014
3、我的联系方式: 刘焕勇，中国科学院软件研究所，lhy_in_blcu@126.com.
4、我的共享知识库项目：刘焕勇，事理类知识库数据集，http://www.openkg.cn/organization/datahorizon.
5、我的工业项目：刘焕勇，以事理为核心的金融情报探索：https://datahorizon.cn.

项目地址：https://github.com/liuhuanyong/CognitiveInference/

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/480270.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

POJ 2255 Tree Recovery（已知前序中序，求后序）

POJ 2255 Tree Recovery（已知前序中序，求后序）

1. 题目链接：http://poj.org/problem?id2255 2. 题目大意： 给定二叉树的前序和中序序列，输出其后序序列 3. 思考过程： 4. AC代码 /*** description: 给出前序和中序二叉树节点序列，求后序二叉树节点输出序列* auth…
阅读更多...
美团内推：java高级开发（一面+二面+三面），面试58题实拍！

美团内推：java高级开发（一面+二面+三面），面试58题实拍！

美团内推（一面二面三面）面试题目 美团一面（电话） 自我介绍 项目介绍 Redis介绍 了解redis源码么 了解redis集群么 Hashmap的原理，增删的情况后端数据结构如何位移 hashmap容量为什么是2的幂次 hashset的源码 …
阅读更多...
ACL20 best paper荣誉提名 | DO NOT STOP Pre-training！

ACL20 best paper荣誉提名 | DO NOT STOP Pre-training！

星标/置顶小屋，带你解锁最萌最前沿的NLP、搜索与推荐技术文 | JayLou娄杰（NLP算法工程师，信息抽取方向）编 | 可盐可甜兔子酱在昨晚23点的best paper典礼上我惊了，这篇论文竟然获得了今年ACL2020 best paper荣誉提名..…
阅读更多...
论文浅尝 | 对于知识图谱嵌入表示的几何形状理解

论文浅尝 | 对于知识图谱嵌入表示的几何形状理解

论文链接：http://anthology.aclweb.org/attachments/P/P18/P18-1012.Presentation.pdf发表会议：ACL 2018摘要知识图谱的嵌入表示在近几年已经成为一个非常活跃的研究领域，众多相关方法相继被提出，这些嵌入方法是将知识图谱中的实体…
阅读更多...
唐刘之辩：行业知识图谱的schema构建的难点、重点与困惑

唐刘之辩：行业知识图谱的schema构建的难点、重点与困惑

一、议题 昨日，阿里达摩院唐呈光老师与我就行业知识图谱的schema的构建对于业务人员是不是有困难以及其中的难点或者耗时点做了一个简短的讨论，我觉得很有趣，发出来与大家一同思考。 唐：唐呈光，阿里巴巴算法专家小蜜对…
阅读更多...
数据结构--堆 Heap

数据结构--堆 Heap

文章目录1. 概念2. 操作和存储2.1 插入一个元素2.2 删除堆顶元素3. 堆排序（不稳定排序）3.1 建堆3.2 排序3.3 思考：为什么快速排序要比堆排序性能好？两者都是O(nlogn)4. 堆应用4.1 优先级队列4.2 用堆求 Top K（前K大数据…
阅读更多...
金融时报：人工智能在银行中的应用—对全球30家大型银行的调查

金融时报：人工智能在银行中的应用—对全球30家大型银行的调查

原文地址：https://cloud.tencent.com/developer/article/1144829 （微信公众号 点滴科技资讯）尽管银行业对新技术感到兴奋，但仍采取比较谨慎的方式。德意志银行首席执行官约翰•克莱恩（John Cryan）曾经提出将…
阅读更多...
百度Java三面：现场面试39题目实拍含答案！

百度Java三面：现场面试39题目实拍含答案！

百度一面（现场） 自我介绍 Java中的多态 为什么要同时重写hashcode和equals Hashmap的原理 Hashmap如何变线程安全，每种方式的优缺点 垃圾回收机制 Jvm的参数你知道的说一下 设计模式了解的说一下啊 手撕一个单例模式 算法题目 手撕算…
阅读更多...
CCKS2020事理图谱应用工作：刘焕勇等.面向开放文本的逻辑推理知识抽取与事件影响推理探索

CCKS2020事理图谱应用工作：刘焕勇等.面向开放文本的逻辑推理知识抽取与事件影响推理探索

一、背景介绍 第十四届全国知识图谱与语义计算大会(CCKS 2020) 11 月 12 日至 15 日在江西南昌举行，CCKS（China Conference on Knowledge Graph and Semantic Computing）是由中国中文信息学会语言与知识计算专委会定期举办的全国年度学术会议…
阅读更多...
ACL20 Best Paper揭晓！NLP模型评价体系或将迎来重大转折

ACL20 Best Paper揭晓！NLP模型评价体系或将迎来重大转折

星标/置顶小屋，带你解锁最萌最前沿的NLP、搜索与推荐技术文 | 北大小才女小轶昨晚ACL2020的Main Conference落下帷幕，今年的最佳论文颁给了这篇《Beyond Accuracy: Behavioral Testing of NLP Models with CHECKLIST》。在ACL录用的778篇论文中&#xff…
阅读更多...
论文浅尝 | 基于多模态关联数据嵌入的知识库补全

论文浅尝 | 基于多模态关联数据嵌入的知识库补全

链接&#xff1a;https://arxiv.org/pdf/1809.01341.pdf动机&#xff08;摘要&#xff09;当前的知识库补全的方法主要是将实体和关系嵌入到一个低维的向量空间&#xff0c;但是却只利用了知识库中的三元组结构 (<s,r,o>) 数据&#xff0c;而忽略了知识库中大量存在的文本…
阅读更多...
智能投顾原理与主流产品分析

智能投顾原理与主流产品分析

原作者 王希&#xff0c;CFA&#xff0c;中国光大银行。核心观点&#xff1a;1、智能投顾的模式是通过技术实现财富管理的流程自动化&#xff0c;为客户定制FOF产品来投资并赚取管理费。目前尚未看出大数据分析、人工智能等技术在其中发挥出关键作用。2、智能投顾在美国的快速…
阅读更多...
POJ 1442 Black Box（大小堆，求第K小的元素）

POJ 1442 Black Box（大小堆，求第K小的元素）

文章目录1. 题目链接2. 题目解读3. 代码3.1 Runtime Error 代码1. 题目链接 http://poj.org/problem?id1442 2. 题目解读 可以利用大小堆&#xff0c;大堆长度从1开始&#xff0c;每次1 大堆元素都比小堆的小&#xff0c;那么大堆顶的元素就是第k小的元素 3. 代码 3.1 Run…
阅读更多...
阿里java架构师面试128题含答案：分布式架构+Dubbo+多线程+Redis

阿里java架构师面试128题含答案：分布式架构+Dubbo+多线程+Redis

一、Java基础和高级 1.String类为什么是final的。 2.HashMap的源码&#xff0c;实现原理&#xff0c;底层结构。 3.反射中&#xff0c;Class.forName和classloader的区别 4.session和cookie的区别和联系&#xff0c;session的生命周期&#xff0c;多个服务部署时session管理…
阅读更多...
KerasSeq2seqGeneration:基于seq2seq模型的文本生成任务项目

KerasSeq2seqGeneration:基于seq2seq模型的文本生成任务项目

项目的由来 1、分类、抽取、序列标注、生成任务是自然语言处理的四大经典任务&#xff0c;其中&#xff0c;分类、抽取任务&#xff0c;可以使用规则进行快速实现。而对于生成而言&#xff0c;则与统计深度学习关系较为密切。 2、当前&#xff0c;GPT系列&#xff0c;自动文本…
阅读更多...
LightGBM——提升机器算法（图解+理论+安装方法+python代码）

LightGBM——提升机器算法（图解+理论+安装方法+python代码）

原文地址&#xff1a;https://blog.csdn.net/huacha__/article/details/81057150 前言 LightGBM是个快速的&#xff0c;分布式的&#xff0c;高性能的基于决策树算法的梯度提升框架。可用于排序&#xff0c;分类&#xff0c;回归以及很多其他的机器学习任务中。 在竞赛题中&am…
阅读更多...
这个NLP工具，玩得根本停不下来

这个NLP工具，玩得根本停不下来

今天推荐一个有趣的自然语言处理公众号AINLP&#xff0c;关注后玩得根本停不下来&#xff01;AINLP的维护者是我爱自然语言处理&#xff08;52nlp&#xff09;博主&#xff0c;他之前在腾讯从事NLP相关的研发工作&#xff0c;目前在一家创业公司带技术团队。AINLP公众号的定位是…
阅读更多...
论文浅尝 | 基于Universal Schema与Memory Network的知识+文本问答

论文浅尝 | 基于Universal Schema与Memory Network的知识+文本问答

来源&#xff1a;ACL 2017链接&#xff1a;http://aclweb.org/anthology/P17-2057本文提出将 Universal schema 用于自然语言问答中&#xff0c;通过引入记忆网络&#xff0c;将知识库与文本中大量的事实信息结合起来&#xff0c;构建出一个由问答对&#xff08;question-answe…
阅读更多...
数据结构--图 Graph

数据结构--图 Graph

文章目录1. 概念2. 存储方法2.1 邻接矩阵 Adjacency Matrix2.2 邻接表 Adjacency List3. 图的遍历3.1 广度优先搜索BFS&#xff08;Breadth First Search&#xff09;3.2 BFS代码&#xff08;基于邻接表&#xff09;3.3 深度优先搜索DFS&#xff08;Depth First Search&#xf…
阅读更多...
ChineseDiachronicCorpus项目，大规模中文历时语料库

ChineseDiachronicCorpus项目，大规模中文历时语料库

ChineseDiachronicCorpus ChineseDiachronicCorpus&#xff0c;中文历时语料库&#xff0c;横跨六十余年&#xff0c;包括腾讯历时新闻2009-2016&#xff0c;人民日报历时语料1946-2003&#xff0c;参考消息历时语料1957-2002。基于历时流通语料库&#xff0c;可用于历时语言变…
阅读更多...
最新文章

Copyright @ 2022~2023