知识图谱基础

本系列是学习七月算法知识图谱课程的笔记。感觉自己完全就是一个托儿。前面七月算法机器学习,七月算法深度学习的笔记。现在又来了知识图谱课程的笔记。

文章目录

  • 1 why知识图谱
  • 2 知识图谱前世今生
  • 3 知识图谱相关技术
  • 4 知识图谱应用案例

1 why知识图谱

没有知识图谱,计算机看到一个文字的时候只能是一个文字。例如看到“Magdalena Carmen Frida Kahlo y Calderón”,不能知道其中文名称、简称、相关作品。

我们想要达到目标:things not strings

如果做到呢?深度学习+目前的知识图谱。

见过大世面的AI:需要大量数据,不可解释
知识渊博的AI:需要结构知识、推理逻辑,少量数据,可解释
相结合之后:就是真实的AI
可以用:学而不思则罔,思而不学则殆 来理解。
好的知识图谱需要具备学习能力和思考能力。

目前人们对于how why的需求越来越多,希望用知识图谱来解决。

2 知识图谱前世今生

在这里插入图片描述

  • 语义网络

1960年的语义网络:是一些概念节点和节点之间的链接关系。更多的是is-a part-of这种关系。
缺点:没有标准,就不利于多个网络的融合。没有办法多节点和边做定义。
优点:简单,可以理解。

  • 1980年引入本体概念

本体表示可以形式化化的:可以被计算机理解;是精确的:是共享的

  • 1989年万维网

万维网最代表的技术是超文本标记语言。将文本、文档互联。

  • 语义网

网页之间有链接,但不知道为什么链接
做到机器可理解
对象、数据、事物的相互链接
比较对象:之前是比较两个网页(描述商品信息的网页),有了语义网比较的是对象之间的属性值。常见的两种型号笔记本比较、两种型号的车比较。

  • 2006年开放数据连接

开放数据之间的链接:更多的数据做关联

  • 2012年google提出知识图谱

google提出知识图谱概念:是传统知识工程与大数据知识工程之间的分界线
传统知识工程:符号主义,本质是符号的操作和运算。解决了一些规则明确,应用封闭的问题。例如蛋白质结构的发现,数学定理的证明。依靠人工与专家获取结构化知识。
大数据知识工程:利用数据、算力、模型获取结构化的知识。

什么是知识图谱:知识图谱是一种基于图的数据结构。由点和边组成。每个节点表示一个实体,每条边表示一个关系。

知识有哪些类型:事实知识、概念知识、词汇知识、常识知识。

需要知道的开源知识图谱:
1 DBpedia 项⽬始于 2007 年,是⼀个多语⾔知识图谱,致⼒于从 Wikipedia ⻚⾯中获取结构化的知识供⼤众使⽤,可称作为数据库版本的Wikipedia。

2 CN-DBpedia是由复旦⼤学知识⼯场实验室(http://kw.fudan.edu.cn/ )研发并维护的⼤规模通⽤领域结构化百科,其前身是复旦GDM中⽂知识图谱 。

3 YAGO

4 CN-Probase是由复旦⼤学知识⼯场实验室研发并维护的⼤规模中⽂概念图谱,包含约1700万实体、27万概念和3300万isa关系。

5 WordNet

6 Cyc 常识知识库

7 ConceptNet 始于 2004 年,最早源于 MIT 媒体实验室,是⼀个⼤型的多语⾔常识知识库。

8 openkg.cn

3 知识图谱相关技术

1 业务理解
有哪些业务数据?
需要人工标注吗?成本多大?
需要专家接入吗?有专家吗?
根据业务数据特性选择存储的数据库
工程完成后,能给具体的场景带来实际好处吗?
回答:做不做?为什么做的问题

2 图谱设计
专家法:自上而下,总体规划
归纳法:单点切入,自下而上
混合法:大的方向上用专家法,小的场景下用归纳法
还可以用参照法,在缺乏知识图谱经验的情况下。 UMLS一体化医学语言系统,可以参考其相关关系的分类体系

3 知识抽取

4 知识表示
RDF/turtle:抽象能力弱,一些知识是需要附加时空条件的,不能表达

5 知识存储
https://zhuanlan.zhihu.com/p/63378196
6 知识链接
有了基础的知识图谱,想要加入更多的链接
同一个实体有不同的mention。
不同实体有相同的mention
7 知识融合

4 知识图谱应用案例

1 用于推荐

2 自动生成创意文案

3 智能搜索

4 智能问答

5 智能决策

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/424053.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

第一百二十六期:代码以外的生存之道,献给每位入了坑的码农

本篇内容主要是对这本书的一个总结概括,也希望能用作抛砖引玉,让读者在看完之后,对这本书有所兴趣,或者希望能让读者对代码以外的需要做的事情更加积极明朗一点。 作者:码农三哥 前言 最近刚刚读完了一本书&#xf…

DataDirectory是什么?

asp.net 2.0有一个特殊目录app_data,通常Sql server 2005 express数据文件就放在这个目录,相应的数据库连接串就是:connectionString"…… data source.\SQLEXPRESS;Integrated SecuritySSPI;AttachDBFilename|DataDirectory|data.mdf;User Instanc…

【UOJ 51】最接近神的人

【题目描述】: 破解了符文之语,小FF开启了通往地下的道路。当他走到最底层时,发现正前方有一扇巨石门,门上雕刻着一幅古代人进行某种活动的图案。而石门上方用古代文写着“神的殿堂”。小FF猜想里面应该就有王室的遗产了。但现在的…

知识图谱存储与搜索

本系列是学习七月算法知识图谱课程的笔记 知识图谱存储是一个技术活。根据数据量以及关系复杂程度可能会选择不同的介质。课程里面直接用了neo4j。 讲了neo4j安装、语法、建库、添加数据、导入数据、查询数据。 最后讲了在应用中的一些高级查询。例如朋友圈检测、欺诈团检测。…

第一百二十七期:程序员41岁创业逆袭成全美最受欢迎CEO,公司市值近200亿美金

袁征(Eric Yuan)在国内鲜为人知,却在硅谷的商业世界,创造了华人新的可能性——带领公司成功上市,成为全美国上市公司当中、美国面向全球的企业里估值最高的华人CEO。 作者:新芽NewSeed 导语:袁…

老生常谈的思考

其实这些话题还都是老生常谈的话题了,经常在我的博客上面说这些东西。最近一段时间来我确实比较痛苦,在人生最迷茫的时候经历一场感情风波,可能让我这个人有些显得颓废崩溃。这段时间谢谢温温等其他一些博客园好友的宽慰,劝解&…

词汇挖掘与实体识别(未完)

文章目录1 概述2 词汇挖掘2.1 关键词提取2.1.1 基于特征统计2.1.2 基于主题模型2.1.3 Text-Rank算法提取2.2 同义词挖掘2.2.1 同义词类型2.2.2 挖掘2.3 缩略词挖掘2.4 新词挖掘3 实体识别(NER)3.1 基于概率图模型3.2 基于深度学习1 概述 实体:是文本中的一些词汇或…

第一百二十八期:推荐几个IDEA插件,Java开发者撸码利器,你get到了吗

一款热部署插件,只要不是修改了项目的配置文件,用它都可以实现热部署。收费的,破解比较麻烦。不过功能确实很强大。 作者:编程届java员 JRebel for IntelliJ 一款热部署插件,只要不是修改了项目的配置文件&#xff…

jeecg流程梳理学习

jeecg 流程梳理 角色admin 管理员 fgld学校分管领导 bgs学校办公室 xbld系部领导 xbky系部科员jxky bmld部门领导 发文申请applyUserIdadmin${assigneeUserId} 并行cgAutoListController.do?list&idjfrom_huiq顺会签cgAutoListController.do?list&idsx_huiqian 加班申…

lighttpd,thttpd,shttpd - 轻量级WebServer介绍

lighttpd,thttpd,shttpd - 轻量级WebServer介绍 lighttpd,thttpd,shttpd - 轻量级WebServer介绍 Filed under: lighttpd, Web Server, thttpd — allen 8:27 pm 转自 Zhiqiang::He 博客. 国内绝大部分的web server不是IIS就是Apache,而论市场占有率,我认…

spring mvc学习(35):restful的put

创建maven项目就不说了&#xff0c;需要的找我前面的博客 pom.xml文件 <project xmlns"http://maven.apache.org/POM/4.0.0" xmlns:xsi"http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation"http://maven.apache.org/POM/4.0.0 http…

一、词向量模型

因为计算机不能理解词语&#xff0c;所以我们需要用词向量表示一个词。 词向量有一个发展历程&#xff1a;从one-hot到word embedding。 1 one-hot 设词典的大小为n&#xff08;词典中有n个词&#xff09;&#xff0c;假如某个词在词典中的位置为k&#xff0c;则设立一个n维向…

【广告】我妹妹导演的毕设——数字传媒摄影作品

我妹妹涂华思宇导演的作品&#xff0c;也是她的本科毕业设计&#xff5e; https://www.xinpianchang.com/a10452218 欢迎各位点击&#xff01; 涂华思宇,initiated四川文化艺术学院 2019/6/30 tz,postedcroplab,HZAU 2019/7/16转载于:https://www.cnblogs.com/acm-icpcer/p/111…

spring mvc学习(36):jstl的jar包的下载

1. 我们在使用spring框架的时候导入jstl标签库需要使用到jstl的jar包&#xff0c;假如没有加入到eclipse的lib目录下&#xff0c;使用alt /的时候不会有提示&#xff0c;所以我们需要把这个jar包加进来 首先登陆网址&#xff1a;http://tomcat.apache.org/taglibs/ 找到下面的…

同学的QQ群上

这是去年5月25日事情&#xff0c;现在看着还挺逗 一个新上任的管理员突然很郁闷发言说道“还没踢过人呢&#xff0c;哪个同学能让我踢一下&#xff1f;”立即有2个响应者&#xff0c;这2个同样是管理员&#xff0c;但也同样没有踢过人的经验&#xff0c;对此极感兴趣。于是遍寻…

二、语言模型

文章目录1 语言模型2 语言模型评价指标&#xff1a;Perplexity3 基于神经网络的语言模型3.1 RNN3.2 LSTM3.3 GRU4 优化函数5 模型代码6 用途与评价1 语言模型 语言模型的任务是判断一句话出现的概率&#xff08;也就是说一句话是不是人说的&#xff09;&#xff0c;可以表示为…

spring mvc学习(37):JavaEE-JSP基础-EL表达式和JSTL标签库(Taglibs)

EL表达式和JSTL标签库: 在JSP页面代替java代码,便于编写 一.EL表达式 作用: ${} 简化脚本表达式 <% %> j2ee1.4以前版本需指定<% page isELIgnored"false"> j2ee1.4以后版本默认支持EL表达式 1.EL内置对象 EL内置11个对象,不需定义可直接使用 pageS…

[计划]二〇〇七年年度计划

2007年终于到了&#xff0c;同时也是我们该规划这一年的时候了。不虚度此生&#xff0c;就从现在开始&#xff01; 完成去年计划中的研究生入学考试&#xff1b; 完善目前的"智能英语单词学习"项目&#xff1b; 完成"博客管理系统"项目&#xff1b; 完成&…

DM入门之Apriori小结

Apriori算法&#xff1a;使用候选项找频繁项集Apriori算法是关联分析中一种基本算法&#xff0c;用于挖掘布尔关联规则频繁项集。原理&#xff1a;利用频繁项集的先验知识&#xff0c;使用逐层搜索的迭代方法&#xff0c;使用k项集探索(k1)项集。这里先看哈二维Apriori算法。&a…

三、自然语言分类

文章目录1 数据准备1.1 数据集拆分1.2 创建词库vocabulary1.3 batch数据&#xff0c;创建Iterator2 Word Averaging模型3 RNN模型4 CNN三种分类方式&#xff1a;Word Averaging模型、RNN、CNN。1 数据准备 第一步是准备数据。代码中用到的类库有spacy、torchtext。 torchtext中…