金融领域：产业链知识图谱包括上市公司、行业和产品共3类实体，构建并形成了一个节点10w+，关系边16w的十万级别产业链图谱

在这里插入图片描述

项目设计集合（人工智能方向）：助力新人快速实战掌握技能、自主完成项目设计升级，提升自身的硬实力（不仅限NLP、知识图谱、计算机视觉等领域）：汇总有意义的项目设计集合，助力新人快速实战掌握技能，助力用户更好利用 CSDN 平台，自主完成项目设计升级，提升自身的硬实力。

在这里插入图片描述

  1. 专栏订阅：项目大全提升自身的硬实力

  2. [专栏详细介绍：项目设计集合（人工智能方向）：助力新人快速实战掌握技能、自主完成项目设计升级，提升自身的硬实力（不仅限NLP、知识图谱、计算机视觉等领域）

# 金融领域：产业链知识图谱包括上市公司、行业和产品共3类实体，构建并形成了一个节点10w+，关系边16w的十万级别产业链图谱

包括上市公司所属行业关系、行业上级关系、产品上游原材料关系、产品下游产品关系、公司主营产品、产品小类共6大类。 上市公司4,654家，行业511个，产品95,559条、上游材料56,824条，上级行业480条，下游产品390条，产品小类52,937条，所属行业3,946条。

领域知识图谱的数据集，当前还比较缺失，而作为构建难度最大的产业链图谱领域更为空白。产业链作为产业经济学中的一个概念，是各个产业部门之间基于一定的技术经济关联，并依据特定的逻辑关系和时空布局关系客观形成的链条式关联关系形态。从本质上来说，产业链的本质是用于描述一个具有某种内在联系的企业群结构，产业链中大量存在着上下游关系和相互价值的交换，上游环节向下游环节输送产品或服务，下游环节向上游环节反馈信息。

1.项目构成

产业链知识图谱包括A股上市公司、行业和产品共3类实体，包括上市公司所属行业关系、行业上级关系、产品上游原材料关系、产品下游产品关系、公司主营产品、产品小类共6大类。

通过数据处理、抽取，最终建成图谱规模数十万，其中包括上市公司4,654家，行业511个，产品95,559条、上游材料56,824条，上级行业480条，下游产品390条，产品小类52,937条，所属行业3,946条。

2.项目构建

2.1 实体构建

2.1.1 上市公司

目前上市公司已经达到四千多家，是我国重要的公司代表与行业标杆，本图谱选取上市公司作为基础实体之一。通过交易所公开信息中，可以得到上市公司代码、全称、简称、注册地址、挂牌等多个信息。

2.1.2 行业分类

行业是产业链图谱中另一个核心内容，也是承载产业、公司及产品的一个媒介，通过这一领携作用，可以生产出大量的行业指数、热点行业等指标。
目前关于行业，已经陆续出现多个行业规范，代表性的有申万三级行业分类、国民经济行业分类等。中国上市公司所属行业的分类准则是依据营业收入等财务数据为主要分类标准和依据，所采用财务数据为经过会计事务所审计并已公开披露的合并报表数据。
2021年6月，申万发布了2021版的行业分类规范，将1级行业从28个调整至31个、2级行业从104个调整至134个、3级行业从227个调整至346个，新增1级行业美容护理等，新增2级行业，并将上市公司进行了归属。本图谱选用申万行业作为基础数据。

2.1.3 业务产品

业务产品主要指公司主营范围、经营的产品，用于对一个公司的定位。可以从公司的经营范围、年报等文本中进行提取得到。

2.2 关系构建

2.2.1 公司所属行业

通过公开的上市公司行业分类表，可以得到上市公司所对应的行业分类数据。

2.2.2 行业上级关系

通过公开的行业三级分类情况，可以通过组合的形式得到行业之间的上级关系数据。

2.2.3 公司主营产品关系

上市公司的经营产品数据可以从两个方面来获得，一个是从公司简介中的经营范围中结合制定的规则进行提取，另一个是从公司每年发布的半年报、年报中进行提取。这些报告中会有按经营业务、经营产品、经营地域等几个角度对公司的营收占比进行统计，也可以通过制定规则的方式进行提取。第二种方法中，由于已经有统计数据，所以我们可以根据占比数据大小，对主营产品这一关系进行赋值。

4）产品之间的上下游关系
产品之间的上下游关系，是展示产品之间传导逻辑关系的一个重要方法，包括上游原材料以及下游产品两大类。我们可以多种来获取：
一种是基于规则模式匹配的方式进行抽取，如抽取上游原材料这一关系可以由诸如"a是b的原料/原材料/主要构件/重要原材料/ 上游原料"的模式进行抽取"，而下游产品，则同理可以通过"A是B的下游成品/产品"等模式进行提取。
另一种是基于序列标注的提取。还有一种是基于现有结构化知识图谱的提取，例如已经结构化好的百科知识三元组，可以通过设定谓词及其扩展进行过滤。

5）产品之间的小类关系
对于一个产品而言，其是有大小层级分类的，在缺少大类产品名称的时候，可以通过计算小类产品来得到相应指标。与产品之间的上下游数据类似，可以通过启发式规则的方式进行提取，如“A是一种B”，也可以通过字符之间的组成成分进行匹配生成，如“螺纹钢”是“精细螺纹钢”的一个大类。

3.项目运行

  • data文件夹下包括了本项目的数据信息：
    1)company.json:公司实体数据
    2)industry.json:行业实体数据
    3)product.json:产品实体数据
    4)company_industry.json:公司-行业关系数据
    5)industry_industry.json:行业-行业关系数据
    6)product_product.json:产品-产品数据
    7)company_product.json:公司-产品数据

2、项目运行:

python build_graph.py

import os
import jsonfrom py2neo import Graph,Nodeclass MedicalGraph:def __init__(self):cur_dir = '/'.join(os.path.abspath(__file__).split('/')[:-1])self.company_path = os.path.join(cur_dir, 'data/company.json')self.industry_path = os.path.join(cur_dir, 'data/industry.json')self.product_path = os.path.join(cur_dir, 'data/product.json')self.company_industry_path = os.path.join(cur_dir, 'data/company_industry.json')self.company_product_path = os.path.join(cur_dir, 'data/company_product.json')self.industry_industry = os.path.join(cur_dir, 'data/industry_industry.json')self.product_product = os.path.join(cur_dir, 'data/product_product.json')self.g = Graph(host="127.0.0.1",  # neo4j 搭载服务器的ip地址，ifconfig可获取到http_port=7474,  # neo4j 服务器监听的端口号user="neo4j",  # 数据库user name，如果没有更改过，应该是neo4jpassword="123456")'''建立节点'''def create_node(self, label, nodes):count = 0for node in nodes:bodies = []for k, v in node.items():body = k + ":" + "'%s'"% vbodies.append(body)query_body = ', '.join(bodies)try:sql = "CREATE (:%s{%s})"%(label, query_body)self.g.run(sql)count += 1except:passprint(count, len(nodes))return 1"""加载数据"""def load_data(self, filepath):datas = []with open(filepath, 'r') as f:for line in f:line = line.strip()if not line:continueobj = json.loads(line)if not obj:continuedatas.append(obj)return datas'''创建知识图谱实体节点类型schema'''def create_graphnodes(self):company = self.load_data(self.company_path)product = self.load_data(self.product_path)industry = self.load_data(self.industry_path)self.create_node('company', company)print(len(company))self.create_node('product', product)print(len(product))self.create_node('industry', industry)print(len(industry))return'''创建实体关系边'''def create_graphrels(self):company_industry = self.load_data(self.company_industry_path)company_product = self.load_data(self.company_product_path)product_product = self.load_data(self.product_product)industry_industry = self.load_data(self.industry_industry)self.create_relationship('company', 'industry', company_industry, "company_name", "industry_name")self.create_relationship('industry', 'industry', industry_industry, "from_industry", "to_industry")self.create_relationship_attr('company', 'product', company_product, "company_name", "product_name")self.create_relationship('product', 'product', product_product, "from_entity", "to_entity")'''创建实体关联边'''def create_relationship(self, start_node, end_node, edges, from_key, end_key):count = 0for edge in edges:try:p = edge[from_key]q = edge[end_key]rel = edge["rel"]query = "match(p:%s),(q:%s) where p.name='%s'and q.name='%s' create (p)-[rel:%s]->(q)" % (start_node, end_node, p, q, rel)self.g.run(query)count += 1print(rel, count, all)except Exception as e:print(e)return'''创建实体关联边'''def create_relationship_attr(self, start_node, end_node, edges, from_key, end_key):count = 0for edge in edges:p = edge[from_key]q = edge[end_key]rel = edge["rel"]weight = edge["rel_weight"]query = "match(p:%s),(q:%s) where p.name='%s'and q.name='%s' create (p)-[rel:%s{%s:'%s'}]->(q)" % (start_node, end_node, p, q, rel, "权重", weight)try:self.g.run(query)count += 1print(rel, count)except Exception as e:print(e)returnif __name__ == '__main__':handler = MedicalGraph()handler.create_graphnodes()handler.create_graphrels()

4.项目总结

产业链图谱是众多领域知识图谱中较为棘手的一种，本项目通过现有的数据，借助数据处理、结构化提取方式，设计、构建并形成了一个节点100,718，关系边169,153的十万级别产业链图谱。就产业链图谱的构建而言，我们需要至少从以上三个方面加以考虑：

  • 其一，产业链的主观性与标准性。产业链的主观性较强，不同的人对产业链的构建、产业链节点、关系的类型，产业链的颗粒度问题都有不同的理解。不同的设定会直接导致不同的应用结果。正如我们所看到的，目前存在不同的行业标准，不同的网站、机构也将公司归为不同的行业。

  • 其二，产业链的动态性和全面性。产业链需要具备足够大的复用性和扩展性，几千家上市公司实际上是冰山一角。国内有几千万家公司，而且不断会有新增，如何将新增的公司融入到这个额产业链中，也是一个很大挑战。此外，产业本身是动态的， 随着行业的发展，不断会有新的行业出现。如何捕捉这种行业的变化，使得整个图谱变得与时俱进，也是需要考量的点。

  • 其三，产业链的定量推理特性。单纯定性的构建产业链知识图谱，如果没有足够的参数，仅有知识表达是无法进行推理的，推理要求知识图谱Schema具备节点间推理传导的必备参数，以及影响推理传导的其他关键参数。对于必备参数来说，从公司到产品必须有主营占比、市场占比、产能占比等数据，从产品到产品必须有成本占比和消耗占比等数据。

  • 参考数据来源
    1、申万行业：http://www.swsindex.com
    2、深交所: http://www.szse.cn
    3、上交所: http://www.sse.com.cn

项目码源见文章顶部or文末

https://download.csdn.net/download/sinat_39620217/87999923

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/7109.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

前端 | （ 十三）CSS3简介及基本语法（下）| 伸缩盒模型 | 尚硅谷前端html+css零基础教程2023最新

前端 | （ 十三）CSS3简介及基本语法（下）| 伸缩盒模型 | 尚硅谷前端html+css零基础教程2023最新

学习来源：尚硅谷前端htmlcss零基础教程，2023最新前端开发html5css3视频 系列笔记： 【HTML4】（一）前端简介【HTML4】（二）各种各样的常用标签【HTML4】（三）表单及HTML4收尾…
阅读更多...
Go 语言 值类型和引用类型

Go 语言 值类型和引用类型

Go 语言 值类型和引用类型 值类型： 概述： 值类型的人变量直接存储其值，他们通常在栈上分配内存。当把一个值类型的变量赋值给另外一个变量、作为函数参数传递或从函数返回时，进行值的复制。因此每个变量都有自己独立的存储&…
阅读更多...
Flutter 自定义 虚线 分割线

Flutter 自定义 虚线 分割线

学习使用Flutter 进行 虚线 自定义控件 练习 // 自定义虚线 （默认是垂直方向） class DashedLind extends StatelessWidget {final Axis axis; // 虚线方向final double dashedWidth; // 根据虚线的方向确定自己虚线的宽度final double dashedHeight; //…
阅读更多...
实训笔记7.24

实训笔记7.24

实训笔记7.24 7.24笔记一、Hadoop中MapReduce框架的使用原理和流程1.1 涉及到一些框架核心组件1.1.1 InputFotmat1.1.2 MapTask1.1. 3Partitioner1.1.4 WritableComparable1.1.5 Combiner（可选）1.1.6 WritableComparator(GroupingComparator)1.1.7 Reduc…
阅读更多...
c++ 之 dynamic_pointer_cast

c++ 之 dynamic_pointer_cast

/* * dynamic_pointer_cast */ 描述 (Description) 它返回一个正确类型的sp副本&#xff0c;其存储的指针从U *动态地转换为T *。 声明 (Declaration) 以下是std :: dynamic_pointer_cast的声明。 template <class T, class U> shar…
阅读更多...
微服务保护——Sentinel【实战篇二】

微服务保护——Sentinel【实战篇二】

一、线程隔离 &#x1f349; 线程隔离有两种方式实现&#xff1a; 线程池隔离信号量隔离&#xff08;Sentinel默认采用&#xff09; 线程隔离&#xff08;舱壁模式&#xff09;&#x1f95d; 在添加限流规则时&#xff0c;可以选择两种阈值类型&#xff1a; QPS&#xff1a;…
阅读更多...
SpringBoot-4

SpringBoot-4

Spring Boot 使用 slf4j 日志 在开发中经常使用 System.out.println()来打印一些信息&#xff0c;但是这样不好&#xff0c;因为大量的使用 System.out 会增加资源的消耗。实际项目中使用的是 slf4j 的 logback 来输出日志&#xff0c;效率挺高的&#xff0c;Spring Boot 提供…
阅读更多...
NLP 中的pad/padding操作代码分析

NLP 中的pad/padding操作代码分析

今天分析一下NLP中的pad操作代码&#xff1a; 该方法的作用是将输入的序列列表seqs进行填充操作&#xff0c;使其具有相同的长度&#xff0c;以便进行批处理。填充使用指定的pad_token进行&#xff0c;并生成一个对应的mask标志列表&#xff0c;用于标记哪些部分是填充内容&am…
阅读更多...
如何用3D格式转换工具HOOPS Exchange读取颜色和材料信息？

如何用3D格式转换工具HOOPS Exchange读取颜色和材料信息？

作为应用程序开发人员&#xff0c;非常希望导入部件的图形表示与它们在创作软件中的外观尽可能接近。外观可以在每个B-Rep面的基础上指定&#xff0c;而且&#xff0c;通过装配层次结构的特定路径可以在视觉外观上赋予父/子覆盖。HOOPS ExchangeHOOPS Exchange可捕获有关来自各…
阅读更多...
新零售数字化商业模式如何建立？新零售数字化营销怎么做？

新零售数字化商业模式如何建立？新零售数字化营销怎么做？

随着零售行业增速放缓、用户消费结构升级&#xff0c;企业需要需求新的价值增长点进行转型升级&#xff0c;从而为消费者提供更为多元化的消费需求、提升自己的消费体验。在大数据、物联网、5G及区块链等技术兴起的背景下&#xff0c;数字化新零售系统应运而生。 开利网络认为&…
阅读更多...
让GPT人工智能变身常用工具-上

让GPT人工智能变身常用工具-上

1.密码生成器：GPT为您创建安全密码 想象GPT作为您的个人密码生成器，负责从头到尾为您创建复杂且安全的密码。您只需要告诉他您的密码需求，比如密码的长度，是否包含大写字母、小写字母、数字或特殊字符，他会立即为您生成一个复杂但经过深度设计的密码。 例子： 我希望您…
阅读更多...
数学学习总结

数学学习总结

最近在准备一场考试&#xff0c;通过这几个月的学习发现数学思维还是有待建立&#xff0c;逻辑性、熟练度、思维想象力还是不足&#xff0c;本身数学基础不扎实&#xff0c;要通过这场考试&#xff0c;需要更进一步努力&#xff0c;复习一轮后&#xff0c;看视频、看老师讲解都…
阅读更多...
Python 单继承、多继承、@property、异常、文件操作、线程与进程、进程间通信、TCP框架 7.24

Python 单继承、多继承、@property、异常、文件操作、线程与进程、进程间通信、TCP框架 7.24

单继承 class luban:def __init__(self, name):self.name nameself.skill "摸鱼飞弹"self.damageLevel 20def attack(self):print("{} 使用了技能{} &#xff0c;给敌方带来了极大的困扰\n""并有{}% 的机会造成一击必杀的效果".format(self.…
阅读更多...
Docker介绍以及实战教程

Docker介绍以及实战教程

Docker简介 Docker为什么出现 从事软件开发的朋友&#xff0c;可能经常会碰到以下场景&#xff1a;运维&#xff1a;你这程序有Bug啊&#xff0c;怎么跑不起来啊&#xff01;开发&#xff1a;我机子上能跑啊&#xff0c;你会不会用啊究其原因还是开发环境与生产环境不同造成的…
阅读更多...
【java安全】RMI

【java安全】RMI

文章目录 【java安全】RMI前言RMI的组成RMI实现Server0x01 编写一个远程接口0x02 实现该远程接口0x03 Registry注册远程对象 Client 小疑问RMI攻击 【java安全】RMI 前言 RMI全称为&#xff1a;Remote Method Invocation 远程方法调用&#xff0c;是java独立的一种机制。 RM…
阅读更多...
SoapUI、Jmeter、Postman三种接口测试工具的比较分析

SoapUI、Jmeter、Postman三种接口测试工具的比较分析

前段时间忙于接口测试&#xff0c;也看了几款接口测试工具&#xff0c;简单从几个角度做了个比较&#xff0c;拿出来与诸位分享一下。本文从多个方面对接口测试的三款常用工具进行比较分析&#xff0c;以便于在特定的情况下选择最合适的工具&#xff0c;或者使用自己编写的工具…
阅读更多...
CentOS 7.9 安装 MySQL Redis

CentOS 7.9 安装 MySQL Redis

CentOS 7.9 安装 MySQL Redis 安装包网上有 MySQL 使用远程连接工具连接 CentOS 服务器&#xff0c;将 MySQL 压缩包上传到服务器上。 根目录创建 app 文件夹&#xff0c;把JDK压缩包通过xftp传到目标服务器 cd /app #进入根目录 tar -xvf mysql-5.7.24-linux-glibc2.12-x…
阅读更多...
12.（开发工具篇vscode+git）vscode 不能识别npm命令

12.（开发工具篇vscode+git）vscode 不能识别npm命令

1&#xff1a;vscode 不能识别npm命令 问题描述&#xff1a; 解决方式&#xff1a; &#xff08;1&#xff09;右击VSCode图标&#xff0c;选择以管理员身份运行&#xff1b; &#xff08;2&#xff09;在终端中执行get-ExecutionPolicy&#xff0c;显示Restricted&#xff…
阅读更多...
展锐5G模块： NCM 多路网卡测试

展锐5G模块： NCM 多路网卡测试

本文档基于移远 Rx500U 模组 1&#xff09;AT指令查询和设置 a) 设置atqcfg"multiusbnet",2,0 产生2路网卡&#xff0c;网卡1对应PDP contex 1 , 网卡2对应PDP contex 2 rootubuntu:/home/# ls /dev/ttyUSB* /dev/ttyUSB0 /dev/ttyUSB1 /dev/ttyUSB2 /dev/ttyUSB3 …
阅读更多...
【主成分分析（PCA）】

【主成分分析（PCA）】

主成分分析&#xff08;PCA&#xff09; 摘要 在现代数据科学中&#xff0c;维度灾难常常是数据处理与分析的一大难题。主成分分析&#xff08;PCA&#xff09;是一种广泛使用的数据降维技术&#xff0c;它通过将原始数据转换为新的低维空间&#xff0c;保留最重要的信息&…
阅读更多...
最新文章

Copyright @ 2022~2023