大宗商品贸易集团数据治理实践,夯实数字基座 | 数字化标杆

某大型央企是首批全国供应链创新与应用示范企业,在“十四五”规划期内以聚焦供应链管理核心主业作为主要战略发展方向。供应链运营管理以大宗商品贸易为主,其交易往往具有交易量巨大、交易环节复杂、风险交易难识别、风险客商难管控等痛点。

随着集团数字化转型不断深化,数据应用方面的需求不断扩展。但集团缺乏统一的大数据资产管理平台,导致在数据应用方面,出现数据价值不凸显、数据标准不统一、数据质量不可控、数据共享不畅通等问题。

在此背景下,该集团引入袋鼠云数据治理团队,立足于打造全集团统一,能满足覆盖运管、风控、业务全过程数字化经营管理及分析决策的统一数据资产平台。对集团现有存量数据进行数据治理及挖掘,搭建数据管理体系,对增量数据进行有效管理和应用。通过梳理目前集团所有存量数据,提炼运营指标及管理指标,科学化管理公司数据资产和挖掘数据价值。

01 围绕“数据治理、数据服务、数据应用”的数据治理方案

袋鼠云根据集团提出的数据治理需求,结合内部现有数据开发平台,以业务应用场景为导向,形成集团统一的数据治理方案。项目以数据治理、数据服务、数据应用三大方向展开实施,其中数据应用以聚焦供应链运营管理业务为核心,数据服务以满足集团下属各子公司数据需求为主,数据治理以统一集团数据归集方式、数据质量标准、元数据维护标准、数据建模标准为目标进行建设。

其中数据治理设计的步骤为:确定当前项目的目标和范围,设计本轮数据治理的模式、架构和方法。以集团当前提出的数据需求场景出发,针对场景数据进行数据治理,主要包括以下几个步骤

1、架构设计

技术架构上,从场景需求出发,结合当前企业组织架构及数据权限出发,将数据中台设计为多项目空间加经典ODS、DWD、DWS、ADS四层结构,其中集团为主项目空间,其余业务供应链平台为子项目空间。另外,根据前期调研结果,结合当前集团业务范围,将业务根据业务主体进行了数据域的设计与划分,其中重点建设数据域为:

1)客商域:企业所服务的所有客户及供应商; 2)商品域:企业自营或代理商品,SKU; 3)交易域:客户与企业发生的所有交易行为,包括交易合同,订单,采购等; 4)风险域:企业发生诉讼,处罚等风险数据; 5)仓储物流域:所有仓库出入库,在途等信息; 6)公共域:系统码值,参数信息,组织架构,人员以及标准化映射信息。

通过分层与分域的设计,将集团原本传统数据架构转变为新数据架构,统一源端数据,建设公共事实层,建设服务层最后满足各个不同需求,有效解决传统数据架构存在的数据孤立,事实重复建设,资产盘点困难等问题,更适应当前集团发展阶段诉求。

file

2、数据统一归集

当前集团源端数据大体分为三类:第一种是传统业务数据,包含SAP系统、MDM系统、CRM系统、云链、高达、南北、OA等系统;第二种是第三方数据,包含船讯网、启信宝、行情数据、价格数据等;第三种是其他手工填报数据。

其中传统业务数据存在数据源多,数据量级分布不均,部分系统只能取得界面全量数据或为高度汇总报表数据等问题,使用数栈底层数据同步工具FlinkX将不同数据接入数据中台中。

第三方数据使用PySpark脚本任务,通过调取特定的API服务接口,完成数据的采集及简单清洗,接入数据中台。

手工填报数据通过完成填报报表的初步设计后,回流手工填报平台(当前使用饭软),进行定期同步、定期填报、定期回流采集的形式来完成数据的收集。

file

3、数据集中处理及标准设计

从架构设计出发,对已接入的源端数据,进行明细事实层的建模设计,进行指标体系的统计和收集。

明细事实层的建模设计秉持维度建模理念,根据不同的主题域,将ODS层数据进行特定范围的清洗,处理,加工后形成可复用性强的描述某一颗粒度下,某一业务行为的各项信息,纵向可以进行上钻下钻,横向可以对比。

针对指标层的加工处理,在引入数据中台之前,数据计算逻辑、指标口径都存放在SAP系统的代码中,无法进行有效复用。为了解决这一问题,根据指标体系设计方法论,统一定义指标体系的各信息(包含指标ID、指标名称、指标主题、业务口径、维度、修饰词、计算方式、计算频率、时间周期、业务对接人及开发负责人),在接下来企业的数据应用过程中,完成数据指标口径的收口和统一。

4、数据应用场景

数据应用场景以集团供应链运营管理为核心,分别对运营管理、物流管理、信用管理数据进行统一归集,按照业务指标逻辑进行数据处理开发,满足业务人员数据报表填报和数据统计分析应用场景。

运营管理场景:通过重新梳理SAP客户逾期、客户赊销、现货敞口库存等业务报表数据逻辑为基础,结合大数据平台从SAP底表取数能力,实现风险周报填报、签约情况分析、重大事项填报场景建设,有效减轻业务人员每周报表加工填报的工作压力,同时提高业务数据线上留存能力。

物流管理场景:以物流合同、物流供应商、供应商库点、库点库存、库点盘点记录数据为基础,进行统一汇聚处理,按照业务指标口径进行数据开发,实现物流合同看板、物流供应商看板、库点盘点密度看板、库存看板四大看板,为业务人员发现潜在风险和日常业务数据便捷查询提供有利条件。

信用管理场景:以客商授信额度、客商逾期、行业产品加工利润数据为核心,结合业务逻辑指标进行数据开发,实现授信额度跟踪、逾期数据分析、行业加工利润填报场景建设,为业务人员控制客商授信额度、发现客商潜在风险、明确当前各行业产品盈利情况提供有效支撑。

02 夯实数字基座,有效支撑数据应用

截至目前,集团数据中台共构建700余张表,数据执行任务总量500余个,其中ODS数据源始层同步任务200多个、DWD数据明细层清洗加工任务40多个、DWS数据汇总层汇总任务60多个、DIM数据维度层维度同步任务20多个、ADS数据应用层业务场景数据推送任务100多个。

满足集团供应链运管部物流仓储管理、客商信用管理、价格管理、运营管理等部门数据分析需求,实施搭建签约销售/采购看板、物流仓储看板、授信额度跟踪看板、逾期数据分析看板、运管风险逾期周报填报等业务场景。

《数栈产品白皮书》下载地址:https://www.dtstack.com/resources/1004?src=szsm

《数据治理行业实践白皮书》下载地址:https://www.dtstack.com/resources/1001?src=szsm

想了解或咨询更多有关大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=szcsdn

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/163260.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

猪肉罐头加工污水处理设备生产厂家价格

猪肉罐头加工污水处理设备生产厂家价格 设备原理 废水由收集管网收集,自流进入格栅渠,通过格栅除污机去除大块碎肉、漂浮物,入初沉池把有利于沉淀的非溶解物质加以沉淀,然后自流进入调节池,由调节池调节水量和均化水质…

五分钟搭建开源ERP:Odoo,并实现公网远程访问

文章目录 前言1. 下载安装Odoo:2. 实现公网访问Odoo本地系统:3. 固定域名访问Odoo本地系统 前言 Odoo是全球流行的开源企业管理套件,是一个一站式全功能ERP及电商平台。 开源性质:Odoo是一个开源的ERP软件,这意味着企…

小猪优版的前世今生:从籍籍无名到行业瞩目,再到骤变的风暴中心

1. 前世:籍籍无名到行业新星的崛起 小猪优版在初创时期,并不被大众所知。然而,它凭借对短视频行业的深度洞察,以及独特的商业模式,开始在这个领域崭露头角。它提供了一个平台,不仅助力内容创作者更好地展现…

使用whisper实现语音转文本

项目地址:GitHub - openai/whisper: Robust Speech Recognition via Large-Scale Weak Supervision 1、需要py3.8环境 conda activate p38 2、安装 pip install -U openai-whisper 3、下载项目 pip install githttps://github.com/openai/whisper.git 4、安装…

6:kotlin 空值安全(Null safety)

在Kotlin中,是可以有空值的。为了防止程序中出现空值问题,Kotlin实施了空值安全。空值安全在编译时而不是运行时检测到可能的空值问题。 空值安全是一组功能的组合,允许您: 明确声明程序中允许空值的地方。检查空值。对可能包含…

如何避免Steam搬砖项目中账号被盗

购买steam余额有风险吗?及N种被红锁的情况 相信最近很多人都已经听说过steam游戏搬砖这个项目,也叫CSGO游戏搬砖项目,还有人叫它:国外steam游戏汇率差项目,无论怎么称呼,都是同一个项目。 那么什么是stea…

2022-4-10 台大机器人学 轨迹

台大机器人学 运动学 轨迹规划 多段 linear function with parabolic blends 直线转二次曲线平滑过多个中间via points

Fuzzy c-means

Fuzzy c-means ​ 模糊C-均值聚类算法:是一种模糊聚类算法,是K均值算法聚类的推广形式,隶属度取值为[0,1]区间内的任意一个数,提出的基本依据是“类内加权误差平方和最小化”准则。 ​ 这两个方法都是迭代求取最终的聚类划分&am…

泼天的富贵来啦,快带着你的PMP证书一起迎接

考过PMP认证的威宝们,这波泼天的富贵大家一定要接住呀! 很多威宝们在学习PMP之前都在担心,这个证书含金量高吗?转岗跳槽用得上吗?有必要考吗?今天,喜番大声地告诉大家:含金量高&…

Class文件转Java文件

目录 1、下载一个反编译工具2、在文件夹下打开命令窗口3、在此目录下随意建一个文件夹4、在打开的命令窗口输入命令5、返回解压目录下 1、下载一个反编译工具 下载链接:https://varaneckas.com/jad/ 下载的是第一个 下载后放至任意目录下解压即可 2、在文件夹下打…

夜天之书 #88 Elastic License 2.0 与开源协议的发展

译序 我在此前的多篇文章中讨论了商业开源的话题: 《企业开源的软件协议模型实践》《企业实践开源的动机》《商业源码协议为何得到 HashiCorp 等企业的垂青?》《企业如何实践开源协同》《中国不缺好的开源开发者》“商业探索与可持续”一节《开源不是商业…

JetLinks设备接入的认识与理解【woodwhales.cn】

为了更好的阅读体验,建议移步至笔者的博客阅读:JetLinks设备接入的认识与理解 1、认识 JetLinks 1.1、官网文档 官网:https://www.jetlinks.cn/ JetLinks 有两个产品:JetLinks-lot和JetLinks-view 官方文档: JetLi…

【自然语言处理】正向最大匹配算法(FMM),反向最大匹配算法(BMM)和双向最大匹配算法(BM)原理及实现

目录 一,正向最大匹配算法(FMM) 二,反向最大匹配算法(RMM) 一,正向最大匹配算法(FMM) 正向最大匹配分词(Forward maximum matching segmentation)通常简称为…

没有PDF密码,如何解密?

PDF文件有两种密码,一个打开密码、一个限制编辑密码,因为PDF文件设置了密码,那么打开、编辑PDF文件就会受到限制。忘记了PDF密码该如何解密? PDF和office一样,可以对文件进行加密,但是没有提供恢复密码的功…

powshell 不能运行脚本

1、先执行: Set-ExecutionPolicy -Scope CurrentUser 2、再输入: remotesigned

win10下安装gcc

win10下安装gcc 一、gcc是什么? 1.1、安装gcc 第一次安装,记录一下 一、gcc是什么? GNU编译器套件(GNU Compiler Collection)包括C、C、Objective-C、Fortran、Java、Ada和Go语言的前端,也包括了这些语言的库(如libstdc、libgcj等等…

mac电脑文件比较工具 UltraCompare 中文for mac

UltraCompare是一款功能强大的文件和文件夹比较工具,用于比较和合并文本、二进制和文件夹。它提供了丰富的功能和直观的界面,使用户能够轻松地比较和同步文件内容,查找差异并进行合并操作。 以下是UltraCompare软件的一些主要特点和功能&…

为什么程序员不直接用线上环境写代码呢?

为什么程序员不直接用线上环境写代码呢? 有的,我就是直接用Linux作为主力电脑使用,大概从201 6年起,我就开始这样干了。无论是编 程、画电路板、画UI、剪视频.... 都在Linux上面完成。 编程工具大部分都有Linux版本,…

【【Linux 常用命令学习 之 一 】】

Linux 常用命令学习 之 一 打开终端之后的 我们会了解 所使用的 字符串含义 其中前面的 zhuxushuai 是 当前的用户名字 接下来的 zhuxushuai-virtual-machine 是 机器名字 最后的符号 $表示 当前是普通用户 输入指令 ls 是打印出当前所在目录中所有文件和文件夹 shell 操…

使用css代码防止图片被拖拽的教程

在网页中,我们经常使用图片来美化页面或辅助内容呈现,但有时用户会无意中拖拽图片,这会对页面布局或其他元素产生意想不到的影响。为了防止这种情况,我们可以使用CSS来禁止图片被拖拽。 img {-webkit-user-drag: none;-moz-user-d…