从数据中台到上层应用全景架构示例

一、前言

对于大型企业而言,数据已经成为基本的生产资料,但是有很多公司还是值关心上层应用,而忽略了数据的治理,从而并不能很好的发挥公司的数据资产效益。比如博主自己是做后端的,主要是做应用层,也就是各种web系统,公司本身积累了很多数据,但是公司并没有在上面投入太多的成本区治理,所以看上去还是比较像传统的企业,看不到智能化,也看不到智慧化,平时的web系统仅仅能解决日常经营管理和对外服务。

二、从数据中台到上层应用全景架构

1、数据中台架构示例

数据中台的实施内容包括基础数据治理、数据仓库建设、数据分析展现等内容,通过平台建设实现企业数据的整合汇聚,构建数据中心,基于数据进行分析展现、透视业务、价值挖掘,有效支撑企业的业务发展。

数据中台包括DAP、MDM、ESB、Portal等产品,整体架构图如下:

DAP数据分析平台作为数据分析的核心,完成数仓建设、数据分析两部分内容,数仓通过ODS、DW构建数仓模型,实现分层建设,并能进行数据集、立方体等分析模型的配置,从而支持基于业务主题和业务指标的可视化分析。ESB作为数据集成平台,实现源头系统到ODS以及ODS到DW数据抽取、加工、转换,完成数据汇聚的过程。MDM基础数据平台则实现基础数据治理,为数仓提供基础数据支撑,构建数仓维表。Portal门户集成平台作为统一入口和应用中台,将数据治理、数据分析过程中的关键内容汇总到统一入口进行展现和管理,提高平台的使用效率,提升数据管理能力。

数据中台项目实施内容包括基础数据治理、数仓体系规划、数据分析展现、综合门户集成等内容,在项目实施过程中,要全面了解相关业务和场景,对实施内容进行梳理规划。

1.基础数据治理:明确各类基础数据的来源以及管理维护方式,通过数据中台的主数据平台实现基础数据的统一管理,建立基础数据的管理、集成标准,保证基础数据的一致性;

2.数仓体系规划:基于核心业务场景和业务流程,梳理关键数据指标,建立数据指标体系,并基于数据指标规划企业数仓体系,实现企业数据的集成整合、加工汇总,而数据分析、数据挖掘、业务监控提供数据支持;

3.数据分析展现:以核心业务和数仓、指标为基础,根据业务管理需要,规划主题、指标、数据的展现效果,实现可视化分析和指标监控;

4.综合门户集成:根据业务和管理需要,将数据指标、数据分析、数据治理等内容的关键点整合到门户中统一展现,同时以综合门户最为统一访问入口,规划统一用户、统一认证等标准体系,提升数据中台的应用效果。

2、上层应用架构示例

 旅通借助各事业群以及自身产生的,包含基础信息、消费行为、社交媒体行为、消费偏好等数据。通过OneID打通整合,形成“大数据”的规模效应,进而加工可靠的会员标签/分级/分群信息,完成会员360°识别。

搭建会员平台的核心主线,历练 精细化运营成长线,助力事业群赋能的发展线,具体说明:
会员体系:会员分级/分层,针对性的会员精细化运营,将80%核心资源投入到20%的头部用户;
会员服务:平台在信息整合、消费购物、 客服服务方面,提供极致的会员服务;
数据化运营:培育并找到核心的忠诚度用户,挖掘会员终身价值。打造平台的基本盘;
引流:可分为事业群存量、集团员工、战略合作企业员工、工会会员、自然流量、公域渠道引流等;
事业群赋能:找到事业群赋能的可持续发展线。 

三、Java全栈开发

Java全栈开发是指具备从前端到后端、从数据库到应用服务器的全方位开发能力的Java开发者。全栈开发不仅仅是掌握多种技术,更是能够将这些技术融会贯通,以高效、高质量的方式构建完整的应用程序。

前端开发

  1. HTML/CSS:掌握HTML的基本结构和CSS的样式设计,实现页面布局和样式。
  2. JavaScript:熟悉JavaScript语言,能够编写基本的交互逻辑和动态效果。
  3. 前端框架:了解至少一种前端框架,如React、Vue或Angular,能够使用框架构建复杂的前端应用。

后端开发

  1. Java核心知识:深入理解Java语言特性,包括面向对象编程、集合框架、异常处理、多线程等。
  2. Java Web开发:掌握Servlet和JSP技术,了解MVC设计模式,能够使用Spring MVC或Spring Boot构建Web应用。
  3. 数据库:熟悉关系型数据库如MySQL、Oracle,了解SQL语言,能够设计数据库结构和编写查询语句。
  4. 持久层框架:掌握如MyBatis或Hibernate等持久层框架,实现数据访问层的封装和优化。

应用服务器与中间件

  1. Tomcat/Jetty:了解Tomcat或Jetty等Web服务器的配置和使用。
  2. 消息中间件:如Kafka、RabbitMQ等,了解消息队列的原理和使用场景。
  3. 缓存:如Redis、Memcached等,掌握缓存机制和使用方法,提高应用性能。

分布式与微服务

  1. Spring Cloud:了解Spring Cloud生态,包括服务发现、负载均衡、配置中心等微服务治理组件。
  2. Docker与Kubernetes:掌握容器化技术和容器编排工具,实现应用的快速部署和扩展。
  3. API网关:了解API网关的作用和实现原理,能够使用如Spring Cloud Gateway等工具构建API网关。

安全性

  1. Web安全:了解常见的Web安全漏洞和防范措施,如SQL注入、XSS等。
  2. 加密与认证:掌握基本的加密技术和认证机制,如SSL/TLS、OAuth等。

性能优化与监控

  1. 性能调优:了解Java应用的性能瓶颈和优化方法,如JVM调优、数据库优化等。
  2. 监控与日志:掌握应用监控和日志分析技术,能够定位和解决性能问题。

自动化与测试

  1. 自动化构建:使用Maven或Gradle等构建工具实现项目的自动化构建和依赖管理。
  2. 单元测试与集成测试:掌握JUnit等测试框架,编写高质量的测试用例,确保代码质量。

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/817288.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

计算机网络 Cisco路由信息协议(RIP)实验

一、实验内容 1、命名 2、关闭域名解释 3、设置路由器接口IP地址 4、根据要求配置RIP以实现所有客户机都能相互通信 5、配置默认路由 二、实验数据处理 1、建立拓扑图 2、PC机地址配置 主机IP地址子网掩码网关PC110.23.1.2255.255.255.010.23.1.1PC210.23.1.3255.255.2…

OR36 链表的回文结构

描述 对于一个链表,请设计一个时间复杂度为O(n),额外空间复杂度为O(1)的算法,判断其是否为回文结构。 给定一个链表的头指针A,请返回一个bool值,代表其是否为回文结构。保证链表长度小于等于900。 测试样例: 1->…

代码随想录算法练习Day13:有效的字母异位词

题目: 给定两个字符串 s 和 t ,编写一个函数来判断 t 是否是 s 的字母异位词。 注意:若 s 和 t 中每个字符出现的次数都相同,则称 s 和 t 互为字母异位词。 题目链接:242.有效的字母异位词 卡哥的视频讲解&#xff…

SCM供应链一体化平台:增强企业竞争力的必备利器

SCM供应链一体化平台是一种集成的软件系统,用于管理和优化企业的供应链活动。它将供应链中的各个环节,如采购、生产、物流、销售等,整合在一个统一的平台上,实现信息共享、协同工作和流程优化。 SCM供应链一体化平台的主要功能包括…

Linux/Iclean

Iclean Enumeration nmap 先使用默认规则扫描常用的端口,发现对外开放了 22 和 80 端口,然后扫描这两个端口的详细信息,结果如下,很常规的结果,没发现什么有趣的东西 ┌──(kali㉿kali)-[~/vegetable/HTB/Iclean] …

Appium 并发测试之 python 启动 appium 服务

python 启动appium服务,需要使用subprocess模块,该模块可以创建新的进程,并且连接到进程的输入,输出,错误等管道信息,并且可以获取进程的返回值 测试场景 使用python启动2台appium服务,端口配置…

永久关闭 Windows 11 系统更新

永久关闭 Windows 11 系统更新 请注意,关闭系统更新可能会使您的系统面临安全风险。确保您了解可能的后果,并在必要时考虑重新启用更新。 使用组策略编辑器(仅限 Windows 11 Pro 和 Enterprise 版) 步骤 1:打开本地…

Unsupervised Learning ~ Anomaly detection

unusual events vibration: 振动 Density estimation: Gaussian(normal) Distribution. standard deviation: 标准差 variance deviation sigma Mu Parameter estimation Anomaly detection algorithm 少量异常样本点的处理经验 algorithm evaluation skewed datatsets:…

【第十五届】蓝桥杯省赛C++b组

今年的蓝桥杯省赛已经结束了,与以往不同,今年又回到了8道题,而22,23年出现了10道题 大家觉得难度怎么样,欢迎进来讨论,博主今年没参加哈,大家聊聊,我听听大家的意见和看法哈 试题A:…

HTML制作跳动的心形网页

作为一名码农 也有自己浪漫的小心思嗷~ 该网页 代码整体难度不大 操作性较强 祝大家都幸福hhhhh 效果成品&#xff1a; 全部代码&#xff1a; <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN"> <HTML><HEAD><TITLE> 一个…

静电对集成电路封装的危害及防范措施

在现代工业生产中&#xff0c;静电已经成为一个不可忽视的问题。特别是在集成电路&#xff08;IC&#xff09;封装领域&#xff0c;静电可能对产品质量和生产效率造成严重的影响。本文将探讨静电对IC封装的危害&#xff0c;并介绍一些防范措施以减少静电带来的风险。 静电对IC封…

ubuntu下的串口调试工具cutecom

系统&#xff1a;ubuntu20.04 &#xff08;1&#xff09;接线 使用 rs485&#xff1c;-----> rs232 转接口&#xff08; 设备直接出来的是rs485&#xff09;&#xff0c;电脑主机接入一根 rs232&#xff1c;-----> USB口 连接线&#xff0c;ubuntu系统下打开 termin…

【深入理解Java IO流0x09】解读Java NIO核心知识(下篇)

1. NIO简介 在开始前&#xff0c;让我们再简单回顾一下NIO。 在传统的 Java I/O 模型&#xff08;BIO&#xff09;中&#xff0c;I/O 操作是以阻塞的方式进行的。也就是说&#xff0c;当一个线程执行一个 I/O 操作时&#xff0c;它会被阻塞直到操作完成。这种阻塞模型在处理多…

2024/4/15 AD/DA

AD&#xff08;Analog to Digital&#xff09;&#xff1a;模拟-数字转换&#xff0c;将模拟信号转换为计算机可操作的数字信号 DA&#xff08;Digital to Analog&#xff09;&#xff1a;数字-模拟转换&#xff0c;将计算机输出的数字信号转换为模拟信号 AD/DA转换打开了计算…

风控迁徙率报表逻辑和开发(Python)

出品人&#xff1a;东哥起飞 原创&#xff1a;&#x1f449;原创大数据风控课程《100天风控专家》 一、迁徙率介绍 什么是迁徙率呢&#xff1f; 我们说&#xff0c;一个账户现在处于某一逾期状态&#xff08;比如M1&#xff09;&#xff0c;一个月后&#xff0c;这个账户要么…

vscode只修改几行,git却显示整个文件都被修改

原因&#xff1a;不同的操作系统默认的回车换行符是不一样的&#xff0c;有些编辑器会自动修改回车换行&#xff0c;然后就整个文件都变化了。 Unix/Linux/Mac使用的是LF&#xff0c;但Windows一直使用CRLF【回车(CR, ASCII 13, r) 换行(LF, ASCII 10, n)】作为换行符。 解决&a…

Zookeeper(从入门到掌握)看完这一篇就够了

文章目录 一、初识 Zookeeper1.Zookeeper 概念2.Zookeeper 数据模型3.Zookeeper 服务端常用命令4.Zookeeper 客户端常用命令 二、ZooKeeper JavaAPI 操作1.Curator 介绍1.Curator API 常用操作&#xff08;1&#xff09;建立连接&#xff08;2&#xff09;添加节点&#xff08;…

使用 Docker 部署 instantbox 轻量级 Linux 系统

1&#xff09;instantbox 介绍 GitHub&#xff1a;https://github.com/instantbox/instantbox instantbox 是一款非常实用的项目&#xff0c;它能够让你在几秒内启动一个主流的 Linux 系统&#xff0c;随起随用&#xff0c;支持 Ubuntu&#xff0c;CentOS&#xff0c; Arch Li…

css面试题之flex实现麻将三饼布局

麻将应该很多人都熟悉吧&#xff0c;那如何通过flex布局尽可能使用少的节点来实现“三饼&#xff08;也有人管它叫桶&#xff09;”的效果呢&#xff1f;&#xff08;ps:麻将牌效果如下&#xff09; 实现步骤&#xff1a; 1.首先先通过flex修饰外层容器&#xff0c;内部的三个…

高风险IP的来源及其影响

随着互联网的发展&#xff0c;网络安全问题越来越引人关注。其中&#xff0c;高风险IP的来源成为了研究和讨论的焦点之一。高风险IP指的是那些经常涉及到网络攻击、恶意软件传播以及其他不良行为的IP地址。它们的存在不仅对个人和组织的网络安全构成威胁&#xff0c;还可能给整…