系统架构图设计(行业领域架构)

物联网

  • 感知层:主要功能是感知和收集信息。感知层通过各种传感器、RFID标签等设备来识别物体、采集信息,并对这些信息进行初步处理。这一层的作用是实现对物理世界的感知和初步处理,为上层提供数据基础
  • 网络层:网络层负责处理和传输感知层收集到的信息。它利用互联网、传统电信网等作为信息传输的载体,将数据传输到数据中心或控制系统进行处理和存储。网络层的主要作用是实现数据的传输和融合,为应用层提供稳定可靠的数据服务。
  • 应用层:这是物联网的最顶层,直接与用户交互。应用层利用经过分析处理的感知数据,构建面向各行业实际应用的管理平台和运行平台,为用户提供特定的功能和服务。例如,在智能家居、智能交通、智能医疗等领域,应用层将物联网技术与具体行业需求相结合,实现便捷、高效的服务。

        这三层架构相互依存、相互支持。感知层提供数据基础,网络层负责数据传输和处理,而应用层则将物联网技术应用于具体行业,为用户提供丰富的功能和服务。这种分层架构使得物联网具有很好的可扩展性和灵活性,可以根据不同行业和用户需求进行定制化开发和应用

大数据

Lambda 架构

 lambda 架构主要由三个层次组成:批处理层、加速层、服务层

  • 批处理层(batch Layer)
    • 存储数据集,预计算查询函数,构件批视图
    • 离线处理,结果精确、全量,处理时延高
  • 加速层(Speed Layer)
    • 处理最近的增量数据流,不断更新实时视图
    • 实时处理,结果可能不准,非全量,处理时延低
  • 服务层(Serving Layer)
    • 合并批处理和实时视图中的结果数据集到最终数据集

  • Hadoop: Hadoop 是一个开源的分布式计算平台,由Apache软件基金会开发和支持。它允许分布式处理大规模数据集,主要应用于大数据的存储和计算。
    • HDFS: HDFS 是Hadoop 的存储系统,它能够横跨多个物理服务器存储大量数据。HDFS 采用主从架构,由一个主节点(NameNode)和多个数据节点(DataNode)组成。NameNode负责维护文件系统的命名空间和文件到数据块的映射,而DataNode 负责存储实际的数据并处理客户端的数据读写请求。
    • MapReduce:MapReduce 是Hadoop 的原生计算框架,用于大规模数据处理。MapReduce作业由Map任务和Reduce 任务组成,这些任务在Hadoop 集群上并行运行,处理存储在HDFS 中的数据。
    • Hive:Hive是一个建立在Hadoop之上的数据仓库工具,它可以将结构化的数据文件映射为一张数据库表。它允许用户使用类似SQL的查询语言(HiveQL)来查询数据
    • Sqoop:Sqoop是一个用于在Hadoop和结构化数据存储(如关系数据库)之间传输大量数据的工具;它主要用于在Hadoop和关系数据库之间进行数据迁移
  • Spark:Apache Spark 是一个通用的、基于内存的分布式计算引擎,用于大规模数据处理。它的核心原理是将数据分散到多台计算机上并在这些计算机上并行执行计算任务,从而实现高效的数据处理和分析
    • Spark Streaming:spark streaming 是Spark 提供的流处理模块,它可以处理来自实时数据源的数据流,并将其转换为可供分析和存储的批处理数据
  • ImpalaImpala是一个开源的大数据查询引擎,由Cloudera开发,用于高性能、低延迟的交互式SQL查询处理。它可以直接在HDFS或HBase上执行查询,而无需数据转换或移动
  • Hbase:HBase是一个开源的、非关系型分布式数据库,它是Apache软件基金会的一个项目。它基于Google的BigTable模型,用于提供对大规模数据集的随机实时读/写访问
  • ETL:是一种数据处理过程,包括数据的抽取,转换,加载过程
  • Kafka:Kafka是一个开源流处理平台,主要用于构建实时的数据流和消息队列系统
  • Flume:Apache Flume是一个分布式、可靠且可用的服务,用于有效地收集、聚合和移动大量日志数据;它适用于日志数据的收集,可以将数据从各种源传输到中心数据存储(如HDFS)
  • Nginx:Nginx是一款轻量级的Web服务器/反向代理服务器

Kappa 架构

Kappa架构为两层架构分为实时层、服务层

  • 实时层
    • 处理输入数据,生成实时视图
  • 服务层
    • 使用实时视图中的结果数据集响应用户请求

ODS、DWD 和 DWS 是数据分层体系结构中的术语,它们代表不同类型的数据存储和处理层

  • ODS (Operational Data Store,操作数据存储):ODS 是一种数据存储系统,用于存储最近的、细粒度的、经过少量处理的业务数据;它通常用于日常运营报告和分析,数据在 ODS 中是面向事务的,反映了最新的业务操作状态;ODS 可以用于快速查询和实时决策支持,同时也可以作为数据仓库的数据源
  • DWD (Data Warehouse Detail,数据仓库明细层):DWD 是数据仓库中的一个层次,它存储了经过清洗、转换和集成的详细业务数据;这一层的数据通常是事务级别的,用于支持详细数据分析,也是构建更高层次汇总数据的基础;DWD 的设计目的是为了长期存储、历史分析和数据挖掘
  • DWS (Data Warehouse Summary,数据仓库汇总层):DWS 是数据仓库中的汇总数据层,它包含了从 DWD 中聚合而来的数据;这一层的数据通常是按照某些维度(如时间、地区、产品等)进行汇总的,用于快速生成报告和仪表盘。DWS 旨在提供高效的数据查询性能,特别是对于需要汇总数据的复杂查询

  • 计算集群CDH:CDH是由Cloudera提供的一个企业级大数据平台,它包括了Apache Hadoop及其众多相关开源项目。
  • ElasticSearch:ElasticSearch是一个高度可扩展的开源全文搜索和分析引擎,它允许你快速地存储、搜索和分析大量数据。
  • OpenTSDB:OpenTSDB(Time Series Database)是一个可扩展的监控解决方案,用于存储和服务器的时间序列数据,通常用于监控大规模系统。
  • Flink:Apache Flink 是一个开源流处理框架,用于在高吞吐量和低延迟的情况下处理有界和无界数据流。Flink 旨在提供高效、可靠、可伸缩的大数据处理解决方案,并且以其流处理能力而著称。

边缘计算

  • 边缘计算:将数据的处理、应用程序的运行以及一些功能服务的实现,由网络中心下放到网络边缘节点上
  • 云计算中心:云计算中心是指一种提供云计算服务的物理设施,它包含了大量的服务器和网络设备,用于存储、处理和分发大量数据。
  • 边缘数据中心:边缘数据中心是相对于传统集中式数据中心而言的,它位于网络的边缘,更靠近数据源和用户
  • 云边缘计算:云边缘计算是一种将云计算资源和能力扩展到网络边缘的架构,旨在将云计算中心的强大计算能力和边缘数据中心的低延迟特性结合起来
  • 边缘网关:边缘网关是位于云计算中心和边缘数据中心之间的设备,它负责连接各种终端设备和云资源
  • AIoT(人工智能物联网)盒子:是一种集成多种技术的智能设备,它结合了人工智能和物联网技术,广泛应用于各种行业和场景

嵌入式

  • RTOS:嵌入式RTOS是一种专门为嵌入式系统设计的操作系统,它能够提供实时计算能力,即系统必须确保在规定的时间内完成特定任务的处理
  • BSP:BSP是针对特定硬件平台(通常是嵌入式系统)的软件集合,它为操作系统提供了与硬件交互的接口。BSP的作用类似于PC上的硬件驱动程序,但通常更加复杂,因为它涉及到硬件初始化、配置和抽象。

宏内核架构

  • 宏内核:宏内核是一种传统的操作系统设计,在这种设计中,操作系统的所有核心功能都运行在单一的内核空间中,并且都享有内核态的权限。
  • 特点:
    • 集中式:所有的系统服务,如进程管理、文件系统、设备驱动和内存管理等,都集成在内核空间中。
    • 性能:由于所有的服务都在内核空间直接运行,宏内核通常可以实现较高的性能。
    • 简单性:相对于微内核,宏内核的结构相对简单,因为所有的服务都在同一个地址空间中运行。
    • 稳定性:宏内核的稳定性通常依赖于各个组件的稳定性和正确性,一旦某个组件出现问题,可能会影响到整个系统的稳定性。
  • 优点:
    • 效率高:由于所有服务都在内核空间直接运行,减少了用户空间和内核空间之间的切换,从而提高了效率。
    • 易于实现:宏内核的设计和实现通常比微内核简单。
  • 缺点:
    • 可扩展性差:增加新的系统服务通常需要修改内核代码,这可能涉及到复杂的内核修改过程。
    • 安全性问题:由于所有服务共享同一个地址空间,一个服务的故障可能会导致整个系统的崩溃。

微内核架构

  • 微内核:微内核是一种精简的操作系统设计,它只包含最基本的系统服务,如进程和线程管理、通信机制等,而将其他服务(如文件系统、设备驱动等)移到用户空间中运行。
  • 特点:
    • 模块化:微内核仅提供最基本的服务,其他服务作为独立的进程在用户空间运行。
    • 安全性:由于大部分服务在用户空间运行,即使服务崩溃,也不会影响到内核本身。
    • 可扩展性:添加或修改服务不需要修改内核,只需要在用户空间进行,这使得系统更加灵活和可扩展。
  • 优点:
    • 更高的安全性:由于用户空间的服务崩溃不会影响内核,系统的安全性得到了提升。
    • 更好的可扩展性:可以轻松添加或更新系统服务,而不需要重新编译内核。
  • 缺点:
    • 性能开销:微内核设计通常会导致更多的用户空间和内核空间之间的切换,这可能会带来性能开销。
    • 复杂性:微内核的通信机制比宏内核复杂,这可能导致实现上的困难。

信息系统

  • 战略系统:战略系统是指支持企业或组织的长期战略目标和决策的系统。这些系统通常涉及高级管理层的决策支持和战略规划。
    • 应用:企业资源规划系统(ERP)、战略管理信息系统、大数据分析平台
  • 业务系统:业务系统是指直接支持企业日常运营和管理的系统。这些系统通常与组织的核心业务流程紧密相关。
    • 应用:客户关系管理(CRM)系统、供应链管理(SCM)系统、人力资源管理(HRM)系统
  • 应用系统:应用系统是指为特定用户或部门提供特定功能的软件系统。这些系统通常是业务系统的组成部分,或者是为特定任务设计的。
    • 应用:邮件管理系统、财务会计软件、数据库管理系统
  • 企业信息基础设施:指根据企业当前业务和可预见的发展趋势,及对信息采集、处理、存储和流通的要求,构筑由信息设备、通信网络、数据库、系统软件和支持性软件等组成的环境
    • 技术基础设施:计算机、网络、系统软件、支持性软件、数据交换协议
    • 信息资源设施:数据与信息本身、数据交换的形式与标准、信息处理方法
    • 管理基础设施:组织结构、人员的分工、管理方法与规章制度

TOGAF

  • TOGAF:开放式企业架构框架标准,为标准、方法论和企业架构专业人员之间的沟通提供一致性保障。
    • 架构能力框架:架构能力框架是指在企业内部建立和维护有效的企业架构实践所需的一套组织结构、流程、角色、技能和工具。
    • 架构开发方法:架构开发方法(ADM)是TOGAF的核心,它提供了一套企业架构的开发和实施流程。
    • 架构内容框架:架构内容框架定义了企业架构文档的结构和内容,确保了架构工作的连贯性和一致性。
    • 企业连续体及各种工具:企业连续体是一个概念,它描述了企业架构中不同类型的架构资产的范围和成熟度。
    • ADM 指南和技术:ADM指南和技术提供了在执行ADM各个阶段时使用的具体方法和技巧。
    • TOGAF 参考模型:TOGAF参考模型是一套预定义的架构模型,用于帮助企业架构师在设计和实施企业架构时保持一致性。

通信系统

  • 信息系统架构一般分为三个层次:接入层、汇聚层、核心层
  • 接入层:
    • 通常将网络中直接面向用户连接或访问网络的部分称为接入层,目的是允许终端用户连接到网络,主要解决相邻用户之间的互访需求,并且为这些访问提供足够的带宽。
    • 接入层还应当适当负责一些用户管理功能(如地址认证、用户认证、计费管理等),以及用户信息收集工作(如用户的Ip地址、MAC 地址、访问日志等)
  • 汇聚层:
    • 是核心层和接入层的分界面,完成网络访问策略控制、数据包处理、过滤、寻址,以及其他数据处理的任务。汇聚层交换机是多台接入层交换机的汇聚点,它必须能够处理来自接入层设备的所有通信量,并提供到核心层的上行链路,因此,汇聚层与核心层比较具有更高的性能、更少的接口和更高的交换速率
  • 核心层:
    • 网络主干部分称为核心层,核心层的主要目的是在于通过告诉转发通信,提供优化,可靠的骨干传输结构。因此,核心层交换机应拥有更高的可靠性,性能和吞吐量。在纯粹的数据分层设计中,核心层只完成数据交换的特殊任务
    • 需要根据网络需求的地理距离、信息流量和数据负载的轻重来选择核心层技术,常用的技术包括ATM、100Base-Fx和千兆以太网等。在主干网中,考虑到高可用性的需求,通常会使用双星(树)结构,即采用两台同样的交换机,与汇聚层交换机分别连接,并使用链路聚合技术实现双机互联。
    • 核心层的设备采用双机冗余热备份是非常必要的,也可以使用负载均衡功能来改善网络性能。

安全体系架构

系统安全架构

  • 信息安全体系架构,具体可从以下5个方面展开安全体系的架构设计工作
    • 物理安全(前提):包括环境安全、设备安全、媒体安全
    • 系统安全(基础):包括网络结构安全、操作系统安全、应用系统安全
    • 网络安全(关键):包括访问控制、通信保密、入侵检测、网络安全扫描、防病毒
    • 应用安全:包括资源共享、信息存储
    • 安全管理:包括健全的体制,管理平台,人员安全防范意识

网络安全架构

  • OSI(开放式系统互联)安全体系架构:是国际标准化组织(ISO)为了在开放系统中提供安全服务而定义的一套框架。这个架构在OSI参考模型的基础上增加了安全相关的层次和组件。OSI安全体系架构通常与OSI模型的前七个层次相对应,并增加了安全服务、安全机制等方面的内容。

区块链

        区块链是一种基于去中心化、分布式账本技术的数据存储和传输方式,以链式数据结构为基础,通过密码学算法保证数据传输和访问的安全。

数字孪生

  • 本质:数字孪生是一个虚拟模型,用于表示物理对象、系统或过程
  • 功能:它基于物理对象和实时数据,进行状态检测、分析和预测
  • 实现:数字孪生通过数据和模型的集成,实现物理和虚拟之间的交互和反馈
  • 应用:数字孪生的应用领域广泛,包括工业制造、智慧城市、医疗保健等

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/58448.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

sublime Text中设置编码为GBK

要在sublime Text中设置编码为GBK,请按照以下步骤操作 1.打开Sublime Text编辑器, 2.点击菜单栏中的“Preferences”(首选项)选项,找打Package Control选项。 3.点击Package Control,随后搜索Install Package并点击,如下图 4.再…

为什么数据库连接很消耗资源?

1背景 开发应用程序久了,总想刨根问底,尤其对一些有公共答案的问题。大家都能解释,但是追根究底,都解释不清。凡是都有为什么,而且用数字说明问题是最直观的。 本文主要想探究一下连接数据库的细节,尤其是…

目标检测:YOLOv11(Ultralytics)环境配置,适合0基础纯小白,超详细

目录 1.前言 2. 查看电脑状况 3. 安装所需软件 3.1 Anaconda3安装 3.2 Pycharm安装 4. 安装环境 4.1 安装cuda及cudnn 4.1.1 下载及安装cuda 4.1.2 cudnn安装 4.2 创建虚拟环境 4.3 安装GPU版本 4.3.1 安装pytorch(GPU版) 4.3.2 安装ultral…

链表(数据结构)

一. 单链表 1.1 概念与结构 再上一篇中我们讲到顺序表,但是顺序表也是有很多的问题,像申请的空间过多过少或者增容该才能不浪费空间,今天我们就来认识一个新的知识,叫做链表,链表也是线性表的一种,链表是…

Docker本地安装Minio对象存储

Docker本地安装Minio对象存储 1. 什么是 MinIO? MinIO 是一个开源的对象存储服务器。这意味着它允许你在互联网上存储大量数据,比如文件、图片、视频等,而不需要依赖传统的文件系统。MinIO 的特点在于它非常灵活、易于使用,同时…

数据结构算法学习方法经验总结

DSA:Data Structures, Algorithms, and Problem-Solving Techniques 三大核心支柱 一次学习一个主题,按照如下顺序学习 如何开始学习新的主题 学习资源 https://www.youtube.com/playlist?listPLDN4rrl48XKpZkf03iYFl-O29szjTrs_O (Algorithms) https://ww…

Java程序设计:spring boot(13)——全局异常与事务控制

1 Spring Boot 事务支持 在使⽤ Jdbc 作为数据库访问技术时,Spring Boot框架定义了基于jdbc的PlatformTransaction Manager 接⼝的实现 DataSourceTransactionManager,并在 Spring Boot 应⽤ 启动时⾃动进⾏配置。如果使⽤ jpa 的话 Spring Boot 同样提供…

vue2和vue3在html中引用组件component方式不一样

我的vue版本是&#xff1a;20.17.0 一、在HTML中&#xff0c;引用组件格式区别。 vue2引用组件可以是file.vue格式&#xff0c;需要导入&#xff1a;<script src"https://unpkg.com/http-vue-loader"></script>才可以识别vue格式。 vue3引用组件格式是…

量子容错计算

基本思想 容错量子计算的基本想法是&#xff0c;在合理编码后的量子态上直接量子计算&#xff0c;以至于不完全需要解码操作。假设有一个简单的量子电路&#xff0c;但不幸的是噪声影响着这个电路的每一个元件&#xff0c;包括量子态的制备、量子逻辑门、对输出的测量&#x…

Redis 哨兵 总结

前言 相关系列 《Redis & 目录》《Redis & 哨兵 & 源码》《Redis & 哨兵 & 总结》《Redis & 哨兵 & 问题》 参考文献 《Redis的主从复制和哨兵机制详解》《Redis中的哨兵&#xff08;Sentinel&#xff09;》《【Redis实现系列】Sentinel自动故…

怎样取消默认逐份打印

如果你遇到打印任务不完成&#xff0c;无法打印下一张的情况&#xff0c;可以尝试下面步骤解决问题&#xff1a; 取消勾选 逐份打印 1、检查打印机状态&#xff1a; 确保打印机与电脑处于联机状态&#xff0c;指示灯应常亮&#xff1b; 2、取消“逐份打印”&#xff1a; 打…

音视频如何轻松转换?来看看这四款工具:

在这个数据普及的时代&#xff0c;视频图片文字等形式的记录&#xff0c;变成了我们习以为常&#xff0c;而传统的文字往往具有搞得信息密度和更强的传播力&#xff1b;我是经常需要将视频内容转换成文&#xff0c;深有体会当下时代将视频内容转化为文字的需求越来越旺盛了&…

highcharts的datalabels标签格式化

Highcharts的数据标签格式化 代码如下 plotOptions: {series: {dataLabels: {enabled: true,format: {y:.2f} mm}} },y就是当前数据点的值&#xff0c;.2f代表2位小数&#xff0c;效果如下图

卡尔曼滤波器-Kalmen Filter-1

卡尔曼滤波器是一种最优递归数据处理算法&#xff0c;它更像是一种观测器&#xff0c;而不是一般意义上的滤波器。卡曼滤波器的应用非常广泛&#xff0c;尤其是在导航当中。它的广泛应用是因为我们生活的世界中存在着大量的不确定性&#xff0c;当我们去描述一个系统的时候&…

YOLOV8 |搞懂检测头

代码: yaml结构的最后一层&#xff0c;接了前面三个层的&#xff0c;有3个检测头&#xff1a; # YOLOv8.0n head head:- [-1, 1, nn.Upsample, [None, 2, "nearest"]]- [[-1, 6], 1, Concat, [1]] # cat backbone P4- [-1, 3, C2f, [512]] # 12- [-1, 1, nn.Upsam…

池化层笔记

池化层 文章目录 池化层二维池化层超参数池化层的分类代码实现填充和步幅 多个通道 总结 卷积对位置敏感&#xff0c;可以检测垂直边缘。需要有一定程度的平移不变性&#xff0c;而在平时图片的拍摄&#xff0c;会因为图片的照明&#xff0c;物体位置&#xff0c;比例&#xff…

大数据-191 Elasticsearch - ES 集群模式 配置启动 规划调优

点一下关注吧&#xff01;&#xff01;&#xff01;非常感谢&#xff01;&#xff01;持续更新&#xff01;&#xff01;&#xff01; 目前已经更新到了&#xff1a; Hadoop&#xff08;已更完&#xff09;HDFS&#xff08;已更完&#xff09;MapReduce&#xff08;已更完&am…

mysql 5.7实现组内排序(连续xx天数)

需求&#xff1a;查询出连续登录的用户及其连续登录的天数 我先说一下思路&#xff1a;要实现连续登录的判断&#xff0c;可以找一下他们之间的规律。这里我拿一个用户来说&#xff0c;如果这个用户在1、2、3号都有登录记录&#xff0c;可以对这个用户的数据按照时间排序&…

J3学习打卡

&#x1f368; 本文为&#x1f517;365天深度学习训练营 中的学习记录博客&#x1f356; 原作者&#xff1a;K同学啊 DensNet模型 import matplotlib.pyplot as plt import tensorflow as tf from tensorflow.keras import layers, models, initializersclass DenseLayer(lay…

基于微信小程序的小区管理系统设计与实现(lw+演示+源码+运行)

摘 要 社会发展日新月异&#xff0c;用计算机应用实现数据管理功能已经算是很完善的了&#xff0c;但是随着移动互联网的到来&#xff0c;处理信息不再受制于地理位置的限制&#xff0c;处理信息及时高效&#xff0c;备受人们的喜爱。所以各大互联网厂商都瞄准移动互联网这个潮…