大规模电商平台数据采集难点分析♫

▁▃▅▇主要包括以下几方面:

API工具

◆◆数据量巨大

任何系统,在不同的数据量面前,需要的技术难度都是完全不同的。

  如果单纯是将数据采到,可能还比较好完成,但采集之后还需要处理,因为必须考虑数据的规范与清洗,因为大量的工业数据是“脏”数据,直接存储无法用于分析,在存储之前,必须进行处理,对海量的数据进行处理,从技术上又提高了难度。

◆◆工业数据的协议不标准

互联网数据采集一般都是我们常见的HTTP等协议,但在工业领域,会出现ModBus、OPC、CAN、ControlNet、DeviceNet、Profibus、Zigbee等等各类型的工业协议,而且各个自动化设备生产及集成商还会自己开发各种私有的工业协议,导致在工业协议的互联互通上,出现了极大地难度。

很多开发人员在工业现场实施综合自动化等项目时,遇到的最大问题及时面对众多的工业协议,无法有效的进行解析和采集。

◆◆视频传输所需带宽巨大

传统工业信息化由于都是在现场进行数据采集,视频数据传输主要在局域网中进行,因此,带宽不是主要的问题。

  但随着云计算技术的普及及公有云的兴起,大数据需要大量的计算资源和存储资源,因此工业数据逐步迁移到公有云已经是大势所趋了。但是,一个工业企业可能会有几十路视频,成规模的企业会有上百路视频,这么大量的视频文件如何通过互联网顺畅传输到云端,是开发人员需要面临的巨大挑战。

◆◆对原有系统的采集难度大

在工业企业实施大数据项目时,数据采集往往不是针对传感器或者PLC,而是采集已经完成布署的自动化系统上位机数据。

  这些自动化系统在部署时厂商水平参差不齐,大部分系统是没有数据接口的,文档也大量缺失,大量的现场系统没有点表等基础设置数据,使得对于这部分数据采集的难度极大。

◆◆安全性考虑不足

   原先的工业系统都是运行在局域网中,安全问题不是突出考虑的重点。一旦需要通过云端调度工业之中最为核心的生产能力,又没有对安全的充分考虑,造成损失,是难以弥补的。

仅供交流...

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/762970.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

如何根据业务需求选择合适的电子合同平台?

在数字化转型的浪潮中,电子合同已经成为企业运营中不可或缺的一部分。然而,面对市场上众多的电子合同平台,企业如何根据自身的业务需求做出合适的选择呢?本文将为您一一解答。 在电子合同的签署过程中,数字证书颁发机…

鸿蒙Harmony应用开发—ArkTS-全局UI方法(日历选择器弹窗)

点击日期弹出日历选择器弹窗,可选择弹窗内任意日期。 说明: 该组件从API Version 10开始支持。后续版本如有新增内容,则采用上角标单独标记该内容的起始版本。 本模块功能依赖UI的执行上下文,不可在UI上下文不明确的地方使用&…

nodejs 常用命令

Node.js 是一个基于 Chrome V8 引擎的 JavaScript 运行环境,常用于服务器端编程。以下是一些 Node.js 的常用命令 1、安装 Node.js: 通常,你会从 Node.js 的官方网站下载并安装适合你操作系统的版本。安装完成后,你可以在命令行中…

跨域以及跨域配置

1、什么跨域 首先,在前后端没有分离项目,例如jsp、php,前后台代码没有实现物理上的分离。不存在跨域问题。前后端分离后,前后端的地址域名不同,而同源策略导致浏览器会拦截a地址访问b地址请求(a地址通过浏览…

【前端】Web Audio API接口介绍

简言 记录下Web Audio API接口的介绍。 Web Audio API 提供了在 Web 上控制音频的一个非常有效通用的系统,允许开发者来自选音频源,对音频添加特效,使音频可视化,添加空间效果(如平移),等等。 …

Obsidian插件PicGo-图床创建使用[腾讯云保姆级教程]

一、下载PicGo并配置 1:安装插件 首先插件市场搜索picgo会出现Image auto upload,这个就是PicGo安装此插件并启用即可 2:安装PicGo软件 打开此链接:https://github.com/Molunerfinn/PicGo 自己选择一个方式下载,我…

数字乡村发展策略:科技引领农村实现跨越式发展

随着信息技术的迅猛发展和数字经济的崛起,数字乡村发展策略已经成为引领农村实现跨越式发展的重要手段。科技的力量正在深刻改变着传统农业的生产方式、农村的社会结构以及农民的生活方式,为农村经济发展注入了新的活力和动力。本文将从数字乡村的内涵、…

第十四届蓝桥杯JavaB组省赛真题 - 幸运数字

进制转换可以参考如下的十进制,基本一样的,只是把10变成了其他数字, sum就是各个数位之和 public static int myUtil(int n) {int sum 0;while(n > 0) {sum n % 10;n / 10;}return sum;} 注意: 如果写在同一个类里面&…

苍穹外卖-day15:套餐管理

套餐管理 课程内容 套餐分页查询启售停售套餐删除套餐新增套餐 1. 套餐分页查询 1.1 需求分析和接口设计 根据产品原型来了解需求,套餐分页查询的产品原型如下: 业务规则: 根据页码展示套餐信息(套餐名称、套餐图片、套餐分类、价格、售…

4.1.1 SN74HC05N型反相器(OD门)

1、OD门介绍 为提高逻辑门驱动负载的能力,输出端漏极开路的OD门被广泛使用。使用时,OD门需外接一只电阻上拉到电源正极。相同型号的OD门可以进行多只并联,实现“线与”的逻辑功能。 常用的OD门芯片有74HC05N、I2C设备等。 2、SN74HC05N型反相器(OD门) 2.1 引脚分布和功…

Java中的并发并行与生命周期

并发并行与生命周期 并发、并行什么是进程并发的含义并行的理解多线程是如何在执行 线程的生命周期Java线程的状态线程的6中状态互相转换 并发、并行 什么是进程 正在运行的程序(软件)就是一个独立的进程线程是属于进程的,一个进程中可以同…

全网最全的Postman接口自动化测试(史实级攻略)

软件测试面试刷题,这个小程序(永久刷题),靠它快速找到工作了!(刷题APP的天花板)【持续更新最新版】-CSDN博客 背景 该篇文章针对已经掌握 Postman 基本用法的读者,即对接口相关概念…

2024年Jira全面解析:从 Jira 的概念到优缺点、最新政策

Jira是澳大利亚的Atlassian公司开发的一款项目管理软件,名字来源于日文中“哥斯拉”的称呼“Gojira”。Jira不仅可以追踪缺陷和问题,还能管理项目。很多企业还将JIRA用于一些特殊的场景,比如作为仓库自动化工具、管理文档流程、优化费用等等。…

四川易点慧电子商务抖音小店:安全可靠,购物新选择

在数字化浪潮席卷全球的今天,电子商务已成为人们生活中不可或缺的一部分。四川易点慧电子商务抖音小店作为新兴的电商平台,以其安全可靠、便捷高效的特点,逐渐赢得了广大消费者的青睐。今天,就让我们一起走进四川易点慧电子商务抖…

Python Windows系统 虚拟环境使用

目录 1、安装 2、激活 3、停止 1、安装 1)为项目新建一个目录(比如:目录命名为learning_log) 2)在终端中切换到这个目录 3)执行命令:python -m venv ll_env,即可创建一个名为ll…

抖音开放平台的订单类API接口调用测试指南(内含详细步骤)

一、什么是抖音开放平台 抖音开放平台基于抖音母体,提供抖音服务基础设施和创新行业解决方案的平台。同时满足各类各类机构、创作者及服务商对于内容获取、分享的个性化需求,我们诚邀各个行业、不同阶段的合作伙伴与我们一起,共建内容良性生…

【数据结构】布隆过滤器

SueWakeup 个人主页:SueWakeup 系列专栏:学习技术栈 个性签名:保留赤子之心也许是种幸运吧 本文封面由 凯楠📸 友情提供 目录 本栏传送门 前言 1. 什么是布隆过滤器? 2. 布隆过滤器的原理 2.2 判断元素存在原理…

用虚拟机安装FydeOS,体验国内版ChromeOS首选!

前言 前段时间小白写了在实体机上安装FydeOS系统,发现有很多小伙伴在后台获取了FydeOS的镜像。 国内版ChromeOS?让旧机器焕发第二春的FydeOS安装教程 也有一些小伙伴看到是安装在实体机上的教程,所以就直接放弃了。其实FydeOS也可以用VM…

面试笔记——MySQL(事务:事务特性、并发事务、事务隔离、Redo Log与Undo Log、MVCC)

事务 概念与特性 事务(Transaction)指的是一组数据库操作,这些操作要么全部成功执行,要么全部不执行,保证了数据库的一致性和完整性,它使得数据库操作可以按照逻辑上的单元进行组织和执行,提高…

中等职业学校大数据课程建设方案

大数据产业是以数据及数据所蕴含的信息价值为核心生产要素,通过数据技术、数据产品、数据服务等形式,使数据与信息价值在各行业经济活动中得到充分释放的赋能型产业。 大数据产业定义一般分为核心业态、关联业态、衍生业态三大业态。 一、专…