大规模电商平台数据采集难点分析♫

▁▃▅▇主要包括以下几方面:

API工具

◆◆数据量巨大

任何系统,在不同的数据量面前,需要的技术难度都是完全不同的。

  如果单纯是将数据采到,可能还比较好完成,但采集之后还需要处理,因为必须考虑数据的规范与清洗,因为大量的工业数据是“脏”数据,直接存储无法用于分析,在存储之前,必须进行处理,对海量的数据进行处理,从技术上又提高了难度。

◆◆工业数据的协议不标准

互联网数据采集一般都是我们常见的HTTP等协议,但在工业领域,会出现ModBus、OPC、CAN、ControlNet、DeviceNet、Profibus、Zigbee等等各类型的工业协议,而且各个自动化设备生产及集成商还会自己开发各种私有的工业协议,导致在工业协议的互联互通上,出现了极大地难度。

很多开发人员在工业现场实施综合自动化等项目时,遇到的最大问题及时面对众多的工业协议,无法有效的进行解析和采集。

◆◆视频传输所需带宽巨大

传统工业信息化由于都是在现场进行数据采集,视频数据传输主要在局域网中进行,因此,带宽不是主要的问题。

  但随着云计算技术的普及及公有云的兴起,大数据需要大量的计算资源和存储资源,因此工业数据逐步迁移到公有云已经是大势所趋了。但是,一个工业企业可能会有几十路视频,成规模的企业会有上百路视频,这么大量的视频文件如何通过互联网顺畅传输到云端,是开发人员需要面临的巨大挑战。

◆◆对原有系统的采集难度大

在工业企业实施大数据项目时,数据采集往往不是针对传感器或者PLC,而是采集已经完成布署的自动化系统上位机数据。

  这些自动化系统在部署时厂商水平参差不齐,大部分系统是没有数据接口的,文档也大量缺失,大量的现场系统没有点表等基础设置数据,使得对于这部分数据采集的难度极大。

◆◆安全性考虑不足

   原先的工业系统都是运行在局域网中,安全问题不是突出考虑的重点。一旦需要通过云端调度工业之中最为核心的生产能力,又没有对安全的充分考虑,造成损失,是难以弥补的。

仅供交流...

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/762970.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

如何根据业务需求选择合适的电子合同平台?

在数字化转型的浪潮中,电子合同已经成为企业运营中不可或缺的一部分。然而,面对市场上众多的电子合同平台,企业如何根据自身的业务需求做出合适的选择呢?本文将为您一一解答。 在电子合同的签署过程中,数字证书颁发机…

JavaScript 实现通过 id 数组获取可展示的 name 拼接字符串

JavaScript 实现通过 id 数组获取可展示的 name 拼接字符串 场景 有一个包含许多对象的数组,每个对象都包含了一个标识(id)和一个名称(name)。想要从这个数组中选出特定的一些对象,这些对象的标识&#x…

鸿蒙Harmony应用开发—ArkTS-全局UI方法(日历选择器弹窗)

点击日期弹出日历选择器弹窗,可选择弹窗内任意日期。 说明: 该组件从API Version 10开始支持。后续版本如有新增内容,则采用上角标单独标记该内容的起始版本。 本模块功能依赖UI的执行上下文,不可在UI上下文不明确的地方使用&…

nodejs 常用命令

Node.js 是一个基于 Chrome V8 引擎的 JavaScript 运行环境,常用于服务器端编程。以下是一些 Node.js 的常用命令 1、安装 Node.js: 通常,你会从 Node.js 的官方网站下载并安装适合你操作系统的版本。安装完成后,你可以在命令行中…

蓝桥--矩阵翻硬币--二分枚举

问题描述 小明先把硬币摆成了一个 n 行 m列的矩阵。随后,小明对每一个硬币分别进行一次 Q操作。 对第x行第y列的硬币进行Q操作的定义:将所有第 ix行,第 jy列的硬币进行翻转。其中i和j为任意使操作可行的正整数,行号和列号都是从…

python脚本过滤得到non-overlap的utr

使用该脚本对上述的结果"lin_20240321_calculating_rG4score.R"进行过滤 import csvdef read_file(file_path):with open(file_path, r) as file:reader csv.DictReader(file, delimiter\t)return list(reader)def process_sequences(data):gene_sequences {}for …

跨域以及跨域配置

1、什么跨域 首先,在前后端没有分离项目,例如jsp、php,前后台代码没有实现物理上的分离。不存在跨域问题。前后端分离后,前后端的地址域名不同,而同源策略导致浏览器会拦截a地址访问b地址请求(a地址通过浏览…

云虚拟主机有哪些作用?

云虚拟主机是一款虚拟主机产品,云虚拟主机是由云计算与虚拟主机共同产生的,接下来小编就带领大家一起来了解一下云虚拟主机都有哪些作用吧! 云虚拟主机能够通过在多个服务器上分散虚拟机实例,来提高服务器的可用性和冗余备份&…

39.组合总和40组合总和2

39.组合总和 思路 还是按照组合回溯的思想来解,与原先组合区别就是集合内的元素可重复使用,刚开始考虑原先回溯中startIndex是为了避免重复,那么只需每层递归for循环都完全遍历集合中的元素即可。 但结果出现了排列不同的结果,…

【前端】Web Audio API接口介绍

简言 记录下Web Audio API接口的介绍。 Web Audio API 提供了在 Web 上控制音频的一个非常有效通用的系统,允许开发者来自选音频源,对音频添加特效,使音频可视化,添加空间效果(如平移),等等。 …

tomcat安装及配置教程

在安装和配置Tomcat之前,请确保已经安装了Java Development Kit (JDK)。以下是安装和配置Tomcat的步骤: 下载Tomcat。访问Tomcat官方网站,选择适合您需求的版本(例如Tomcat 8或9),下载并解压到您的计…

Obsidian插件PicGo-图床创建使用[腾讯云保姆级教程]

一、下载PicGo并配置 1:安装插件 首先插件市场搜索picgo会出现Image auto upload,这个就是PicGo安装此插件并启用即可 2:安装PicGo软件 打开此链接:https://github.com/Molunerfinn/PicGo 自己选择一个方式下载,我…

javascript高级-数组的方法

javascript高级-数组的使用方法 改变原数组返回一个新数组或不改变原数组的等应用场景,如下这些方法在实际项目中通常会用上 getArrlen() {//1.改变原数组的方法let arr [1, 2, 3];arr.push(6); //给数组最后面的添加元素console.log(push, arr); //[1,2,3,6]arr.pop(); //删…

数字乡村发展策略:科技引领农村实现跨越式发展

随着信息技术的迅猛发展和数字经济的崛起,数字乡村发展策略已经成为引领农村实现跨越式发展的重要手段。科技的力量正在深刻改变着传统农业的生产方式、农村的社会结构以及农民的生活方式,为农村经济发展注入了新的活力和动力。本文将从数字乡村的内涵、…

第十四届蓝桥杯JavaB组省赛真题 - 幸运数字

进制转换可以参考如下的十进制,基本一样的,只是把10变成了其他数字, sum就是各个数位之和 public static int myUtil(int n) {int sum 0;while(n > 0) {sum n % 10;n / 10;}return sum;} 注意: 如果写在同一个类里面&…

苍穹外卖-day15:套餐管理

套餐管理 课程内容 套餐分页查询启售停售套餐删除套餐新增套餐 1. 套餐分页查询 1.1 需求分析和接口设计 根据产品原型来了解需求,套餐分页查询的产品原型如下: 业务规则: 根据页码展示套餐信息(套餐名称、套餐图片、套餐分类、价格、售…

4.1.1 SN74HC05N型反相器(OD门)

1、OD门介绍 为提高逻辑门驱动负载的能力,输出端漏极开路的OD门被广泛使用。使用时,OD门需外接一只电阻上拉到电源正极。相同型号的OD门可以进行多只并联,实现“线与”的逻辑功能。 常用的OD门芯片有74HC05N、I2C设备等。 2、SN74HC05N型反相器(OD门) 2.1 引脚分布和功…

mosquitto - 笔记

1 mosquitto心跳和网络重连机制(基于MQTT协议)mosquitto心跳和网络重连机制(基于MQTT协议)_mqtt重连机制-CSDN博客 2. mosquitto简单应用 https://www.cnblogs.com/embedded-linux/p/9386169.html

Java中的并发并行与生命周期

并发并行与生命周期 并发、并行什么是进程并发的含义并行的理解多线程是如何在执行 线程的生命周期Java线程的状态线程的6中状态互相转换 并发、并行 什么是进程 正在运行的程序(软件)就是一个独立的进程线程是属于进程的,一个进程中可以同…

全网最全的Postman接口自动化测试(史实级攻略)

软件测试面试刷题,这个小程序(永久刷题),靠它快速找到工作了!(刷题APP的天花板)【持续更新最新版】-CSDN博客 背景 该篇文章针对已经掌握 Postman 基本用法的读者,即对接口相关概念…