差分升级在物联网水表上的实现与应用(学习)

摘要

当越来越多的物联网水表加入抄表系统后,实现了水表数据的信息化,并且当水表终端需要技术更新时,通过网络方式来升级产品可以高效修复设备面临的问题,减少用户损失,降低维护成本,但同时也对有限的网络资源形成负担。

当前终端的无线远程升级技术多采用单一的整包升级策略,存储空间占用率高,网络资源占用量大,升级成功率不高。

针对上述问题,引入了应用于Android端的开源差分算法HdiffPatch,介绍了差分升级在物联网抄表系统中的实现架构和方法,并通过重编译实现算法在Windows服务器端及嵌入式水表终端的应用。

引言

物联网水表指的是在计量基表的基础上,加入无线远传模块(GPRS、NB-IoT等),组成的新型智能水表,它实现了集流量计量、流量采集、数据存储及无线传输于一体的强大功能。

当越来越多的物联网水表加入抄表系统后,对用水片区的水量管理及数据分析提供了可靠的依据,为用户用水行为管控提供了及时有效的操作机制,也为水表设备运行的远程监测提供了方便的平台,但同时也对抄表系统的网络带宽提出了一定的要求。

当设备投入市场之后,由于相关技术的迭代,设备运行可能会暴露其软件代码中的某些致命弊端;由于客户需求更新,设备软件需要升级以增加或者修改原来的功能。

当物联网设备投入市场后,厂家开发安全有效的空中升级方案,只需要在网络平台上把升级软件通过无线方式下发给设备,实现设备中的可执行代码更新。

无线升级面临着几个考验:

  1. 网络平台资源紧张,尤其对物联网水表等这类小设备,有些运营商限制了其网络端口并发量,因此空中升级庞大的数据流量会引起网络拥塞,造成升级失败;
  2. 物联网设备多采用电池供电,尽量保持低功耗是保证其寿命的重要手段,空中升级的有限速率导致电池供电设备对耗电极为敏感。
  3. 受网络信号的影响,当无线升级失败时,想要设备继续进入运行状态,必须对接收到的新代码另行存储,以避免对原代码的覆盖,并且要具备重传机制,待网络稳定时,从断开处开始传输,避免重新传输,造成资源浪费。
  4. 当更新数据量大时,对设备 CPU 的 FLASH 空间及 RAM 提出了更高的要求[3]。

目前国内外固件设备的无线升级方案按照实现策略可分为整包升级和差分升级。

整包升级需要将新版本的完整软件包进行打包,设备接收完所有升级包,经过校验算法验证包的有效性和完整性后,替换旧版本的应用代码。

整包升级的方式接近于整个固件的镜像,操作简单,易于实现,对网络平台及设备端的设计实现要求不高。

差分升级算法

差分升级又叫增量升级,是将固件的新旧版本的程序数据文件做差异,形成升级需要增量包,而对于两个版本中相同部分则不需要做升级处理,以此通过传输更少的数据实现同样的升级效果。

在实现架构上,差分升级系统需要在升级服务器侧和终端设备上分别部署差分算法,服务器比较新版本文件对旧版本文件所作的修改,并通过差分算法对这些数据以特定的格式打包、优化压缩,形成差分文件(patch文件);然后通过指定的协议,设备端接收完该差分文件,校验完成后,利用差分算法还原差分文件,并通过组合旧版本程序文件,得到目标数据文件,实现升级。

在这里插入图片描述
显然,经过服务器侧后生成的patch文件,远远小于新版本程序文件,而对于固件资源受限的设备终端来说,如何寻找一种高效的差分算法,实现以最小数据量来描述差分信息,并且以有效稳定的方法进行信息传递和文件还原,是差分升级的重要研究内容。

在构造差分增量包中,常见的算法有Bsdiff算法、Xdelta算法、Hdiffpatch算法等。

Bsdiff算法

在匹配新旧文件过程中,有部分源代码内容完全相同,有部分源代码相似度很高,只有部分字节作了稀疏改动,另有一些源代码内容相同,但是存储地址存在一个固定的偏移量,对于这一特性的源代码数据,具有高度的可压缩性。Bsdiff算法引入了diff string的概念,在新旧文件中找到这样的两部分内容,求出字节的差异,作为diff string进行压缩。而对于不符合要求的新文件源码中新增部分,作为extra string进行保存。

Bsdiff算法在匹配时,先对旧文件的所有字符进行后缀排序形成一个字典,然后使用二分查找算法找到最优的匹配长度,依次得到整个文档所有的diff string和extra string,把这些文件信息以bzib2的方式压缩成升级增量文件。

Bsdiff算法的增量文件中的数据由四部分组成:Header,ctrl block,diff block,extra block。

  • Header 头文件包含了目标文件的起始地址,新文件大小,控制长度等。
  • ctrl block提供控制部分信息,指示旧文件中保留的长度,以 及 需 要 从 diff block 和 extra block 中提取的信息,在旧文件中信息的地址偏移量等。
  • diff block,extra block 分别包含所有的 diff string和 extra string。

设备端在接收到patch文件后,解压文件,并根据差分文件的组成格式,通过bspatch算法,还原生成新文件。

由Bsdiff算法原理可知,它所生成的patch文件并不会比源文件小,但是文件结构压缩性强,导致传输的升级数据量比完整升级要小很多,有效减少了冗余数据传输量。Bsdiff 算法高度依赖压缩算法,当升级文件修改的内容小概率地满足稀疏变化时,差分文件的压缩效率降低,相比整包升级的优势不明显。

Xdelta算法

Xdelta 和其他的差分升级算法一样,也需要对新文件和旧文件进行比较匹配作差分。在产生 patch 包时,Xdelta 可采用 hash 或者 suffix trees 等算法来寻找最大的匹配长度的字符串。

Xdelta 差分算法的 patch文件中用到了 add、run 及 copy 三种命令。其中 add 用于将匹配到的指定长度的字符串从源文件拷到目标文
件,run 用于在目标文件中加入新文件的增加部分,copy 将匹配到的文件成块的移动到目标文件中的目标地址上。

Xdelta 对增量文件采用 Vcdiff 格式的编码方式,用 128 进制的数据表示形式,经过重编码的字符,相较于原数据节省了存储空间,达到了高效压缩的目的[9]。

Xdelta 算法的 patch 生成过程可通过其他算法来优化,考虑到设备端的内存消耗,patch 过程引入了Windows 块技术,随着 Windows 块变大,可达到的最长字符串的匹配结果越精确,产生的 patch 文件越小,但同时也会消耗更多的内存资源。因此,采用高效的匹配优化算法和适合的 Windows 块大小,是 Xdelta 算法的关键。

Hdiffpatch

Hdiffpatch是一种高效的增量算法,在运行时间复杂度及内存空间占用率上相较于前两种算法存在很大的优势。

Hdiffpatch在差异文件生成阶段引入了覆盖线C的概念,用于标志新旧版本文件的匹配度。

算法将两版本程序文件看成两个具有不同长度的数组,分别表示newData[m]和oldData[n]。

覆盖线C是点Ei.jj的集合,其中newData[i] = oldDta[j]。
如果C = {Ei,j,Ei+1,j+1,…,eI+K,J+K},表示该覆盖线的长度为k。
由此可知,经过匹配之后存在许多长度不等的覆盖线,根据差分包制作经验,当覆盖线长度大于7时,增量算法优势明显。
patch文件就是所有满足要求的覆盖线和newData[m]中没有被匹配上的数据组成的文档。

其中覆盖线表示信息结构包括:newPos,表示在新文档中的起始位置i;oldPos,表示在旧文件中的起始位置j;length,表示覆盖线长度k。

Hdiffpatch算法对匹配的覆盖线采取优化措施。其中包括:

  1. 覆盖线包含。如果覆盖线a被另外一条完全包含,则在C中删除a信息,以减小重复信息来简化差分文件。
  2. 覆盖线合并。对于在一条直线上的两段覆盖线,如果它们之间的间隔长度小于某一值,则把这两条覆盖线合并成一条,其中的延长部分数据作为patch文件的一部分。
  3. 覆盖线删除。对于某些单独的覆盖线,做扩展成本比较大,无法进一步优化,在patch文件生成时,对此进行直接删除,以减小存储及升级的控制代价。

差分升级的实现

Hdiffpatch算法产生了较小的升级包,当水表终端接收到升级包并且还原成最新文件后,需要对控制CPU中的执行代码进行更新升级。

本方案中采用的智能水表终端使用 STM32L071,其具有 192KB 的 FLASH,6KB 的片内 EEPROM,20KB的 RAM,能够实现多种低功耗运行模式,完全满足智能水表终端在实现流量数据计量、存储及与无线服务器通信功能的基础上,加入差分升级的功能。

而在加入差分升级之后,bootloader 中还将包含 Hdiffpatch 算法及与服务器进行patch 差分包传输通信所有流程。

由于在 Hdiffpatch 算法中需要在旧文件的基础上作新程序文件还原,因此会存在两个版本的文件同时存在于 FLASH 的情况,这对于升级失败时,设备还能继续正常运行起到保障作用。对于 CPU 的存储区,水表终端作了如下划分[14]:
在这里插入图片描述
终端升级流程实现
终端升级实现是差分升级系统中的关键部分,它负责增量升级文件的接收、差分算法的还原及固件的更新。

基于终端控制器CPU的RAM区容量的限制,水表设备不能一次性接收升级文件,而是采用分帧多包的模式。
当所有帧都接收完全后,CPU按照Hdiffpatch算法的patch文件格式解析文档,进行算法还原。

在这里插入图片描述
本方案的协议采用的关键技术包括:

  1. 升级协议起始帧包含了本次升级的新软件版本号、升级的总包数及升级文件的总校验码。终端通过接收下发的版本号与当前的版本号对比,选择是否停止接收、完全接收或断点续传。文件总校验码用于在终端接收完升级文件后,判断文件的有效性。
  2. 水表终端根据总升级包数,向服务器逐条申请升级包,并对接收到相应的升级包进行包序号和校验码的判断。当出现接收超时或者存储空间无法容纳接收的数据时,终端会向服务器发出警告或者请求重传数据。
  3. 水表终端在请求升级数据包时,对每一步的操作进行记录,以实现断点续传的可操作性。
  4. 终端接收完升级文档后,通过Hdiffpatch还原算法,在FLASH的新程序存储区形成新版本代码后,通知服务器,并实行升级操作。服务器监控整个空中升级流程,对水表终端的升级状态也能实时反馈,提高了升级的可控性。

终端升级的低功耗设计

物联网智能水表使用一次性锂电池供电,保证安装及使用的便捷可靠。

在应用程序中,终端控制器合理使用 NB-IoT 的工作模式,并根据使用场景对表计量的频度和方法进行控制,既满足了客户的使用要求,又相对延长了产品电池使用寿命。

空中升级的使用频率相对较低,但是它一次使用的耗电量在所有应用功能中是最大的。
因此,如何采用合理的手段规避不必要的电耗也是空中升级系统要考虑的一个问题。

本方案采用Hdiffpatch算法来产生差分升级文件patch,在很大程度上缩小了空中升级的数据传输量,拉低了升级操作的总耗电量,成为降低升级功耗的关键技术。

升级一开始,服务器查询设备端当前软件版本号,如果与要下发的版本号一致,则认为没有升级的必要,退出升级操作。
这种架构,仅用一个交互信息就实现了升级流程走向,避免了不必要的传输步骤。

当空中传输过程出现网络故障时,终端收不到正确的服务器数据后,在连续申请三次升级包后,设备为了节省电耗,进入休眠模式。
待下一周期,网络恢复后,设备不需要重复传输已经接收完的数据包,而是进入断点续传,减少了冗余的操作,简化了升级步骤

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/35753.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

遍历集合List的五种方法以及如何在遍历集合过程中安全移除元素

一、遍历集合List的五种方法 测试数据 List<String> list new ArrayList<>(); list.add("A");list.add("B");list.add("C");1. 普通for循环 普通for循环&#xff0c;通过索引遍历 for (int i 0; i < list.size(); i) {Syst…

form中表单切换,导致 relus 中的事件无法触发,原因:页面切换不要一直切换DOM,会导致问题,需要都显示出来

修改前&#xff0c;因为重复渲染DOM导致绑定rules失效 修改前代码使用 computed 计算出渲染的DOM&#xff0c;影响rules事件<el-formref"form"inline:model"billDetailCopy":rules"rules"size"small"label-position"right&quo…

NLP语言模型概览

语言模型结构分类 Encoder-Decoder&#xff08;Transformer&#xff09;: Encoder 部分是 Masked Multi-Head Self-Attention&#xff0c;Decoder 部分是 Casual Multi-Head Cross-Attention 和 Casual Multi-Head Self-Attention 兼具。比如T5&#xff0c;BART&#xff0c;MA…

腾讯云轻量服务器和云服务器的CPU处理器有差别吗?

腾讯云轻量应用服务器和CVM云服务器的CPU处理器性能有差别吗&#xff1f;创建轻量应用服务器时不支持指定底层物理服务器的CPU型号&#xff0c;腾讯云将随机分配满足套餐规格的物理CPU型号&#xff0c;通常优先选择较新代次的CPU型号。而云服务器CVM的CPU处理器型号、主频都是有…

JAVA设计模式----原型设计模式

文章目录 一、简介二、实现方式三、原型模式的注意事项浅拷贝与深拷贝浅拷贝深拷贝一、简介 定义:用原型实例指定创建对象的种类,并通过拷贝这些原型创建新的对象。 类型:创建类模式 类图: 原型模式主要用于对象的复制,它的核心是就是类图中的原型类Prototype。Protot…

下载程序到西门子PLC

更多关于西门子S7-200PLC内容请查看&#xff1a;西门子200系列PLC学习课程大纲 下载西门子200PLC程序分以下两步&#xff1a; 一.编译程序 1. 如下图1-1所示&#xff0c;使用PPI电缆将PLC和电脑连接上&#xff0c;注意笔记本使用USB转PPI电缆&#xff0c;连接保证给PLC单独供…

Linux(进程间通信详解)

进程间通信&#xff0c;顾名思义&#xff0c;就是进程与进程之间互通信交流&#xff0c;OS保证了各进程之间相互独立&#xff0c;但这不意味着进程与进程之间就互相隔离开&#xff0c;在不少的情况下&#xff0c;进程之间需要相互配合共同完成某项6任务&#xff0c;这就要求各进…

怎样学会单片机

0、学单片机首先要明白&#xff0c;一个单片机啥也干不了&#xff0c;学单片机的目的是学习怎么用单片机驱动外部设备&#xff0c;比如数码管&#xff0c;电机&#xff0c;液晶屏等&#xff0c;这个需要外围电路的配合&#xff0c;所以学习单片机在这个层面上可以等同为学习单片…

JVM:运行时数据区域(白话文)

最近有时间在看一本<深入了解Java虚拟机>的书籍&#xff0c;这本书是一个中国人&#xff0c;名叫周志明的人写的。相比于其他翻译过来的技术书籍&#xff0c;这本书还是挺通俗易懂的。先前有和彬哥在聊&#xff0c;他说如果是自己一个人看的话会很枯燥&#xff0c;很难坚…

双端列表 —— Deque 接口概述,使用ArrayDeque实现队列和双端队列数据结构

Deque接口简介 Deque译为双端队列&#xff0c;在双向都能作为队列来使用&#xff0c;同时可用作栈。Deque接口的方法是对称成比例的。 Deque接口继承Queue接口&#xff0c;因此具有Queue&#xff0c;Collection&#xff0c;Iterable的方法属性。 双端队列的工作原理 在常规队…

前端架构师的能力要求:打造可靠、灵活和可扩展的Web应用

随着互联网技术迅猛发展&#xff0c;现代Web应用程序变得越来越复杂且功能强大。作为一名前端架构师&#xff0c;在这个快节奏且竞争激烈的环境中&#xff0c;你需要具备广泛而深入地技术知识&#xff0c;并且有能力设计、开发和维护高度可靠、灵活和可扩展性强的Web应用。 深入…

jvm里的内存溢出

目录 堆溢出 虚拟机栈和本地方法栈溢出&#xff08;栈溢出很少出现&#xff09; 方法区和运行时常量池溢出 本机内存直接溢出&#xff08;实际中很少出现、了解即可&#xff09; 堆溢出 堆溢出&#xff1a;最常见的是大list&#xff0c;list里面有很多元素 堆溢出该怎么解决…

ArcGIS入门操作手册

一.ArcGIS安装过程 参考本人博客&#xff1a;保姆级Arcgis安装图文安装教程_追忆苔上雪的博客-CSDN博客 二.ArcGIS植被指数计算 (1)使用工具&#xff1a;栅格计算器 打开软件&#xff0c;右侧搜索栅格计算器打开&#xff0c;要是搜索栏不小心叉掉找不到了&#xff0c;可以通…

定义行业新标准?谷歌:折叠屏手机可承受20万次折叠

根据Patreon账户上的消息&#xff0c;Android专家Mishaal Rahman透露&#xff0c;谷歌计划推出新的硬件质量标准&#xff0c;以满足可折叠手机市场的需求。Android原始设备制造商&#xff08;OEM&#xff09;将需要完成谷歌提供的问卷调查&#xff0c;并提交样品设备进行严格审…

基于 JMeter API 开发性能测试平台

目录 背景&#xff1a; 常用的 JMeter 类和功能的解释&#xff1a; JMeter 编写性能测试脚本的大致流程示意图&#xff1a; 源码实现方式&#xff1a; (1) 环境初始化 (2) 环境初始化 (3) 创建测试计划 (4) 创建 ThreadGroup (5) 创建循环控制器 (6) 创建 Sampler (…

【编码魔法师系列_六大原则5】迪米特原则(Law of Demeter Principle)

学会设计模式&#xff0c;你就可以像拥有魔法一样&#xff0c;在开发过程中解决一些复杂的问题。设计模式是由经验丰富的开发者们&#xff08;GoF&#xff09;凝聚出来的最佳实践&#xff0c;可以提高代码的可读性、可维护性和可重用性&#xff0c;从而让我们的开发效率更高。通…

每日一题——旋转数组的最小数字(II)

旋转数组的最小数字——II 题目链接 注&#xff1a;此题是昨天旋转数组的最小数字——I的拓展延伸&#xff0c;昨天题目数组的条件是不会存在重复元素&#xff0c;而本题数组的元素可以重复&#xff0c;因此建议先做前面一题&#xff0c;进行思考&#xff0c;这样求解这一题的…

【单片机毕业设计3-基于stm32c8t6的智能家居系统】

【单片机毕业设计3-基于stm32c8t6的智能家居系统】 前言一、功能介绍二、硬件部分三、软件部分总结 前言 &#x1f525;这里是小殷学长&#xff0c;单片机毕业设计篇3 基于stm32的智能家居控制系统 &#x1f9ff;创作不易&#xff0c;拒绝白嫖&#xff08;有需可点击最后链接&a…

Python自动化测试框架:Pytest和Unittest的区别

pytest和unittest是Python中常用的两种测试框架&#xff0c;它们都可以用来编写和执行测试用例&#xff0c;但两者在很多方面都有所不同。本文将从不同的角度来论述这些区别&#xff0c;以帮助大家更好地理解pytest和unittest。 1. 原理 pytest是基于Python的assert语句和Pytho…

consul安装启动流程

普通软件包安装 首先cd /opt &#xff0c;将安装包放到该目录下 下载consul安装包 进入consul官网找到自己开发平台对应的安装包下载 https://www.consul.io/downloads.html 或使用命令 wget https://releases.hashicorp.com/consul/1.6.2/consul_1.6.2_linux_amd64.zip (如果…