【文献阅读】移动边缘计算中基于CNN模型分割的计算适配和负载均衡研究_黄煜

论文原链接:移动边缘计算中基于CNN模型分割的计算适配和负载均衡研究

缩写词

MEC:移动边缘计算;
CNN:卷积神经网络;
QoE:体验质量;
LB:负载均衡;
ITM:反变换方法;

摘要

原本集中在核心网的算力,下沉到边缘云,在边缘节点部署AI模型是提高QoE的手段。
遇到的问题:资源受限、传统负载均衡策略对AI服务流量进行转发会增大平均时延。
本文主要研究内容:MEC中的计算适配方案算力路由策略
完成的工作:设计了一个分布式微服务框架。
提出了一套自适应权重轮询负载均衡策略

第一章 绪论

研究背景和意义

MEC的好处在于时延更短,避免了数据发送到云端产生的时延。然而边缘节点的资源匮乏,无法单独完成AI大模型推理,为了解决这一问题,有几个方案:1是联邦边缘学习,2是设计边缘AI推理模型,这些虽提高了计算资源的利用率,但是没有从硬件算力角度解决问题。3是将AI模型压缩为轻量化版本,但是不适合精度较高的场景。4是模型分割,由于用户流量的随机分布等原因,会造成较大的延时响应。
LB策略可以解决流量分配不均的问题,但是简单的采用也不能取到很好的效果。
体现出了研究适用于AI微服务的负载均衡策略的重要性。

移动边缘计算的发展概述

MEC将计算和数据存储能力放在离用户更近的地方。这一小节介绍了边缘计算的硬件设备和常见的适用场景,证明了该课题的合理性。

移动边缘计算中面向边缘智能业务的关键技术概述

描述了计算卸载技术的实现流程,和分布式计算的流程。为了避免边缘节点过载,引入了负载均衡机制,作者介绍了一些主流的负载均衡算法。

第二章 移动边缘计算中的分布式计算和负载均衡技术

针对边缘智能业务的分布式计算技术

主要讲了模型拆分和分布式推理,引出了节点之间的数据传输吞吐量与CNN网络结构、节点硬件性能的函数关系该如何建模,然后开始介绍Roofline模型。
在这里插入图片描述
Roofline模型揭示了物理节点实际吞吐量和CNN模型计算强度的关系。

面向边缘智能业务的负载均衡技术

介绍了国内国外的研究现状,描述了几种不同的均衡技术算法。

第三章 面向边缘AI计算的异构计算适配框架

这一章设计适应于异构边缘计算网络的高性能分布式计算框架RoofSplit

基于CNN模型分割的计算适配技术

MB代表受带宽的限制,CB代表受计算芯片的性能限制。我们需要寻找最佳分割点。所获得的结果是根据实际的实验结果得到。
软件方式就采用CNN的方式,利用Pytorch提供的children函数,从完整模型中提取两个子模型并创建临时对象。

计算适配框架设计与实现

架构包括硬件层、系统层、操作软件层。作者在这里做了动态分割实验,来验证最佳分割点的有效性和存在性。作者又做了RoofSplit和完整CNN的内纯占用对比,得出RoofSplit的内存占用更少的结论。

面向边缘AI微服务的自适应负载均衡策略

本章设计了一种自适应算力路由策略,选取的强化算法为TD3,用来动态调整每个客户端负载的均衡权值。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/18417.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

DM8启动报错:全局参数非法

问题描述 开发让把数据库启动下,启动后输入如下报错: 字面意思的报错就是参数非法,推测是有人改参数没改对,可是和开发沟通没人改参数。 --查看进程 [roottopnet31 ~]# ps -ef | grep dmserver dmdba 34732 1 1 5月27 …

K8s service 进阶

文章目录 K8s service 进阶Service 工作逻辑Service 具体实现Service 资源类型ClusterIPNodePortLoadBalancerExternalName Service 与 EndpointEndpoint 与 容器探针自定义Endpoint Service 相关字段sessionAffinityexternalTrafficPolicyinternalTrafficPolicypublishNotRead…

异构图上的连接预测二

异构图上的连接预测二 对整个大图进行transform处理获取批次子图定义GNN网络定义分类器:整合模型。开始训练: 对整个大图进行transform处理 详细描述过程都在代码中体现。 transform T.RandomLinkSplit(num_val0.1, # 10%的 边 作为验证集&#xff0c…

Python怎么实现动态的方法调用?比如Ruby就有元编程

在Python中,你可以使用getattr函数来实现动态的方法调用,这与Ruby中的元编程类似。getattr函数用于获取对象(如模块、类、实例等)的属性,如果属性是一个方法,那么你可以像调用普通方法一样调用它。 以下是一…

cfa三级大神复习经验分享系列(三)

怎么才能通过考试?   很简单----努力! 第一:要熟   书看得再多,知识点掌握得再全面,最终是在考试中体现出来。光看书不行;只是看懂了不行;看懂了,记不住不行;记住了…

Chisel入门——在windows下vscode搭建|部署Scala2.13.3开发环境|用Chisel点亮FPGA小灯

文章目录 前言一、vscode搭建scala开发环境1.1 安装Scala官方插件Scala Syntax1.2 创建hello_world.scala文件1.3 确认java的版本(博主使用的是1.8)1.4 下载Scala Windows版本的二进制文件1.5 配置环境变量1.6 交互模式测试一下1.7 vscode运行scala 二、windows安装sbt2.1 下载…

全屏后 element-ui 组件不显示

文章目录 问题分析ElementUI 解决方案ElementPlus 解决方案 注意 问题 上篇我们说到如何 将 DIV 全屏展示 在使用将页面中指定的 DIV 全屏展示后,出现全屏后 element-ui 组件不显示,全屏后展示的提示信息是没有的,如下如所示: 全…

【linux自动化实践】linux shell 脚本 替换某文本

在Linux shell脚本中,可以使用sed命令来替换文本。以下是一个基本的例子,它将在文件example.txt中查找文本old_text并将其替换为new_text sed -i s/old_text/new_text/g example.txt解释: sed: 是stream editor的缩写,用于处理文…

Docker 入门版

目录 1. 关于Docker 2. Dockr run命令中常见参数解读 3. Docker常见命令 4. Docker 数据卷 5. Docker本地目录挂载 6. 自定义镜像 Dockerfile 语法 自定义镜像模板 Demo 7. Docker网络 1. 关于Docker 在docker里面下载东西,就是相当于绿色面安装板&#x…

Android ViewPager2 + FragmentStateAdapter 的使用以及问题

场景介绍:在Android业务功能开发的过程中,需要使用到嵌套ViewPage2实现页面切换,这种场景在我们的开发过程中并不少见,大致结构为一个activity包含一个viewPage2,这个viewPage2中存在一个fragment A,fragme…

视频智能分析平台LntonAIServer视频监控管理平台裸土检测算法的重要性与应用

随着科技的飞速发展,人工智能技术在各个领域的应用越来越广泛。其中,LntonAIServer裸土检测算法作为一种先进的技术手段,已经在农业、环境保护等领域取得了显著的成果。本文将探讨LntonAIServer裸土检测算法的重要性及其在实际应用中的优势。…

go语言中的一个优雅的冥等补偿算法 backoff - 业务逻辑重试示例

今天给大家介绍一个go语言里面的冥等补偿算法库 backoff, 他可以用来对我们需要冥等补偿的业务逻辑进行重试,我们可以设定一个最大间隔时间, 停止时间等重试规则,废话不多说直接三示例: 业务逻辑重试示例 exp : backo…

使用js实用工具库lodash做对象的深拷贝

const lodash require(lodash)let obj {user: {name: xutongbao}}let objCopy lodash.cloneDeep(obj)objCopy.user.name xuconsole.log(obj)console.log(objCopy)https://www.lodashjs.com/ 人工智能学习网站 https://chat.xutongbao.top 参考链接: https://…

企业服务总线(Enterprise Service Bus,ESB)简介

企业服务总线 企业服务总线(Enterprise Service Bus,ESB)是一种在分布式系统之间实现服务集成和交互的中间件平台。它提供了一个灵活的基础设施,用于连接、路由和中介不同服务之间的消息,从而实现服务的解耦、复用和灵…

基于ssm的微信小程序的居民健康监测系统

采用技术 基于ssm的微信小程序的居民健康监测系统的设计与实现~ 开发语言:Java 数据库:MySQL 技术:SpringMVCMyBatis 工具:IDEA/Ecilpse、Navicat、Maven 页面展示效果 后端页面 用户信息管理 健康科普管理 公告管理 论坛…

【MATLAB源码-第216期】基于matlab的北方苍鹰优化算法(NGO)机器人栅格路径规划,输出做短路径图和适应度曲线。

操作环境: MATLAB 2022a 1、算法描述 北方苍鹰优化算法(Northern Goshawk Optimization,简称NGO)是一种新兴的智能优化算法,灵感来源于北方苍鹰的捕猎行为。北方苍鹰是一种敏捷且高效的猛禽,广泛分布于北…

基于 React + Nest 全栈开发的后台系统

Xmw Admin 基于 React Nest 全栈开发的后台系统 🪴 项目简介 🎯 前端技术栈: React、Ant Design、Umi、TypeScript🎯 后端技术栈: Nest.js、Sequelize、Redis、Mysql😝 线上预览: https://r…

【Game】Powerful

文章目录 【小伙伴】隐藏小伙伴 【百趣集】【人物属性点】【宠物打造】【奇遇】【钓鱼】 【小伙伴】 刷新位置 小伙伴等级详情 克制关系 隐藏小伙伴 1、仙缘小伙伴(6种) 遇到仙缘驭宠师然后进入战斗抓取 107、七彩仙凤 108、小青兔 109、小布 110、黑腹蛛…

APM 2.8外置罗盘校准

请注意: GPS不可以飞控带电插拔,带电插拔会产生差分电压,可能会导致GPS模块损坏,无法搜星。不听劝告,后果自负! 1.如何接线 GPS有两根线,要插上面图所示的两个接口。同时拔掉旁边的跳线帽&…

4K型护套连接器与喇叭口替换插座

4K型护套连接器概述 4K型护套连接器作为煤矿一款关键的电气连接产品,一般安标认证型号包含:LCFB-4、LCFB-6、LCYB-8、LCYB-4、LCYB-8。根据不同的厂家也会有不同订货型号ZE0703-09/DLJ0601/conmN/4c等 4K型护套连接器是一种专为煤矿、非煤矿、石油化工等…