ns3-gym入门(三):在opengym基础上实现一个小小的demo

因为官方给的"opengym""opengym-2"这两个例子都很简单,所以自己改了一个demo,把reward-action-state相互影响的关系表现出来

一、准备工作

在ns3.35/scratch目录下创建一个文件夹:
(后续的运行指令后面都需要转移到这个文件夹路径下)

二、主要思路

  • Action:离散空间[0,1,2,3],使用ε-贪心策略选择
  • ExecuteActions:赋值x=action
  • Obs\State:基于action定义一组数,关于x的线性函数
  • Reward:对state中的所有数据进行处理,取平均数得到r

PS.发现一个问题,这个框架如果脱离了具体的网络环境其实并不好定义,因为这些要素相互依赖的关系非常抽象,尤其是state是通过全网状态搜集得到的,在这里没有定义具体的网络环境,所以暂时用全局变量来表示一下这种隐性关系

三、关键实现步骤

mygym.cc(定义了存储决策和状态的全局变量,增加了收集状态、执行动作、计算奖励的函数)
①全局变量

static float deci = 0.0; // 全局变量,用于存储决策
std::vector<float> state;// 全局变量,用于存储状态

②创建状态空间(只是初始化一个容器,定义好维度就行)

//初始化一般不用大改,建立一个存储空间就行
Ptr<OpenGymSpace>
MyGymEnv::GetObservationSpace()
{uint32_t nodeNum = 8;float low = 0.0;float high = 100.0;std::vector<uint32_t> shape = {nodeNum,};std::string dtype = TypeNameGet<uint32_t> ();Ptr<OpenGymBoxSpace> space = CreateObject<OpenGymBoxSpace>(low, high, shape, dtype);NS_LOG_UNCOND ("MyGetObservationSpace: " << space);return space;
}

③创建动作空间(离散)

// 离散空间[0,1,2,3]
Ptr<OpenGymSpace>
MyGymEnv::GetActionSpace()
{uint32_t nodeNum = 4;Ptr<OpenGymDiscreteSpace> space = CreateObject<OpenGymDiscreteSpace> (nodeNum);NS_LOG_UNCOND ("MyGetActionSpace: " << space);return space;
}

④执行选定的动作

// action存储到全局变量deci
bool
MyGymEnv::ExecuteActions(Ptr<OpenGymDataContainer> action)
{Ptr<OpenGymDiscreteContainer> discrete = DynamicCast<OpenGymDiscreteContainer>(action);NS_LOG_UNCOND ("MyExecuteActions: " << action);deci = discrete->GetValue();return true;
}

⑤收集网络状态

Ptr<OpenGymDataContainer>
MyGymEnv::GetObservation()
{uint32_t nodeNum =  8;std::vector<uint32_t> shape = {nodeNum,};Ptr<OpenGymBoxContainer<uint32_t> > box = CreateObject<OpenGymBoxContainer<uint32_t> >(shape);for (uint32_t i=0;i<nodeNum;i++){uint32_t value = GetValue(i);box->AddValue(value);}}// 将 box 的值放入全局变量 statestate.clear();for (uint32_t i = 0; i < nodeNum; i++) {state.push_back(box->GetValue(i)); // 获取 box 中的值并添加到 state 中}NS_LOG_UNCOND ("MyGetObservation: " << box);return box;
}
// 搜集网络状态的函数
float 
MyGymEnv::GetValue(uint32_t index)
{float value = deci*index;return value;
}

⑥根据状态计算奖励

// 对state进行处理
float
MyGymEnv::GetAverage( std::vector<float> state)
{uint32_t sum = 0;for (uint32_t value : state) {sum += value;}return static_cast<double>(sum) / state.size();
}
/*
Define reward function
*/
float
MyGymEnv::GetReward()
{float reward = GetAverage(state);NS_LOG_UNCOND ("MyGetReward: " << reward);return reward;
}

mygym.h(声明全局变量,添加自定义函数到private类)

extern std::vector<float> state;// 全局变量,用于存储状态
private:void ScheduleNextStateRead();float GetValue(uint32_t index);float GetAverage( std::vector<float> state);

sim.cc(这一块没有什么要改的,注意总仿真时间和仿真次数的关系,相当于实际的step受到两个地方的参数影响,另一个在创建环境时定义的isGameOver函数中)

  double simulationTime = 3; //seconds, 控制仿真次数的位置2double envStepTime = 0.1; //seconds, ns3gym env step time interval

test.py(这里主要的改动是使用了ε-贪心策略)

# Choose actionif np.random.rand( ) < epsilon:action = env.action_space.sample()print("random")else:for action in range(env.action_space.n):#离散动作空间的定义Q_value = estimate(action,ob_space)if Q_value > best_value:best_value = Q_valuebest_action = actionaction = best_actionprint("maximum Q")

简单模拟了一下Q值的估计(基于action估计reward)

def estimate(action,ob_space):state = []for i in range(ob_space.shape[0]):{state.append(action * i) }reward = np.mean(state)Q_value =rewardreturn Q_value

简单运行了一下:
ns3端:

python端

PS.要注意ns3-gym传递的数据类型可能无法直接用len()等函数,要去查看定义的具体数据类型

这个demo只是先按照我的理解大致实现了各个环节的衔接,但是reward对action的调整作用还没有体现出来,强化学习的精髓还没有融合进去,还有一些细节问题可能没有发现,下一个demo见

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/46891.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

python求两数之和

给定一个整数数组 nums 和一个整数目标值 target&#xff0c;请你在该数组中找出 和为目标值 target 的那 两个 整数&#xff0c;并返回它们的数组下标。 你可以假设每种输入只会对应一个答案。但是&#xff0c;数组中同一个元素在答案里不能重复出现。 你可以按任意顺序返回…

【深度学习】基于深度学习的模式识别基础

一 模式识别基础 “模式”指的是数据中具有某些相似特征或属性的事物或事件的集合。具体来说&#xff0c;模式可以是以下几种形式&#xff1a; 视觉模式 在图像或视频中&#xff0c;模式可以是某种形状、颜色组合或纹理。例如&#xff0c;人脸、文字字符、手写数字等都可以视…

JS【实战】CSS 样式相关的处理

CSS 样式键转换 如 fontSize -> font-size // 函数封装 -- CSS样式键转换&#xff0c;如 fontSize -> font-size function CSSformatKey(oldKey) {// 查找所有大写字母&#xff0c;转换为 "-小写"const newKey oldKey.replace(/[A-Z]/g, (c) > -${c.toLoc…

一图了解网络通信原理

&#x1f4d1;打牌 &#xff1a; da pai ge的个人主页 &#x1f324;️个人专栏 &#xff1a; da pai ge的博客专栏 ☁️宝剑锋从磨砺出&#xff0c;梅花香自苦寒来 ☁️运维工程师的职责&#xff1a;监…

学习笔记(数据库)1

数据库 sun solaris gnu 1、分类&#xff1a; 大型 中型 小型 ORACLE MYSQL/MSSQL SQLITE DBII powdb 关系型数据库 2、名词&#xff1a; DB 数据库 select update database DBMS 数据库管理系统 MIS 管理信息系统 OA 办公自动…

正则表达式怎么控制匹配的字符串更近的一个

http((?!http).)*m3u8 正则表达式怎么控制匹配的字符串更近的一个 正则如何匹配最近的字符 正则如何匹配最近的两个字符 怎么控制只要离字符串b匹配更近一点的字符串a 解释 a.b&#xff0c;它将会匹配最长的以a开始&#xff0c;以b结束的字符串 a.?b匹配最短的&#xff…

zookeeper+kafka群集

什么是消息队列 消息队列&#xff08;Message Queue&#xff09;是一种通信方法&#xff0c;用于在分布式系统中异步地传递消息。消息队列通过消息中间件将消息从发送者&#xff08;Producer&#xff09;传递给接收者&#xff08;Consumer&#xff09;&#xff0c;允许应用程序…

废品回收小程序:高效便捷回收,推动市场发展

随着互联网的发展和人们日益提升的环保意识&#xff0c;对废品回收市场的关注度不断提高&#xff0c;废品回收成为了当下发展前景巨大的行业之一。 传统的废品回收体系不完善&#xff0c;存在较大的不便利性&#xff0c;回收流程繁琐。为了方便大众回收&#xff0c;连接回收企…

git环境编译升级

1. 下载 wget https://www.kernel.org/pub/software/scm/git/git-2.43.0.tar.gz 编译从github下载的压缩包可能会报错&#xff0c;建议从git官网下载压缩包。 https://www.kernel.org/ 2. 编译 tar -zxvf git-2.34.5.tar.gz cd git-2.34.5 make prefix/usr/local all sudo ma…

【数据结构】树和二叉树——Lesson1

Hi~&#xff01;这里是奋斗的小羊&#xff0c;很荣幸您能阅读我的文章&#xff0c;诚请评论指点&#xff0c;欢迎欢迎 ~~ &#x1f4a5;&#x1f4a5;个人主页&#xff1a;奋斗的小羊 &#x1f4a5;&#x1f4a5;所属专栏&#xff1a;C语言 &#x1f680;本系列文章为个人学习…

科普文:微服务技术栈梳理

概叙 如上两图所示&#xff0c;微服务架构下&#xff0c;需要的组件很多&#xff0c;上面中也并未列全。下面将梳理一下国内微服务架构下&#xff0c;用到的技术栈&#xff0c;仅供参考。 科普文&#xff1a;12种常见的软件架构-CSDN博客 没有最好的架构&#xff0c;只有最适…

Kubernetes RBAC 之 UserAccount

Kubernetes RBAC 之 UserAccount 定义 Kubernetes 用户账户可以直接在终端使用&#xff0c;用来读写其有权限的资源或者非资源数据&#xff0c;而 Service Account 一般是用来绑定程序调用的。 创建用户 创建 Kubernetes 用户 kate # 进入 Kubernetes Public Key Infrastr…

常用网络接口自动化测试框架应用

一、RESTful&#xff08;resource representational state transfer)类型接口测试 (一&#xff09;GUI界面测试工具&#xff1a;jmeter 1、添加线程组 2、添加http请求 3、为线程组添加察看结果树 4、写入接口参数并运行 5、在查看结果树窗口查看结果 6、多组数据可增加CSVDat…

Android 桌面小组件使用

基本步骤 1.创建小组件布局 这里需要注意的事,小组件布局里不能使用自定义View,只能使用原生的组件,比如说LinearLayout,TextView,连约束布局都不能使用 <?xml version"1.0" encoding"utf-8"?> <LinearLayout xmlns:android"http://sch…

python数据可视化(7)——绘制箱形图

课程学习来源&#xff1a;b站up&#xff1a;【蚂蚁学python】 【课程链接&#xff1a;【【数据可视化】Python数据图表可视化入门到实战】】 【课程资料链接&#xff1a;【链接】】 Python绘制箱形图分析北京天气数据 箱形图 箱形图&#xff08;Box-plot&#xff09;又称为盒…

一站式短视频矩阵开发,高效托管!

短视频矩阵系统源码SaaS解决方案提供全面的开发服务&#xff0c;包括可视化视频编辑、矩阵式内容分发托管以及集成的多功能开发支持。 短视频矩阵&#xff1a;引爆您的数字营销革命 短视频矩阵系统是一套多功能集成解决方案&#xff0c;专为提升在短视频平台上的内容创作、管理…

【C++】多态-最全解析(多态是什么?如何使用多态?多态的底层原理是什么?)

目录 一、前言 二、多态是什么&#xff1f; 三、多态的定义及实现 &#x1f525; 多态的构成条件&#x1f525; &#x1f525; 虚函数的重写&#x1f525; &#x1f525;虚函数重写的两个例外 &#x1f525; &#x1f34d; 协变返回类型 &#x1f95d; 析构函数的重写…

使用APEXSQL LOG解析sql server事务日志,进行审计与数据恢复

一 下载 https://download.csdn.net/download/sunke861/11449739 二 使用 解压安装包后&#xff0c;点击&#xff1a;ApexSQLLog.exe 2.1 连接数据库 连接要审计的数据库&#xff1a; 假如报错&#xff1a; 则点击ok关闭该窗口&#xff0c;然后点击左上方的New按钮&#xf…

Git-Automatic merge failed; fix conflicts and then commit the result. 解决

Git-Automatic merge failed; fix conflicts and then commit the result. 解决 文章目录 1. 杂话2. 问题2.1 先搞定版本A2.2 再搞定版本AC2.3 搞定AB版本2.4 冲突 3. 解决3.1 分析3.2 解决 1. 杂话 大伙儿应该都用过Git吧&#xff0c;具体是个啥东西我就不说了哈。之前我在用g…

Codeforces Round 958 (Div. 2)(A~C)题

A. Split the Multiset 思路: 最优的策略是每次操作分出 k−1&#x1d458;−1 个 1&#xff0c;然后考虑最后是否会剩下一个单独的 1。 代码: #include<bits/stdc.h> using namespace std; #define N 1000005 typedef long long ll; typedef unsigned long long ull;…