Policy-Based Reinforcement Learning（1）

之前提到过Discount Return：

U_t = R_t + \gamma R_{t+1} + \gamma ^2R_{t+2} + \gamma ^3 R_{t+1} + ...

Action-value Function ：

Q_ \pi (s_t,a_t) = E[U_t|S_t = s_t, A_t = a_t]

State-value Function:

V_\pi(s_t) = E_A[Q_\pi (s_t,A)]  （这里将action A积分掉）这里如果策略函数\pi很好，V_\pi就会很大；反之策略函数不好，V_\pi就会很小。

对于离散类型：V_\pi (s_t) = E_A[Q_\pi (s_t,A)] = \sum_{a}^{}\pi (a|s_t) * Q_\pi (s_t, a)

用神经网络\pi (a|s_t;\theta )近似策略\pi (a|s_t)，

V_\pi (s_t;\theta ) = \sum_{a}^{}\pi (a|s_t;\theta ) * Q_\pi (s_t, a)

即 学习参数\theta，使得J(\theta ) =E_S[V(S;\theta )]越来越大。这里使用梯度上升的方法，对于一个可观测状态s，更新\theta \leftarrow \theta + \beta \frac{\partial V(s;\theta )}{\partial \theta } 

这里\frac{\partial V(s;\theta )}{\partial \theta }称为策略梯度（Policy Gradient）

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/bicheng/25914.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

深度学习之文本分类模型-基于transformer

深度学习之文本分类模型-基于transformer

1、transformer transformer就是大名鼎鼎的论文《Attention Is All You Need》[1]，其在一些翻译任务上获得了SOTA的效果。其模型整体结构如下图所示 encoder和decoder 其整体结构由encoder和decoder组成，其中encoder由6个相同的block组成，…
阅读更多...
【设计模式】结构型-桥接模式

【设计模式】结构型-桥接模式

当抽象与实现，各自独立， 桥接模式，如彩虹桥，连接两岸。 文章目录 一、类爆炸与代码重复二、桥接模式三、桥接模式的核心组成四、运用桥接模式五、桥接模式的应用场景六、小结推荐阅读 一、类爆炸与代码重复 场景假设&#xff1a…
阅读更多...
单片机嵌入式计算器(带程序EXE)

单片机嵌入式计算器(带程序EXE)

单片机嵌入式计算器 主要功能：完成PWM占空比计算，T溢出时间（延时）； [!NOTE] 两个程序EXE； [!CAUTION] 百度网盘链接：链接：https://pan.baidu.com/s/1VJ0G7W5AEQw8_MiagM7g8A?pwdg8…
阅读更多...
代码随想录算法训练营第五十四 | ● 392.判断子序列 ● 115.不同的子序列

代码随想录算法训练营第五十四 | ● 392.判断子序列 ● 115.不同的子序列

392.判断子序列 https://programmercarl.com/0392.%E5%88%A4%E6%96%AD%E5%AD%90%E5%BA%8F%E5%88%97.html class Solution { public:bool isSubsequence(string s, string t) {if(s.size()0 )return true;if(t.size()0)return false;vector<vector<int>> dp(s.size(…
阅读更多...
为什么选择海外服务器？

为什么选择海外服务器？

如何选择跨境电商服务器&#xff1a;详细指南 选择合适的服务器是跨境电商企业成功的基础。服务器的性能和稳定性直接影响着网站的访问速度、用户体验和安全性&#xff0c;进而影响着企业的销量和利润。那么&#xff0c;跨境电商企业该如何选择服务器呢&#xff1f; ​​​​​…
阅读更多...
Jenkins构建 Maven项目（微服务）并自动发布

Jenkins构建 Maven项目（微服务）并自动发布

前面讲了docker 安装Jenkins和gitlab代码管理工具&#xff0c;接下来我们讲一下Jenkins怎么构建 Maven项目。 1. 首先Jenkins配置下面3中工具类 首先是在本地安装三个jenkins自动配置相关的工具 1.1 JDK 由于我们使用docker来启动jenkins&#xff0c;其自带有jdk&#xff0c;…
阅读更多...
oracle 12.1 rac to rac adg（maa）搭建保姆级教程

oracle 12.1 rac to rac adg（maa）搭建保姆级教程

目录 资源配置 一、主库集群操作 1.主库增加standbylog 2.主库开启force logging及归档 3.主库配置参数 4.生成参数文件并将参数文件、密码文件拷贝至备库 4.1参数文件处理 4.2密码文件处理 二、备库操作 1.备库修改参数文件 1.1创建adump目录并在参数文件修改&#…
阅读更多...
02-JAVA面向对象编程

02-JAVA面向对象编程

一、面向对象编程 1、面向过程编程思想&#xff08;Process Oritented Programming&#xff09; 将实现一个功能的一组指令组合在一起&#xff0c;成为一个函数。这个函数就能实现这一个功能&#xff0c;是对功能实现的一种抽象。通过这种抽象方式&#xff0c;将代码实现复用。…
阅读更多...
代码随想录算法训练营第三十一天| 455.分发饼干，376. 摆动序列 ，53. 最大子序和

代码随想录算法训练营第三十一天| 455.分发饼干，376. 摆动序列 ，53. 最大子序和

455. 分发饼干 - 力扣&#xff08;LeetCode&#xff09; class Solution {public int findContentChildren(int[] g, int[] s) {Arrays.sort(g); //递增Arrays.sort(s); int result 0;//遍历&#xff0c;先满足小的int i0,j0;for(;i<g.length && j<s.length;i){…
阅读更多...
视觉大模型（VLLM）学习笔记

视觉大模型（VLLM）学习笔记

视觉多模态大模型&#xff08;VLLM&#xff09; InternVL 1.5 近日&#xff0c;上海人工智能实验室 OpenGVLab 团队、清华大学、商汤科技合作推出了开源多模态大语言模型项目InternVL 1.5&#xff0c;它不仅挑战了商业模型巨头例如 GPT-4V 的霸主地位&#xff0c;还让我们不禁…
阅读更多...
golang基础

golang基础

Go安装及配置环境 下载最新的 zip 文件: go#.#.#.windows-amd64.zip &#xff0c;这里的 #.#.# 是 Go 的最新版本号。 解压缩 go#.#.#.windows-amd64.zip 文件到你选择的位置。比如D:\Go 在系统中设置两个环境变量&#xff1a;GOROOT和GOPATH GOPATH 指向的是你的工作目录。…
阅读更多...
树莓派4B 零起点(三) 树莓派 VNC 远程桌面配置(2) 配置X11模式

树莓派4B 零起点(三) 树莓派 VNC 远程桌面配置(2) 配置X11模式

目录 一、配置 VNC Server为X11 1、关闭已启动的VNC Server (如之前未开启&#xff0c;此步可以忽略) 2、切换 VNC Server的模式为 X11 二、开启 X11 VncServer 三、修改树莓派VNC Server的连接模式 1、切换到 root 账号 2、修改VNC Server X11的配置 3、设置VNC密码…
阅读更多...
引人入胜的教育视频

引人入胜的教育视频

对于一家专注于数字自动化和能源管理的跨国公司&#xff0c;我们制作了引人入胜的教育视频&#xff0c;帮助房主选择适合他们需求的电气产品。我们的团队审查并定稿文本&#xff0c;录制并编辑配音&#xff0c;选择背景音乐&#xff0c;设计图形&#xff0c;并制作了演示如何安…
阅读更多...
MYSQL基础_02_MySQL环境搭建

MYSQL基础_02_MySQL环境搭建

第02章_MySQL环境搭建 1. MySQL的卸载 步骤1&#xff1a;停止MySQL服务 在卸载之前&#xff0c;先停止MySQL8.0的服务。按键盘上的“Ctrl Alt Delete”组合键&#xff0c;打开“任务管理器”对话框&#xff0c;可以在“服务”列表找到“MySQL8.0”的服务&#xff0c;如果现…
阅读更多...
Springboot校园美食推荐系统的开发-计算机毕业设计源码44555

Springboot校园美食推荐系统的开发-计算机毕业设计源码44555

摘要 随着人们生活水平的提高&#xff0c;人们对美食的要求也越来越高&#xff0c;对各类美食信息需求越来越大。因此&#xff0c;结合计算机快速发展、普及&#xff0c;在此基础上制作一个页面简单、美观,功能实用的校园美食推荐系统势在必行&#xff0c;满足用户分享美食的需…
阅读更多...
前端nvm的安装和使用nodejs多版本管理2024

前端nvm的安装和使用nodejs多版本管理2024

nvm的安装和使用 1、简介 nvm是一个管理nodejs版本的工具。在实际的开发中&#xff0c;项目的开发依赖需要的nodejs版本运行环境不同&#xff0c;此时我们就需要使用nvm来进行不同nodejs版本的切换。其实就是一个方便的node版本管理工具。 注意&#xff1a;如果有安装过node&a…
阅读更多...
nw.js 如何调用activeX控件 （控件是C++编写的dll文件）

nw.js 如何调用activeX控件 （控件是C++编写的dll文件）

&#x1f3c6;本文收录于「Bug调优」专栏&#xff0c;主要记录项目实战过程中的Bug之前因后果及提供真实有效的解决方案&#xff0c;希望能够助你一臂之力&#xff0c;帮你早日登顶实现财富自由&#x1f680;&#xff1b;同时&#xff0c;欢迎大家关注&&收藏&&…
阅读更多...
第1章Hello world 4/5：对比Rust/Java/C++创建和运行Hello world全过程：运行第一个程序

第1章Hello world 4/5：对比Rust/Java/C++创建和运行Hello world全过程：运行第一个程序

讲动人的故事，写懂人的代码 1.7 对比Rust/Java/C++创建和运行Hello world全过程 有了会听懂人类的讲话，还能做记录的编程助理艾极思，他们三人的讨论内容，都可以变成一份详细的会议纪要啦。 接下来，我们一起看看艾极思是如何记录下赵可菲创建和运行Java程序Hello world，…
阅读更多...
本地搭建支持语音和文本的中英文翻译服务-含全部源代码

本地搭建支持语音和文本的中英文翻译服务-含全部源代码

实现目标 1、支持文本中英文互译&#xff1b; 2、支持中文语音输入&#xff1b; 3、支持英文语言输入&#xff1b; 进阶&#xff08;未实现&#xff09; 4、优化web界面&#xff1b; 5、优化语音输入js实现逻辑&#xff1b; 6、增加语音输入自纠错模型&#xff0c;纠正语音识别…
阅读更多...
代码随想录算法训练营第三十二天| 122.买卖股票的最佳时机II，55. 跳跃游戏 ，45.跳跃游戏II

代码随想录算法训练营第三十二天| 122.买卖股票的最佳时机II，55. 跳跃游戏 ，45.跳跃游戏II

122. 买卖股票的最佳时机 II - 力扣&#xff08;LeetCode&#xff09; class Solution {public int maxProfit(int[] prices) {if(prices.length 0){return 0;}int min prices[0];int result 0;for(int i1;i<prices.length;i){if(prices[i] > min){result (prices[i]…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023