Q-Learning学习笔记-李宏毅

introduction

  • 学习的并不是policy,而是学习critic,critic用来评价policy好还是不好;
  • 一种critic:state value function V π ( s ) V^\pi(s) Vπ(s)是给定一个policy π \pi π,在遇到state s s s之后累积的reward的期望值,以游戏举例也就是一个actor在看到某一个画面 s s s之后直到游戏结束预期可以获得多大的value,更直观的解释是到达游戏的某一个节点state s s s,当前游戏还可以得多少分,critic需要和一个特定的actor绑定才可以得到evaluate;
  • 如何衡量 V π ( s ) V^\pi(s) Vπ(s),有两种方法,其一是Monte-Carlo,给出一个state玩游戏到最后会得到一个value,收集多个 s t a t e , v a l u e state,value state,value对,然后将 V π ( s ) V^\pi(s) Vπ(s)看做一个network,当做一个回归问题进行训练;另一种方法是Temporal-difference(TD) based方法,基于的是 V π ( s t ) = V π ( s t + 1 ) + r t V^\pi(s_t) = V^\pi(s_{t + 1})+ r_t Vπ(st)=Vπ(st+1)+rt,在这种方法之下就不需要玩完一整场游戏才能获得reward值,而是在当前state为 s t s_t st的情况下,采取action a t a_t at,此时会转到 s t + 1 s_{t + 1} st+1,并且会获得一个reward r t r_t rt,此时模型最后追求的不是像方法1一样输出一场游戏总的reward,而是要尽量保证 V π ( s t ) − V π ( s t + 1 ) = r t V^\pi(s_t) - V^\pi(s_{t + 1}) = r_t Vπ(st)Vπ(st+1)=rt,模型还是输出value,但是损失函数是根据差值和reward接近得到的;
  • 两种方法的对比MC的variance比TD方法大;
  • 另一种critic:state-action value function Q π ( s , a ) Q^\pi(s,a) Qπ(s,a),当给定actor π \pi π,在遇到state s s s的时候采取action a a a后reward的期望值,有两种network形式一种是输入 s , a s,a s,a输出一个常量代表value,另一种是输入 s s s输出在 a a a取不同值的时候的value值;
  • 有了critic就可以进行Q-learning,过程,首先初始化一个policy π \pi π,然后学习其对应的critic Q π Q^\pi Qπ,之后就可以更新policy π ′ \pi' π,这个 π ′ \pi' π π \pi π好,得到的方式 π ′ ( s ) = a r g m a x a Q π ( s , a ) \pi'(s) = arg\ \underset{a}{max} Q^\pi(s,a) π(s)=arg amaxQπ(s,a),可以看到 π ′ \pi' π是通过Q解优化方程得到的,这个过程反复迭代下去,这个优化在action是离散的时候可以比较好解,连续时候,更新之后的 π ′ \pi' π比之前的 π \pi π好,是有对于任意的state s s s V π ′ ( s ) ≥ V π ( s ) V^{\pi'}(s)\geq V^\pi(s) Vπ(s)Vπ(s)
  • Target Network:在训练TD类critic的时候,有两个network,一个输入 ( s t , a t ) (s_t,a_t) (st,at),输出 Q π ( s t , a t ) Q^\pi(s_t,a_t) Qπ(st,at),另一个输入 ( s t + 1 , π ( s t + 1 ) ) (s_{t + 1},\pi(s_{t + 1})) (st+1,π(st+1))输出 Q π ( s t + 1 , π ( s t + 1 ) ) Q^\pi(s_{t + 1},\pi(s_{t + 1})) Qπ(st+1,π(st+1)),然后训练是通过计算两个输出的差值和 r t r_t rt计算损失得到的,但是此时不好训练,所以将第二个network固定住,第二个网络也叫做Target Network,当然Target Network也不是完全不更新,一般是将第一个网络更新一定次数之后再直接用第一个network的参数更新Target Network的参数,只是不要两个network一起参与训练;
  • Exploration:在第二种critic中,更新 π \pi π的方式是 π ′ ( s ) = a r g m a x a Q π ( s , a ) \pi'(s) = arg\ \underset{a}{max} Q^\pi(s,a) π(s)=arg amaxQπ(s,a),由于结果是sample来进行的,所以会出现偏差,而且偏差会持续下去,一个比较实际的例子是进一家吃饭,点到一个还可以的饭,之后就会一直点他,但是可能还有更好吃的;所以要给这个过程添加一些扰动,有两种方法,其一是Epsilon Greedy: a = { a r g m a x a Q ( s , a ) , w i t h p r o b a b i l i t y 1 − ϵ r a n d o m o t e h r w i s e a = \begin{cases}arg\ \underset{a}{max}Q(s,a),&with\ probability\ 1-\epsilon\\random & otehrwise\end{cases} a={arg amaxQ(s,a),randomwith probability 1ϵotehrwise;另一种方法是Boltzmann Exploration: P ( a ∣ s ) = e x p ( Q ( s , a ) ) ∑ a e x p ( Q ( s , a ) ) P(a|s) = \frac{exp(Q(s,a))}{\sum_aexp(Q(s,a))} P(as)=aexp(Q(s,a))exp(Q(s,a))以确保尽管几率小,但是行为还是有概率被取到;
  • Replay Buffer:将数据都放到一个buffer里面,有一个限制的大小,在buffer满的时候将旧的数据丢掉,每次训练的时候就随机选出一个batch的数据,然后训练Network;这样就是一个off-policy的做法,因为数据不是全由当前policy得到的,可能是由历史policy得到的;
  • 一个典型的Q-Learning算法:在这里插入图片描述

训练Q-Learning的tips

  • Q value is usually over-estimated:因为原来回归的目标 Q ( s t , a t ) → r t + m a x a Q ( s t + 1 , a ) Q(s_t,a_t)\rightarrow r_t + \underset{a}{max}Q(s_{t + 1},a) Q(st,at)rt+amaxQ(st+1,a),这样每次都偏向于选择被高估的action来作为目标,缓解办法:double DQN,回归目标换成 Q ( s t , a t ) → r t + Q ′ ( s t + 1 , a r g m a x a Q ( s t + 1 , a ) ) Q(s_t,a_t)\rightarrow r_t + Q'(s_{t + 1}, arg\ \underset{a}{max}Q(s_{t + 1},a)) Q(st,at)rt+Q(st+1,arg amaxQ(st+1,a)),这个 Q ′ Q' Q就是Target Network;
  • Dueling DQN:修改了Network的架构,原来是直接输出Q value,现在是分为两条支路,分别输出 V ( s ) , A ( s , a ) V(s),A(s,a) V(s),A(s,a),最后的Q value是两个输出的加和,好处,现在假设更新了state,那么 V ( s ) V(s) V(s)变化了,得到的Q value的值在每个state下都会变化,而不是只有在sample到对于state的情况下才能变化,在训练的时候还会加上constraint, A ( s , a ) A(s,a) A(s,a)对于某个state的加和为0;
  • Prioritized Reply:在buffer中采样的时候加上权重,增加困难样本的权重;
  • multi-step:在buffer里面存储的数据不仅仅是一步,而是存的多步,MC和TD之间的balance;
  • Noisy Net:exploration的另一种方法,在network的参数上面加上noise,上面epsilon exploration是在action上面加noise;

Q-Learning for Continuous Actions

  • action a a a是一个连续的vector,此时解 a = a r g m a x a Q ( s , a ) a = arg\ \underset{a}{max}Q(s,a) a=arg amaxQ(s,a)比较难,此时没有办法枚举所有action来算出哪一个action的value最大;
  • 方法1:sample一个action集合,之后计算看那个action的Q value最大;
  • 方法2:用梯度下降的方法来解上面那个优化问题;
  • 方法3:专门设计一个network来使得上面的优化容易,对于 Q π Q^\pi Qπ,输入state s s s,输出 μ ( s ) , ∑ ( s ) , V ( s ) \mu(s),\sum(s),V(s) μ(s),(s),V(s),分别是vector,matrix,scalar,最后的Q value的计算是 Q ( s , a ) = − ( a − μ ( s ) ) T ∑ ( s ) ( a − μ ( s ) ) + V ( s ) Q(s,a) = -(a - \mu(s))^T\sum(s)(a - \mu(s)) + V(s) Q(s,a)=(aμ(s))T(s)(aμ(s))+V(s),此时 μ ( s ) = a r g m a x a Q ( s , a ) \mu(s) = arg\ \underset{a}{max}Q(s,a) μ(s)=arg amaxQ(s,a),因为上面 Q ( s , a ) Q(s,a) Q(s,a)的第一项一定是负的,越靠近0越好;

ref
https://www.youtube.com/watch?v=tnPVcec22cg&list=PLJV_el3uVTsODxQFgzMzPLa16h6B8kWM_&index=5&ab_channel=Hung-yiLee

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/14103.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

狙击交易策略加强版与普通版5点区别,WeTrade众汇盘点

通过之前的文章想必各位投资者都已经知道了什么是狙击交易策略,以及如何使用,WeTrade众汇本着严谨的态度,对狙击战术进行了大致梳理,发现其主要更新集中在2015至2017年间。但是研发者并未止步于此。2018年之后,他们又推…

C++调用dll的方法

代码如下&#xff1a; #pragma once#include <Windows.h>using namespace std;class Test_ExportDll { public:typedef char* (_stdcall *Get_dll_versionPROC)(void);Get_dll_versionPROC Get_dll_version;typedef bool (_stdcall *Port_ClosePROC)(unsigned int Index…

子分支想主分支发起合并请求

请求合并 1.点击 git Web 页右上角打开 Merge requests 进入新页&#xff0c;点击右上角。注意选择要合并的项目 2.左边是源分支&#xff0c;右边是要合并的目标分支。 3.最后点击左下角绿色按钮 4.第一个红框 Assignee&#xff0c;选择要通知去合并的人。第二个红框不动&#…

Java面试题--基础篇,更新中...

1、 Java语言有哪些特点 简单易学、有丰富的类库 面向对象&#xff08;Java最重要的特性&#xff0c;让程序耦合度更低&#xff0c;内聚性更高&#xff09; 与平台无关性&#xff08;JVM是Java跨平台使用的根本&#xff09; 可靠安全 支持多线…

【shell】 break和continue的区别

break 是用于循环退出&#xff0c;而 continue 是结束本次循环&#xff0c;进入下一次循环。 1 break的使用 [rootopenEuler ~]# cat break.sh #!/bin/bashfor i in seq 9 doif [ $i -eq 5 ] ; thenbreakelseecho $ifi done [rootopenEuler ~]# bash break.sh 1 2 3 4 2 c…

Selenium的百度高级搜索-自动化(未完成)

from selenium import webdriver from selenium.webdriver import ActionChainsdriver webdriver.Chrome() driver.implicitly_wait(10) driver.maximize_window() driver.get("https://www.baidu.com/")# 鼠标悬停(难点) setting driver.find_element_by_id("…

【NPS】微软NPS配置802.1x,验证域账号,动态分配VLAN(WLC篇)

距离上一篇【NPS】微软NPS配置802.1x&#xff0c;验证域账号&#xff0c;动态分配VLAN&#xff08;NPS篇&#xff09;已经过去了近两周了&#xff0c;因为工作原因一直没有来得及更新在WLC上的设置&#xff0c;接下来我们来看一下如何在 Cisco Catalyst 9800-L Wireless Contro…

mysql实战——xtrabackup问题

备份恢复后启动不成功。 我测试了很多遍&#xff0c;最开始我以为备份后的数据文件没有pid造成的&#xff0c;所以一直测试 后来发现上图这样是正常的&#xff0c;mysqld_safe后就出现pid和sock文件 那启动失败的原因我认为是权限的问题&#xff0c;把数据文件目录权限全部设置…

golang websocket 发送消息莫名其妙断开的问题记录

概述 公司需要做个B/S架构的前端展示项目&#xff0c;当前以为是小case&#xff0c;但是在实现后端功能的时候&#xff0c;还是被坑了。 功能描述 项目需要实现的功能是调用外部第三方程序&#xff0c; 实时读取第三方程序的输出&#xff0c;发送到前端展示。因为懒得切换平…

使用Django框架搭建Web应用

文章目录 简介安装Django创建一个Django项目创建一个Django应用编写视图配置URL运行开发服务器总结与拓展数据库集成管理后台表单处理模板引擎安全性 简介 Django 是一款基于 Python 语言的开源 Web 应用框架&#xff0c;采用了 MVC&#xff08;模型-视图-控制器&#xff09;设…

Kubernetes 之 Deployment

Kubernetes 之 Deployment Deployment 定义 Deployment 是 Kubernetes 中最常用资源之一&#xff0c;为 ReplicaSet 和 Pod 的创建提供了一种声明式的定义方法。Kubernetes 通过定义一个Deployment 控制器会创建一个新的 ReplicaSet 资源&#xff0c;通过 ReplicaSet 资源创建…

初学者的终极SEO内容指南

为您的网站吸引自然流量是搜索引擎优化 &#xff08;SEO&#xff09; 的关键部分&#xff0c;而实现这一目标的最佳方法之一是通过 SEO 内容。 SEO内容采用优化最佳实践来帮助你的网站被搜索引擎注意到。但问题是&#xff0c;你如何写出好的SEO内容&#xff1f;这就是我们今天…

vue3 websocket实现心跳

实现场景 该需求是运用websocket进行网页之间通讯&#xff0c;同时保证websocket在通讯期间保持激活的状态。 功能分析 1、在websocket报错时&#xff0c;重新苏醒。 2、在websocket自动关闭时&#xff0c;重新连接。 3、在通讯期间&#xff0c;整个websocket能接受消息&#…

Redis 主从复制、哨兵与集群

一、Redis 主从复制 1. 主从复制的介绍 主从复制&#xff0c;是指将一台Redis服务器的数据&#xff0c;复制到其他的Redis服务器。前者称为主节点(Master)&#xff0c;后者称为从节点(Slave)&#xff1b;数据的复制是单向的&#xff0c;只能由主节点到从节点。 默认情况下&a…

现在的年轻人,怎么这么要脸?

从5月初到现在&#xff0c;在你的社交圈&#xff0c;一定看到过这样「灰头土脸」的照片吧&#xff01;从朋友圈到微博、到QQ、到Soul&#xff0c;一夜之间&#xff0c;小柴的社交圈像是刮了一场「沙尘暴」。 简直是「丑」到了所有人的心坎里&#xff01;所有人乐此不疲地把自己…

element plus校验日期格式为 type=“datetimerange“的方法

校验日期格式为数组格式时 :rules[{type:“arr”,…}] 失效 可以按照如下方法校验日期开始结束时间 rules: {planDate:[{type: "array",required: true,message: "请选择计划周期",trigger: "change",fields: {0: { type: "date", re…

java+Angular+Nginx+原生HTML+JS+CSS+Jquery融合B/S版电子病历系统云HIS系统源码

javaAngularNginx原生HTMLJSCSSJquery融合B/S版电子病历系统云HIS系统源码 Java版云HIS系统融合电子病历系统&#xff0c;是医学专用软件。医院通过电子病历以电子化方式记录患者就诊的信息&#xff0c;包括&#xff1a;首页、病程记录、检查检验结果、医嘱、手术记录、护理记录…

python 使用OCR 识别woff字体文件

做数据获取安**时发现请求返回的数据跟woff字体有关&#xff0c;这里写一个使用OCR识别方法&#xff0c; 1、重要部分的原理是解析woff文件&#xff0c;并将woff字体转为图片&#xff0c;并将字体编码与字体图片相对应&#xff0c;便于之后的数据解密解析。 2、使用的是muggl…

高性能推理框架漫谈

传统模型分布式推理框架 Tensorflow servingPytorch ServingTriton Server 大语言模型的推理框架 其中&#xff0c; VLLM 后端接入了Ray 框架&#xff0c; 作为调度请求的分发处理&#xff1b;除此之外&#xff0c;还包括Nvidia 最新推出的TensorRT-LLM&#xff0c; 增加了对…

【制作100个unity游戏之28】花半天时间用unity复刻童年4399经典小游戏《黄金矿工》(附带项目源码)

最终效果 文章目录 最终效果前言素材模拟绳子钩子来回摆动发射回收钩子方法发射钩子回收钩子勾取物品随机生成物品其他源码完结 前言 在游戏发展史上&#xff0c;有些游戏以其简单而耐玩的特性&#xff0c;深深地烙印在了玩家的记忆中。《黄金矿工》就是其中之一&#xff0c;它…