吴恩达机器学习 第三课 week3 强化学习(月球着陆器自动着陆)

目录

01 学习目标

02 概念

2.1 强化学习

2.2 深度Q学习(Deep Q-Learning )

03 问题描述

04 算法中的概念及原理 

05 月球着陆器自动着陆的算法实现

 06 拓展:基于pytorch实现月球着陆器着陆

07 总结


写在最前:关于强化学习及lunar lander问题有很多技术贴,作者尚未理解透彻,不作全面深入的原理讲解,本文仅作吴恩达老师课程的课后代码实现之用途!

01 学习目标

     (1)理解什么强化学习

     (2)利用深度Q学习(Deep Q-Learning)算法实现月球着陆器自动着陆

02 概念

2.1 强化学习

       强化学习(Reinforcement Learning,简称RL)是一种机器学习方法,主要研究智能体(agent)如何在环境中采取行动以最大化某种累积奖励。在强化学习中,智能体通过与环境的交互来学习,即通过尝试不同的动作并观察结果,逐步优化其行为策略。

       强化学习的基本要素包括:

           1. 状态(State):描述环境当前情况的信息。
           2. 动作(Action):智能体可以执行的操作。
           3. 奖励(Reward):环境对智能体执行动作后的反馈,用于指导智能体的学习过程。
           4. 策略(Policy):智能体选择动作的规则或策略,可以是确定性的或概率性的。
           5. 价值函数(Value Function):评估状态或状态-动作对的好坏,通常用于指导策略的改进。
           6. 模型(Model):可选,表示环境的状态转移和奖励函数。

        强化学习的目标是找到一个最优策略,使得智能体在长期运行中获得的累积奖励最大化。常见的强化学习算法有Q-Learning、Deep Q-Networks (DQN)、Policy Gradients、SARSA、DDPG、PPO(近端策略优化算法)等。强化学习在游戏、机器人控制、自动驾驶、推荐系统等多个领域都有广泛的应用。例如,在AlphaGo中,深度强化学习被用来训练围棋AI,使其能够战胜世界顶级棋手。

2.2 深度Q学习(Deep Q-Learning )

       Deep Q-Learning 是一种强化学习方法,它将传统的 Q-Learning 的概念扩展到了使用深度神经网络来近似 Q 函数。在传统的 Q-Learning 中,Q 值通常是在一个表格中存储和更新的,这种方法在状态空间有限且较小的情况下效果很好。然而,对于高维状态空间或连续状态空间,表格方法不再可行,因为所需的存储量会变得非常庞大。而Deep Q-Learning 通过使用深度神经网络,也就是Deep Q-Network作为函数逼近器来克服这一限制。

DQN 有以下2个关键技术点:

    (1)经验回放(Experience Replay):DQN 使用经验回放缓冲区存储过去的经验(状态、动作、奖励、下一个状态),然后从中随机抽取一批数据来训练网络,这有助于打破数据的相关性,避免过度拟合最近的数据。

    (2)目标网络(Target Network):DQN 使用两个神经网络,一个是主网络(或在线网络),用于决策;另一个是目标网络,用于计算目标 Q 值。目标网络的参数定期从主网络同步过来,这样做是为了让目标 Q 值的计算更加稳定,避免训练过程中的振荡。

03 问题描述

       这是一个经典的强化学习案例,旨在让月球着陆器(Lunar Lander)通过算法自己学会如何安全地着陆到两面小旗中间的平台上。如下图所示:

04 算法中的概念及原理 

    先了解下动作空间(action space)和观察空间(obersevation space)的概念:什么是 Gym 中的观察空间(Observation Space)和动作空间(Action Space)?icon-default.png?t=N7T8https://zhuanlan.zhihu.com/p/658889348

    着陆器的动作空间包括4个动作:

0:什么都不做2:点火主引擎
1:点火左定向引擎3:点火右定向引擎

    着陆器的观察空间包括8个状态:

x:着陆器的 x 坐标θ:着陆器的角度
y:着陆器的 y坐标θ':着陆器的角速度
x':着陆器在 x 方向的线速度l:着陆器的左腿是否与地面接触(布尔值)
y':着陆器在 y 方向的线速度r:着陆器的右腿是否与地面接触(布尔值)

    奖励 Rewards的设计:

       每一步都会获得一个奖励。一个 episode(回合)总奖励是该 episode 中所有步骤的奖励之和。对于每一步,奖励如下:

      着陆器离着陆点越近/远,奖励增加/减少;

      着陆器移动越慢/快,奖励增加/减少;

      着陆器倾斜度越大,奖励减少;

      每个与地面接触的腿奖励增加10分;

      每帧侧引擎点火,奖励减少0.03分;

      每帧主引擎点火,奖励减少0.3分;

      episode 因坠毁或安全着陆而额外获得-100或+100分的奖励。

如果一个 episode 得分至少为200分,则训练停止。

       贝尔曼方程:

Q_{i+1}(s,a)=R+\gamma max_{a'}Q_i(s',a')

式中Q_{i+1}(s,a)动作-价值函数(action-value,Q函数), Q函数表示在给定状态 s下,采取动作 a后获得的期望累积回报。R为当前状态的奖励,γ为折扣因子,s'、a'表示下一个状态和动作。上式表示了agent在环境中总会选择奖励最大的动作,当执行动作次数足够多时(i→∞),Q就是最优解"Q(s,a;w)"。根据Q函数建立的神经网络称为“Q-network”,Q网络。

       算法的核心:

       算法中包含两个神经网络:一个是目标Q网络(target Q network)、另一个是Q网络(Q network)。两个神经网络结构一样而参数不同,为“一前一后”关系,Q网络更新快而目标Q网络更新慢。不断地训练“目标Q网络”与“Q网络”,并通过控制两者间损失来可达到降低更新速度、增强稳定性的目的。每个回合结束计算两个Q之间的误差,如下:

Loss=[R+\gamma max_{a'}\hat{Q}(s',a';w')]-Q(s,a;w)

       每个回合结束agent会自动更新两个Q网络的参数,算法中为了agent表现稳定采用的“软更新”技术,如下式:

w'_{i+1}=\alpha w_i+(1-\alpha )w'_i

       式中,\alpha为学习率,一般设置为非常小的值。w'目标Q网络的参数,wQ网络的参数。这样子,agent的目标Q网络的新参数w'_{i+1}、也就是新经验中,有一大部分是基于之前回合的旧经验w'_i而仅小部分来自最近一个回合学到的新经验w_i

05 月球着陆器自动着陆的算法实现

       (1)导包

import time
from collections import deque, namedtupleimport gymnasium as gym
#import gym
import numpy as np
import PIL.Image
import tensorflow as tf
import utilsfrom pyvirtualdisplay import Display
from pyglet.gl import gl
from tensorflow.keras import Sequential
from tensorflow.keras.layers import Dense, Input
from tensorflow.keras.losses import MSE
from tensorflow.keras.optimizers import Adam

    (utils是吴恩达老师编写的计算模块,包括get_experiences、check_update_conditions、get_new_eps、get_action、update_target_network和plot_history等函数)

     (2)设置超参数

# 为TensorFlow设置随机种子
tf.random.set_seed(utils.SEED)
# 设置超参数
MEMORY_SIZE = 100_000     # 设置经验缓冲区的大小
GAMMA = 0.995             # 折扣因子
ALPHA = 1e-3              # 学习率
NUM_STEPS_FOR_UPDATE = 4  # 每4步执行一次学习更新

     (3)模拟环境

# 加载月球模拟环境
env = gym.make('LunarLander-v2', render_mode='rgb_array')# 设置初始状态
env.reset()
PIL.Image.fromarray(env.render())

      LunarLander-v2是gym中模拟月球表面的虚拟环境。初始状态为agent位于显示窗口的中心顶部位置。运行以上代码,结果如下:

       (4)设置状态和动作

# 设置观察和动作变量
state_size = env.observation_space.shape
num_actions = env.action_space.n# 获取初始状态
initial_state = env.reset()
# 选择第1个动作
action = 0# step函数返回当前动作下的四个变量
next_state, reward, done, info, _= env.step(action)print('State Shape:', state_size)
print('Number of actions:', num_actions)
with np.printoptions(formatter={'float': '{:.3f}'.format}):print("Initial State:",initial_state)print("Action:",action)print("Next State:", next_state)print("Reward Received:", reward)print("Episode Terminated:", done)print("Info:", info)

        运行以上代码,结果如下:

     

       在Open AI的Gym环境中,使用.step()方法来运行环境动态的单个时间步。在我们使用的gym版本中,.step()方法接受一个动作并返回五个值(最后1个为空):

      observation(object):在月球着陆器环境中,对应于包含着陆器位置和速度的numpy数组,即前面所说的观测空间的状态。

      reward (float):采取特定行动所获得的奖励。在月球着陆器环境中,对应于前面描述的奖励。

      done (bool):当done为True时,它表示回合结束,可以重置环境进行下一回合了。

      Info (dictionary):用于调试的诊断信息。算法中并没有使用这个变量。

     (5)神经网络

# 创建 Q网络
q_network = Sequential([ Input(shape=state_size),Dense(units=64,activation='relu', name='qL1'),Dense(units=64,activation='relu', name='qL2'),Dense(units=num_actions, name='qL3') ])# 创建目标 Q网络
target_q_network = Sequential([Input(shape=state_size),Dense(units=64,activation='relu', name='tqL1'),Dense(units=64,activation='relu', name='tqL2'),Dense(units=num_actions, name='tqL3')])optimizer = Adam(learning_rate=ALPHA)

      (6)经验回放

# 将经验存储为命名元组
experience = namedtuple("Experience", field_names=["state", "action", "reward", "next_state", "done"])

(在Python中,namedtuplecollections模块中的一个函数,用于创建具有命名字段的小而简单的类。它非常适合用来创建只读的、轻量级的对象集合。Experience在这里被定义为一个namedtuple,用来存储智能体在环境中的经历,它有五个字段:state, action, reward, next_state, done

       定义损失函数:

def compute_loss(experiences, gamma, q_network, target_q_network):""" 损失函数Args:experiences: (tuple) 元组 ["state", "action", "reward", "next_state", "done"]gamma: (float) 折扣因子.q_network: (tf.keras.Sequential)  Q网络,用于预测q_valuestarget_q_network: (tf.keras.Sequential) 目标Q网络,用于预测y_targetsReturns:loss: (TensorFlow Tensor(shape=(0,), dtype=int32)) 返回目标Q网络和Q网络之间的均方误差."""# 返回经验states, actions, rewards, next_states, done_vals = experiences# 计算目标Q网络的最大值 max Q^(s,a)max_qsa = tf.reduce_max(target_q_network(next_states), axis=-1)# 贝尔曼方程计算目标Q网络的值y_targets = rewards + gamma * max_qsa * (1 - done_vals)# 获得Q网络估计值 q_valuesq_values = q_network(states)q_values = tf.gather_nd(q_values, tf.stack([tf.range(q_values.shape[0]),tf.cast(actions, tf.int32)], axis=1))# 计算loss loss = MSE(y_targets, q_values)return loss

      (7)更新网络参数

@tf.function  # 装饰器,可以将Python函数转换为TensorFlow图结构,函数中的所有操作都会在TensorFlow图中执行
def agent_learn(experiences, gamma):"""更新Q网络的权重参数.Args:experiences: (tuple) 元组["state", "action", "reward", "next_state", "done"]gamma: (float) 折扣因子."""# 计算损失函数with tf.GradientTape() as tape:loss = compute_loss(experiences, gamma, q_network, target_q_network)# 计算梯度gradients = tape.gradient(loss, q_network.trainable_variables)# 更新Q网络的权重参数optimizer.apply_gradients(zip(gradients, q_network.trainable_variables))# 更新目标Q网络的权重参数utils.update_target_network(q_network, target_q_network)

       (8)训练智能体(agent)

start = time.time()   # 开始计时num_episodes = 2000        # 训练回合总数
max_num_timesteps = 1000   # 每个回合训练步数total_point_history = []num_p_av = 100    # number of total points to use for averaging
epsilon = 1.0     # ε-greedy策略的初始值# 创建经验缓冲区
memory_buffer = deque(maxlen=MEMORY_SIZE)# target Q network的初始权重参数设置为与Q-Network相同
target_q_network.set_weights(q_network.get_weights())for i in range(num_episodes):# 每个回合开始时,重设环境得到初始状态state = env.reset()[0]total_points = 0for t in range(max_num_timesteps):# 使用ε-greedy策略,在当前状态s选择一个动作astate_qn = np.expand_dims(state, axis=0)q_values = q_network(state_qn)action = utils.get_action(q_values, epsilon)# 计算采取当前动作a可得到的奖励r,及下个状态s'next_state, reward, done, info, _ = env.step(action)# 储存经验元组 (S,A,R,S')至经验缓冲区memory_buffer.append(experience(state, action, reward, next_state, done))# 通过当前步数和缓冲区数据量判别是否达到更新条件update = utils.check_update_conditions(t, NUM_STEPS_FOR_UPDATE, memory_buffer)if update:# 随机选取经验样本experiences = utils.get_experiences(memory_buffer)# 梯度下降法更新网络参数agent_learn(experiences, GAMMA)state = next_state.copy()total_points += rewardif done:breaktotal_point_history.append(total_points)av_latest_points = np.mean(total_point_history[-num_p_av:])# 更新εepsilon = utils.get_new_eps(epsilon)print(f"\rEpisode {i+1} | Total point average of the last {num_p_av} episodes: {av_latest_points:.2f}", end="")if (i+1) % num_p_av == 0:print(f"\rEpisode {i+1} | Total point average of the last {num_p_av} episodes: {av_latest_points:.2f}")# 如果最近100个回合的平均分超过200分,停止训练if av_latest_points >= 200.0:print(f"\n\nEnvironment solved in {i+1} episodes!")q_network.save('lunar_lander_model.keras')breaktot_time = time.time() - startprint(f"\nTotal Runtime: {tot_time:.2f} s ({(tot_time/60):.2f} min)")# Plot the point history
utils.plot_history(total_point_history)

        运行以上代码,结果如下:

     

        (9)训练过程保存为视频

import logging
import imageio
import base64
import IPythonlogging.getLogger().setLevel(logging.ERROR)def create_video(filename, env, q_network, fps=30):with imageio.get_writer(filename) as video:done = Falsestate = env.reset()[0]frame = env.render()#frame = env.render(mode="rgb_array")video.append_data(frame)while not done:    state = np.expand_dims(state, axis=0)q_values = q_network(state)action = np.argmax(q_values.numpy()[0])state, _, done, _, _ = env.step(action)frame = env.render()frame = PIL.Image.fromarray(frame)video.append_data(frame)def embed_mp4(filename):"""Embeds an mp4 file in the notebook."""video = open(filename,'rb').read()b64 = base64.b64encode(video)tag = '''<video width="840" height="480" controls><source src="data:video/mp4;base64,{0}" type="video/mp4">Your browser does not support the video tag.</video>'''.format(b64.decode())return IPython.display.HTML(tag)filename = "./videos/lunar_lander.mp4"
create_video(filename, env, q_network)
embed_mp4(filename)

最后一步,我这里保存视频失败,生成的视频打不开,哪位大佬知道原因的可以在评论区解答下!

 06 拓展:基于pytorch实现月球着陆器着陆

        由于拿到吴恩达老师课程的代码后,折腾几天都跑不通,终于能跑了又不能生成视频,就先找了个大神的pytorch代码跑了下,可以正常训练和保存视频,基于tensorflow和pytorch的步骤都是一样的。链接放在下面:

【机器学习】强化学习(六)-DQN(Deep Q-Learning)训练月球着陆器示例-CSDN博客icon-default.png?t=N7T8https://blog.csdn.net/cxyhjl/article/details/135812771

07 总结

    (1)强化学习的高级之处在于:只需给定目标、设置好奖励机制,agent就可以自主学习完成任务,特斯拉最新的Optimus机器人身上就采用了强化学习。

    (2)强化学习实现着陆器着陆月球的主要内容包括:超参数、虚拟环境、两个Q神经网络、经验重放缓冲区、epsilon贪婪策略、软更新、训练agent,前6块内容柔和进了最后一步“训练agent”中,强化学习中很重要的奖励设置本文没有涉及,因为lunar lander的奖励机制在采用的env.step()方法中.。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/41638.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

python conda查看源,修改源

查看源 conda config --show-sources 修改源 可以直接vim .condarc修改源&#xff0c;

Shell学习——Shell变量

文章目录 Shell变量使用变量只读变量删除变量变量类型字符串变量&#xff1a; 在 Shell中&#xff0c;变量通常被视为字符串。整数变量&#xff1a; 在一些Shell中&#xff0c;你可以使用 declare 或 typeset 命令来声明整数变量。数组变量&#xff1a; Shell 也支持数组&#…

平价猫粮新选择!福派斯鲜肉猫粮,让猫咪享受美味大餐!

福派斯鲜肉猫粮&#xff0c;作为一款备受铲屎官们青睐的猫粮品牌&#xff0c;凭借其卓越的品质和高性价比&#xff0c;为众多猫主带来了健康与美味的双重享受。接下来&#xff0c;我们将从多个维度对这款猫粮进行解析&#xff0c;让各位铲屎官更加全面地了解它的魅力所在。 1️…

【三】ubuntu24虚拟机集群配置免密登陆

文章目录 环境背景1. 配置域名映射2. 配置免密登录2.1 在每台机器上生成SSH密钥对&#xff1a;2.2 将公钥分发到其他机器&#xff1a;2.2.1 报错问题2.2.2 修复方法 3. 验证免密登录在 ubuntu1 上&#xff1a;在 ubuntu2 上&#xff1a;在 ubuntu3 上&#xff1a; 测试连接 环境…

三级_02_网络系统结构与设计的基本原则

1.下列关于接入技术特征的描述中&#xff0c;错误的是()。 无线统一网络中AC如果发现某个AP出现故障&#xff0c;将自动调高周围AP的发射功率以覆盖出现的空洞 ADSL技术具有非对称带宽特性 APON是一种无线接入技术 Cable Modem利用频分复用的方法将信道分为上行信道和下行信…

Linux系统的服务——以Centos7为例

一、Linux系统的服务简介 服务是向外部提供对应功能的进程&#xff0c;其运行在系统后台&#xff0c;能够7*24小时持续不断的提供外界随时发来的服务请求&#xff0c;且服务进程常驻在内存中&#xff0c;具有固定的端口号&#xff0c;通过端口号就能找到服务内容。 提供服务的一…

【PB案例学习笔记】-27制作一个控制任务栏显示与隐藏的小程序

写在前面 这是PB案例学习笔记系列文章的第27篇&#xff0c;该系列文章适合具有一定PB基础的读者。 通过一个个由浅入深的编程实战案例学习&#xff0c;提高编程技巧&#xff0c;以保证小伙伴们能应付公司的各种开发需求。 文章中设计到的源码&#xff0c;小凡都上传到了gite…

柯西施瓦茨不等式证明过程

柯西-施瓦茨不等式&#xff08;Cauchy-Schwarz Inequality&#xff09;是数学分析中的一个重要不等式&#xff0c;它在向量空间、内积空间等多个领域都有广泛应用。对于实数或复数域上的内积空间&#xff0c;柯西-施瓦茨不等式可以表述为&#xff1a; 对于任意向量 u \mathbf…

Android Gradle 开发与应用 (七): Gradle 插件开发与发布

目录 一、概述 二、Gradle插件的基础知识 2.1 Gradle插件的定义 2.2 Gradle插件的种类 2.3 Gradle插件的生命周期 三、开发一个Gradle插件 3.1 创建Gradle插件项目 3.2 编写插件实现 3.3 配置插件元数据 3.4 构建和测试插件 3.5 在项目中应用插件 四、发布Gradle插…

计算机未来大方向的选择

选专业要了解自己的兴趣所在。 即想要学习什么样的专业&#xff0c;如果有明确的专业意向&#xff0c;就可以有针对性地选择那些专业实力较强的院校。 2.如果没有明确的专业意向&#xff0c;可以优先考虑一下院校。 确定一下自己想要选择综合性院校还是理工类院校或是像财经或者…

C语言结构体的相关知识

前言 从0开始记录我的学习历程&#xff0c;我会尽我所能&#xff0c;写出最最大白话的文章&#xff0c;希望能够帮到你&#xff0c;谢谢。 1.结构体类型的概念及定义 1.1、概念&#xff1a; 结构体是一种构造类型的数据结构&#xff0c; 是一种或多种基本类型或构造类型的数…

springboot集成gzip和zip数据压缩传输-满足2k数据自动压缩(适用大数据信息传输)

文章目录 1&#xff09;、springboot的gzip压缩-满足2k数据自动压缩1.1后端压缩1.2前端解压1.3 满足最小响应大小&#xff08;2KB&#xff09;和指定MIME类型的响应进行GZIP压缩yml配置自定义配置或者使用Java配置 2&#xff09;、gzip压缩1.1接口使用-数据压缩发送前端1.2 接口…

Java面试题系列 - 第3天

题目&#xff1a;Java集合框架详解与高效使用策略 背景说明&#xff1a;Java集合框架是Java标准库的重要组成部分&#xff0c;提供了一系列容器类&#xff0c;如List、Set、Map等&#xff0c;用于存储和操作集合数据。熟练掌握集合框架的使用&#xff0c;对于编写高效、健壮的…

机器学习之神经网络

简介 神经网络(Neural Network)是一种模仿人类大脑的机器学习算法,由一系列相互连接的神经元组成。它能够自动学习数据的特征和规律,并对新的输入数据进行预测和分类。 神经网络作为一种模仿生物大脑机制的机器学习算法,其产生和发展主要源于以下几个方面的背景: 对人脑认知…

第11章 规划过程组(二)(11.8排列活动顺序)

第11章 规划过程组&#xff08;二&#xff09;11.8排列活动顺序&#xff0c;在第三版教材第390~391页&#xff1b; 文字图片音频方式 第一个知识点&#xff1a;主要工具与技术&#xff08;重要知识点&#xff09; 1、箭线图法(ADM) &#xff08;双代号网络图或活动箭线图&am…

template配置项详情——03

<body> // vue.config是vue全局配置对象 // productionTip 属性可能设置是否生产提示信息 //默认值是&#xff1a;true,如果是false 则表示组织生产提示信息 vue.congfig.productionTip false //指定挂载位置 //注意&#xff1a;以下代码只有vue框架能够看懂的代码。…

windows USB 设备驱动开发- 不同模型下的控制传输

在不同的模型下&#xff0c;USB控制传输会有不同的特点&#xff0c;但是任何控制传输的目标都始终是默认端点。 接收者是设备的实体&#xff0c;其信息&#xff08;描述符、状态等&#xff09;是主机感兴趣的。请求可进一步分为&#xff1a;配置请求、功能请求和状态请求。 发…

leetcode力扣_双指针问题

141. 环形链表 思路&#xff1a;判断链表中是否有环是经典的算法问题之一。常见的解决方案有多种&#xff0c;其中最经典、有效的一种方法是使用 快慢指针&#xff08;Floyd’s Cycle-Finding Algorithm&#xff09;。 初始化两个指针&#xff1a;一个快指针&#xff08;fast&…

uni-app 使用Pinia进行全局状态管理并持久化数据

1.引言 最近在学习移动端的开发&#xff0c;使用uni-app前端应用框架&#xff0c;通过学习B站的视频以及找了一个开发模板&#xff0c;终于是有了一些心得体会。 B站视频1&#xff1a;Day1-01-uni-app小兔鲜儿导学视频_哔哩哔哩_bilibili B站视频2&#xff1a;01-课程和uni的…

JavaScript——for in类型

目录 任务描述 相关知识 for in型 编程要求 任务描述 苹果apple有多个属性表示它的产地&#xff0c;比如locationProvince表示省份&#xff0c;这些属性都以location开头&#xff0c;和产地无关的属性都不以location开头。 本关任务&#xff1a;完成一个计算苹果产地的函数…