强化学习笔记7——DDPG到TD3

前提：基于TD 的方法多少都会有高估问题，即Q值偏大。原因两个：一、TD目标是真实动作的高估。 二：自举法高估。
在这里插入图片描述

DDPG 属于AC方法：异策略，适合连续动作空间，因为他的策略网络直接输出的动作，是向量就表示执行的动作。
而之前的PPO是输出动作的均值和方差，DQN 等输出每个动作的概率

在这里插入图片描述在这里插入图片描述################## ### ###################相当于 TDerror 的两部分用两个网络预测 ###################### ########

TD3参考

TD3 相比DDPG 改进其实就是 针对不稳定、高估问题，加了两个策略网络和价值网络。即targetNet 和 mainNet ,和之前DQN的做法很像。
在这里插入图片描述
在这里插入图片描述

针对 Critic网络预测Q 偏大问题，设置两个Critic 同时估计Q ，然后选择小的那一个Q再做error

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/bicheng/71214.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

算法——结合实例了解Minimax算法（极小化极大算法）

算法——结合实例了解Minimax算法（极小化极大算法）

计算机科学中最有趣的事情之一就是编写一个人机博弈的程序。有大量的例子，最出名的是编写一个国际象棋的博弈机器。但不管是什么游戏，程序趋向于遵循一个被称为Minimax算法，伴随着各种各样的子算法在一块。本篇将简要介绍 minimax 算法&#…
阅读更多...
腿足机器人之四- 卡尔曼滤波

腿足机器人之四- 卡尔曼滤波

腿足机器人之四卡尔曼滤波 概率学基础贝叶斯准则熵 卡尔曼滤波扩展卡尔曼滤波信息滤波器 在机器人（四足、人形）领域，感知和行动的不确定性可能由多种因素引起，如传感器噪声、外部环境的变化、非精确控制以及实时性算力限制等。 和…
阅读更多...
基于AWS云平台的法律AI应用系统开发方案

基于AWS云平台的法律AI应用系统开发方案

该方案可实现法律文档处理速度提升300%，关键信息提取准确率可达92%以上（基于实际测试数据），适合构建企业级法律智能中台。建议采用分阶段实施策略，优先实现文档解析和智能问答模块。 一、技术栈规划 层级技术组件说明…
阅读更多...
使用 GPT-SoVITS 克隆声音，很详细

使用 GPT-SoVITS 克隆声音，很详细

使用 GPT-SoVITS 克隆声音，很详细 一、前言二、下载三、启动四、克隆声音1、准备克隆音频2、分离人声伴奏3、音频分割4、语音降噪5、ASR工具6、语音文本校对标注工具7、训练模型8、微调训练9、推理 一、前言 最近对文本转语言很感兴趣，但对直接在网站上…
阅读更多...
基于Python的Flask微博话题舆情分析可视化系统

基于Python的Flask微博话题舆情分析可视化系统

2024数据 ✅️标价源码 远程部署加 20 ✅️爬虫可用 有六月数据 ✅️修复bug不会突然打不开网页 系统稳定 系统的功能如下: 1.数据的爬取 2.用户的登录注册 3.热词统计，舆情统计 4.文章统计分析 5.发布地址统计 6.评论统计 7.情感分类统计 编程语言：py…
阅读更多...
Pygame中自定义事件处理的方法2-2

Pygame中自定义事件处理的方法2-2

在《Pygame中自定义事件处理的方法2-1》中提到了处理自定义事件的方法。通过处理自定义事件，可以实现动画等效果。 1 弹跳小球程序 通过处理自定义事件，可以实现弹跳小球程序，如图1所示。 图1 弹跳小球程序 2 弹跳小球程序原理 实现弹跳小…
阅读更多...
【Flink快速入门-5.流处理之多流转换算子】

【Flink快速入门-5.流处理之多流转换算子】

流处理之多流转换算子 实验介绍 前面实验中介绍的算子已经能够满足我们的大部分开发需求了，但是在实际工作中有时候还会遇到一些业务场景，例如需要摄入多个输入流并将其合并处理，或者需要将一条输入流分割为多条子流，在不同的子…
阅读更多...
【STM32】DRV8833驱动电机

【STM32】DRV8833驱动电机

1.电机如何转动 只需要给电机两个端子加一正一负的极性就会转起来了，但是要注意的是不要将电机两端直接接在5v和gnd之间，这种电机一般要提供几百毫安的电流，而GPIO口只能提供几毫安，所以我们使用一个DRV8833来驱动 DRV8833输入口…
阅读更多...
vue2老版本 npm install 安装失败_安装卡主

vue2老版本 npm install 安装失败_安装卡主

vue2老版本 npm install 安装失败_安装卡主 特别说明：vue2老版本安装慢、运行慢，建议升级vue3element plus vite 解决方案1： 第一步、修改npm 镜像为国内镜像 使用淘宝镜像： npm config set registry https://registry.npmmir…
阅读更多...
Linux相关概念和易错知识点（27）（认识线程、页表与进程地址空间、线程资源划分）

Linux相关概念和易错知识点（27）（认识线程、页表与进程地址空间、线程资源划分）

目录 1.认识线程 （1）进程与线程的关系 （2）最小执行流 （3）轻量级进程（LWP） ①对task_struct的理解 ②轻量级进程 ③LWP和TCB的区别 2.页表与进程地址空间 （1&…
阅读更多...
GitHub基本操作及Git简单命令

GitHub基本操作及Git简单命令

GitHub简介 GitHub就是一个远程仓库，远程仓库可以理解为就是一个可以保存自己代码的地方，在实际开发当中一个项目往往是有多个人来共同协作开发完成的，那么就需要一个统一代码保存的地方，而GitHub就是起到一个共享和汇总代码的作…
阅读更多...
数据结构（陈越，何钦铭）第三讲 树（上）

数据结构（陈越，何钦铭）第三讲 树（上）

3.1 树与数的表示 3.1.1 顺序查找 int SequentialSearch(List Tbl,ElementType K){int i;Tbl->Element[0]K;for(iTbl->Length;Tbl->Element[i]!K;i--);return i; } typedef struct LNode *List; struct LNode{ElementType Element[MAXSIZE];int Length; };3.1.2 二分…
阅读更多...
【PYTORCH】官方的turoria实现中英文翻译

【PYTORCH】官方的turoria实现中英文翻译

参考 https://pytorch.org/tutorials/intermediate/seq2seq_translation_tutorial.html 背景 pytorch官方的是seq2seq是法语到英文，做了一个中文到英文的。 数据集 下载后解压，使用的data\testsets\devset\UNv1.0.devset.zh和UNv1.0.devset.en&#x…
阅读更多...
仿叮咚买菜鸿蒙原生APP

仿叮咚买菜鸿蒙原生APP

# DingdongShopping 这是一个原生鸿蒙版的仿叮咚买菜APP项目 鸿蒙Next发布至今已经有一年多的时间了，但有时候我们想要实现一些复杂的功能或者效果，在开发文档上查阅一些资料还是比较费时的，有可能还找不到我们想要的内容。而社会层面上分享…
阅读更多...
VSCode 接入DeepSeek V3大模型，附使用说明

VSCode 接入DeepSeek V3大模型，附使用说明

VSCode 接入DeepSeek V3大模型，附使用说明 由于近期 DeepSeek 使用人数激增，服务器压力较大，官网已 暂停充值入口 ，且接口响应也开始不稳定，建议使用第三方部署的 DeepSeek，如 硅基流动 或者使用其他模型/插件，如 豆包免费AI插件 MarsCode、阿里免费AI插件 TONGYI Lin…
阅读更多...
中上211硕对嵌入式AI感兴趣，如何有效规划学习路径？

中上211硕对嵌入式AI感兴趣，如何有效规划学习路径？

今天给大家分享的是一位粉丝的提问，中上211硕对嵌入式AI感兴趣，如何有效规划学习路径？ 接下来把粉丝的具体提问和我的回复分享给大家，希望也能给一些类似情况的小伙伴一些启发和帮助。 同学提问： 中上211，…
阅读更多...
Linux 目录结构与基础命令学习记录

Linux 目录结构与基础命令学习记录

在 Linux 的学习旅程中，熟练掌握基础命令是开启高效操作与系统管理的钥匙。这些命令不仅能帮助我们在 Linux 系统中自由穿梭，还能深入了解系统的运行状态。以下是我对 Linux 基础命令的学习总结，希望能为大家的 Linux 学习提供帮助。 一、Lin…
阅读更多...
python学opencv|读取图像（六十五）使用cv2.boundingRect()函数实现图像轮廓矩形标注

python学opencv|读取图像（六十五）使用cv2.boundingRect()函数实现图像轮廓矩形标注

【1】引言 前序学习进程中，已经使用cv2.findContours()函数cv2.drawContours()函数实现图像轮廓识别和标注，这种标注沿着图像的轮廓进行，比较细致。相关文章链接为： python学opencv|读取图像（六十四）使用…
阅读更多...
Visionpro 齿轮测量

Visionpro 齿轮测量

效果展示 一、题目要求 求出最大值，最小值，平均值 二、分析 1.首先要进行模板匹配 2.划清匹配范围 3.匹配小三角的模板匹配 4.卡尺 5.用找圆工具 工具 1.CogPMAlignTool 2.CogCaliperTool 3.CogFindCircleTool 4.CogFixtureTool 三、模板匹…
阅读更多...
【ISO 14229-1:2023 UDS诊断（会话控制0x10服务）测试用例CAPL代码全解析②】

【ISO 14229-1:2023 UDS诊断（会话控制0x10服务）测试用例CAPL代码全解析②】

ISO 14229-1:2023 UDS诊断【会话控制0x10服务】_TestCase02 作者：车端域控测试工程师 更新日期：2025年02月15日 关键词：UDS诊断、0x10服务、诊断会话控制、ECU测试、ISO 14229-1:2023 TC10-002测试用例 用例ID测试场景验证要点参考条款预期…
阅读更多...
最新文章

Copyright @ 2022~2023