人工智能AIGC培训讲师叶梓介绍及AI强化学习培训提纲

叶梓,上海交通大学计算机专业博士毕业,高级工程师。主研方向:数据挖掘、机器学习、人工智能。历任国内知名上市IT企业的AI技术总监、资深技术专家,市级行业大数据平台技术负责人。个人主页:大数据人工智能AI培训讲师叶梓_新浪博客 (sina.com.cn)

长期负责城市信息化智能平台的建设工作,开展行业数据的智能化应用研发工作,牵头多个省级、市级行业智能化信息系统的建设,主持设计并搭建多个省级、市级行业大数据平台。参与国家级人工智能课题,牵头上海市级人工智能示范应用课题研究。

带领团队在相关行业领域研发多款人工智能创新产品,成功落地多项大数据、人工智能前沿项目,其中信息化智能平台项目曾荣获:“上海市信息技术优秀应用成果奖”。带领团队在参加国际NLP算法大赛,获得Top1%的成绩。参与国家级、省级大数据技术标准的制定,曾获省部级以上的科技创新一等奖。

项目经历:

  1. 上海市城市信息化人工智能项目 项目负责人
  • 研发智能服务系统,包括:元宇宙与虚拟数字人、基于人工智能的内容生成(AIGC)、基于NLP技术的对话系统、基于深度学习的图像识别系统、基于智能推理的行业推荐系统。

相关工作:

作为项目总负责,负责项目管理、产品研发、系统分析、技术指导、算法指导等。

  1. 上海市城市智能信息化工程 总工程师
  • 采用大数据技术,建设市级信息平台,完成试点单位接入并采集居民相关信息,实现市级平台档案等服务,并实现所有单位的全面接入。
  • 为解决超量数据的存储与计算的问题,搭建了存储全市数据的云计算平台,并在其上进行了基于大数据的分析和挖掘工作。

相关工作:

作为总工程师,负责技术管理、系统分析、云平台数据存储设计、数据分析与挖掘指导、开发指导。

  1. 上海市城市信息化领域智能联网工程 技术经理
  • 建设内容包括:接入单位的联网;智能卡的实现;城市信息化智能平台的升级;科研平台的扩展与升级;建立决策支持系统;评估体系的展示设计;短信平台的实现;违规操作的提醒;协同智能服务平台的实现等。

相关工作:

作为技术经理负责总体架构设计、接口设计、大数据平台设计、AI技术指导等。

3. 主攻方向

具有扎实的数据挖掘、机器学习、深度学习等人工智能理论基础;了解AIGC等技术前沿动态。

精通机器学习、深度学习的理论、模型、算法、调优等;精通算法设计;

熟悉深度学习在自然语言处理、计算机视觉两大核心领域的实用技巧;

15年以上的程序开发经验,熟悉常用程序开发架构,独立完成多个产品级软件的设计与开发。

4.授课风采

  • 日立电梯 (中国) 有限公司

  • 中国管理科学研究院合作单位系列课程

  • 中国电信云公司上海研发中心

 

  • SONY

         

强化学习与深度强化学习

前言:

强化学习是当前最热门的研究方向之一,广泛应用于机器人学、电子竞技等领域。本课程系统性的介绍了强化学习(深度强化学习)的基本理论和关键算法,包括:马尔科夫决策过程、动态规划法、蒙特卡罗法、时间差分法、值函数逼近法,策略梯度法等;以及该领域的最新前沿发展,包括:DQN及其变种、信赖域系方法、Actor-Critic类方法、多Agent深度强化学习等;同时也介绍大量的实际案例,包括深度强化学习中最著名的工程应用:Alpha Go。

第一天 强化学习

第一课 强化学习综述

1.强化学习要解决的问题

2.强化学习方法的分类

3.强化学习方法的发展趋势

4.环境搭建实验(Gym,TensorFlow等)

5.Gym环境的基本使用方法

第二课 马尔科夫决策过程

1.基本概念:马尔科夫性、马尔科夫过程、马尔科夫决策过程

2.MDP基本元素:策略、回报、值函数、状态行为值函数

3.贝尔曼方程

4.最优策略

案例:构建机器人找金币和迷宫的环境

第三课 基于模型的动态规划方法

1.动态规划概念介绍

2.策略评估过程介绍

3.策略改进方法介绍

4.策略迭代和值迭代

案例:实现基于模型的强化学习算法

第四课 蒙特卡罗方法

1.蒙特卡罗策略评估

2.蒙特卡罗策略改进

3.基于蒙特卡罗的强化学习

4.同策略和异策略

案例:利用蒙特卡罗方法实现机器人找金币和迷宫

第五课 时序差分方法

1.DP,MC和TD方法比较

2.MC和TD方法偏差与方差平衡

3.同策略TD方法:Sarsa 方法

4.异策略TD方法:Q-learning 方法

案例:Q-learning和Sarsa的实现

第二天 从强化学习到深度强化学习

第一课 基于值函数逼近方法(强化学习)

1.维数灾难与表格型强化学习

2.值函数的参数化表示

3.值函数的估计过程

4.常用的基函数

第二课 基于值函数逼近方法(深度学习与强化学习的结合)

1.简单提一下深度学习

2.深度学习与强化学习的结合

3.DQN 方法介绍

4.DQN变种:Double DQN, Prioritized Replay, Dueling Network

案例:用DQN玩游戏——flappy bird

第三课 策略梯度方法(强化学习)

1.策略梯度方法介绍

2.常见的策略表示

3.常见的减小方差的方法:引入基函数法,修改估计值函数法

案例:利用gym和tensorflow实现小车倒立摆系统等

第四课 Alpha Go(深度学习与强化学习的结合)

1.MCTS

2.策略网络与价值网络

3.Alpha Go的完整架构

第五课 GAN(深度学习)

1.VAE与基本GAN

2.DCGAN

3.WGAN

案例:生成手写数字的GAN

第三天 深度强化学习进阶

第一课 AC类方法-1

1. PG的问题与AC的思路

2. AC类方法的发展历程

3. Actor-Critic基本原理

第二课 AC类方法-2

1. DPG方法

2. DDPG方法

3. A3C方法

案例:AC类方法的案例

第三课 信赖域系方法-1

1.信赖域系方法背景

2.信赖域系方法发展路线图

3.TRPO方法

案例:TRPO方法的案例

第四课 信赖域系方法-2

1.PPO方法

2.DPPO方法简介

3.ACER方法

案例:PPO方法的案例

第五课 多Agent强化学习

1.矩阵博弈

2.纳什均衡

3.多人随机博弈学习

4.完全合作、完全竞争与混合任务

5.MADDPG

案例:MADDPG的案例等

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/203720.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

9大高效的前端测试工具与框架!

在每个Web应用程序中,作为用户直接可见的应用程序外观,“前端”包括:图形化的用户界面、相应的功能、及其整体站点的可用性。我们可以毫不夸张地说:如果前端无法正常工作,您将无法“拉新”网站的潜在用户。这也正是我们…

Java8新特性CompletableFuture详解

一、概述 CompletableFuture 是Java 8 中引入的 Java Future API的扩展,用于 Java 中的异步编程,它可以使我们的任务运行在与主线程分离的其他线程中,并通过回调在主线程中得到异步任务执行状态,包括是否完成,是否异常…

【Node.js】如何修复“错误:错误:0308010c:digital envelope routines::不受支持”

作为一名开发人员,在项目中遇到错误是很常见的。在这篇博客文章中,我们将讨论一个困扰开发人员的特定错误,尤其是那些使用Node.js的开发人员。有问题的错误是“错误:错误:0308010c:数字信封例程:&#xff1…

MySQL:update set的坑

目录 一、问题描述 二、为何会出现这样的问题? 三、正确的方案 一、问题描述 我在修改mysql数据表时,看到下面的现象。 我表中原始数据如下: 执行了下面的修改,显示执行成功。 update user_function_record_entity set open_…

MySQL_1. mysql数据库介绍

shell脚本差不多快完结了接下来会为大家更新MySQL系列的相关的基础知识笔记,希望对大家有所帮助,好废话不多说,接下来开始正题! 1.mysql数据库介绍 mysql 是一款安全、跨平台、高效的,并与 PHP、Java 等主流编程语言…

AI写作工具有哪些?原创我AI写作工具推荐

人工智能(AI)的广泛应用不仅改变了我们的工作方式,也对文学创作领域产生了深远的影响。其中,AI写作技术在提高工作效率和文章创作方面发挥着越来越重要的角色。然而,伴随着这一技术的兴起,一个备受关注的问…

机器学习实验五:集成学习

系列文章目录 机器学习实验一:线性回归机器学习实验二:决策树模型机器学习实验三:支持向量机模型机器学习实验四:贝叶斯分类器机器学习实验五:集成学习机器学习实验六:聚类 文章目录 系列文章目录一、实验…

Eureka的使用说明

Eureka是一个服务管理的平台&#xff0c;主要是管理多个模块之间的使用。eureka分为客户端和客户端&#xff0c;下面我们直接使用&#xff1a; 1.eureka server 服务管理的使用 1. 导入相关依赖 <dependency><groupId>org.springframework.cloud</groupId>…

docker基本管理和相关概念

1、docker是什么&#xff1f; docker是开源的应用容器引擎。基于go语言开发的&#xff0c;运行在Linux系统当中开源轻量级的“虚拟机”。 docker可以在一台主机上轻松的为任何应用创建一个轻量级的&#xff0c;可移植的&#xff0c;自给自足的容器。docker的宿主机是Linux系统…

【PID学习笔记 7 】控制系统的性能指标之三

写在前面 控制系统性能指标有单项指标和综合指标两类&#xff0c;上文重点介绍了单项指标&#xff0c;本文将介绍系统阶跃响应的综合性能指标。 一、系统阶跃响应的综合性能指标 单项指标虽然清晰明了&#xff0c;但如何统筹考虑比较困难。而偏差幅度和偏差存在的时间都与偏…

看图学源码 之 Atomic 类源码浅析一(cas + 自旋操作的 AtomicXXX原子类)

Atomic 针对基本数据类型的单个变量 AtomicInteger // 就是对 value 执行操作 public class AtomicInteger extends Number implements java.io.Serializable {...// 拿到 Unsafe 类 private static final Unsafe unsafe Unsafe.getUnsafe();// 偏移量&#xff1a; 字段…

1-Tornado的介绍

1 tornado的介绍 **Tornado**是一个用Python编写的可扩展的、无阻塞的**Web应用程序框架**和**Web服务器**。 它是由FriendFeed开发使用的&#xff1b;该公司于2009年被Facebook收购&#xff0c;而Tornado很快就开源了龙卷风以其高性能着称。它的设计允许处理大量并发连接&…

Spark常见算子汇总

创建RDD 在Spark中创建RDD的方式分为三种: 从外部存储创建RDD从集合中创建RDD从其他RDD创建 textfile 调用SparkContext.textFile()方法&#xff0c;从外部存储中读取数据来创建 RDD parallelize 调用SparkContext 的 parallelize()方法&#xff0c;将一个存在的集合&…

这些Java并发容器,你都了解吗?

文章目录 前言并发容器1.ConcurrentHashMap 并发版 HashMap示例 2.CopyOnWriteArrayList 并发版 ArrayList示例 3.CopyOnWriteArraySet 并发 Set示例 4.ConcurrentLinkedQueue 并发队列 (基于链表)示例 5.ConcurrentLinkedDeque 并发队列 (基于双向链表)示例 6.ConcurrentSkipL…

Vue学习计划-Vue2--Vue核心(五)条件、列表渲染、表单数据

1. 条件渲染 v-if v-if“表达式”v-else-if “表达式”v-else “表达式” 适用于&#xff1a;切换频率较低的场景 特点&#xff1a;不显示dom元素&#xff0c;直接被删除 注意&#xff1a;v-if和v-else-if、v-else一起使用&#xff0c;但要求结构不能被打断 v-if和template一…

Android笔记(十七):PendingIntent简介

PendingIntent翻译成中文为“待定意图”&#xff0c;这个翻译很好地表示了它的涵义。PendingIntent描述了封装Intent意图以及该意图要执行的目标操作。PendingIntent封装Intent的目标行为的执行是必须满足一定条件&#xff0c;只有条件满足&#xff0c;才会触发意图的目标操作。…

Kotlin 中的 also 和 run:选择正确的作用域函数

在 Kotlin 中&#xff0c;also 和 run 是两个十分有用的作用域函数。 虽然它们在功能上相似&#xff0c;但各自有独特的用途和适用场景。 一、分析&#xff1a; also&#xff1a;在对象的上下文中执行给定的代码块&#xff0c;并返回对象本身。它的参数是一个接收对象并返回…

分布式分布式事务分布式锁分布式ID

目录 分布式分布式系统设计理念目标设计思路中心化去中心化 基本概念分布式与集群NginxRPC消息中间件&#xff08;MQ&#xff09;NoSQL&#xff08;非关系型数据库&#xff09; 分布式事务1 事务2 本地事务3 分布式事务4 本地事务VS分布式事务5 分布式事务场景6 CAP原理7 CAP组…

ChatGPT发展历程

ChatGPT是一个在2020年成立的在线聊天平台&#xff0c;它的发展历程如下&#xff1a; 初期阶段&#xff1a;2020年&#xff0c;在全球疫情爆发的情况下&#xff0c;ChatGPT创始人开始思考如何为人们提供一个快捷、安全、便利的在线聊天平台。他们选择使用GPT&#xff08;生成对…