读AI新生:破解人机共存密码笔记15辅助博弈

1. 辅助博弈

1.1. assistance game

1.2. 逆强化学习如今已经是构建有效的人工智能系统的重要工具,但它做了一些简化的假设

1.2.1. 机器人一旦通过观察人类学会了奖励函数,它就会采用奖励函数,这样它就可以执行相同的任务

1.2.1.1. 解决这个问题很容易,我们只需确保机器人将偏好与人类联系起来,而不是与自身联系起来

1.2.2. 机器人正在观察一个人类解决单智能体决策问题

1.2.2.1. 机器人不知道人类有什么偏好,但它无论如何都想满足他们

1.3. “回形针”博弈

1.3.1. 在这个游戏中,人类哈里特有一种动机来向机器人罗比“发送”一些她的偏好信息

1.3.2. 罗比能够解读这个信号,因为它能玩这个游戏,由此它能理解哈里特有什么样的偏好,以便让她发出那样的信号

1.4. 关机博弈

1.4.1. 工具性目标通常可以用作几乎任何原始目标的子目标

1.4.2. 自我保护是一个工具性目标,因为很少有原始目标在死后能更好地实现

1.4.2.1. 这导致了关机问题:具有固定目标的机器将不允许自己被关机,并有动机禁用自己的关机按钮

1.4.3. 事实证明,目标的不确定性对于确保我们能够关闭机器至关重要,即便机器比我们更智能

1.4.3.1. 它知道自己不想做错事,但它不知道做错事意味着什么

1.4.4. 只要罗比不能完全确定自己将要做的事情就是哈里特自己会做的事,它就会更愿意被哈里特关闭

1.4.4.1. 哈里特的决定为罗比提供了信息,而信息对于改进罗比的决定总是有用的
1.4.4.2. 如果罗比对哈里特的决定有把握,那么她的决定就不会提供新的信息,所以罗比没有动机让她做决定

1.4.5. 允许有人为错误发生的可能性

1.4.5.1. 即使罗比提议的行动是合理的,哈里特有时也可能会关掉罗比
1.4.5.2. 即使罗比提议的行动并不可取,哈里特有时也会让罗比继续

1.4.6. 博弈的解决方案表明,罗比不太倾向于听从一个有时违背自己最大利益的、非理性的哈里特

1.4.6.1. 她的行为越随意,罗比在服从她之前就越不确定她的偏好

1.5. 有益的、顺从的行为和机器对人类偏好的不确定性之间的重要联系,会经受住这些细化和复杂化的考验

1.6. 随着罗比对哈里特的偏好越来越确定,它将和那些有固定目标的糟糕的旧人工智能系统越来越像:它不会征求许可,也不会让哈里特选择关闭它,而且它的目标不正确

1.7. 永远不要预先排除世界上可能成为哈里特偏好的一部分的属性

1.7.1. 当罗比根据已知的属性无法解释哈里特的决定时,罗比可以推断,有一个或多个先前未知的属性(例如天空的颜色)可能在起作用,而且它可以试着找出那些属性可能是什么

2. 禁例与漏洞原则

2.1. 保有人类目标的不确定性,或许并不是说服机器人在拿咖啡时不要禁用关机按钮的唯一方法

2.2. 以一种万无一失的方式编写这样的禁例就像试图编写无漏洞的税法,这是我们几千年来一直在尝试却一直失败的事情

2.2.1. 防止有人避税的最佳解决方案是确保相关实体都愿意纳税

2.3. 漏洞原理

2.3.1. 如果一台足够智能的机器有动机创造某种条件,那么一般而言,人类无法仅凭写禁例来限制它的行为,阻止它这样做,或是阻止它做一些等效的事情

2.3.1.1. 在人工智能系统可能出现问题的情况下,最好的解决方案是确保它愿意服从人类

3. 要求和指示

3.1. 指令不是不惜一切代价都要实现的目标

3.1.1. 这是一种传达哈里特偏好信息的方式,目的是诱导罗比进行某些行为

3.2. 机器永远无法确定人类的偏好

3.2.1. 尽管存在这种不确定性,它们仍然可以发挥作用

3.3. 语用学是语言学的一个分支,它研究的正是这种延伸的意义概念

4. 主动嗑电

4.1. 多巴胺的作用在20世纪50年代末被发现,但早在那之前,人们就知道对老鼠大脑直接进行电刺激可以产生一种类似奖励的反应

4.2. AlphaGo得到获胜的+1奖励的唯一方法是赢得它正在玩的模拟围棋游戏

4.2.1. AlphaGo唯一的动作就是将一枚棋子放在一个空的交叉点上,这些动作只影响围棋棋盘,而不影响其他任何东西,因为AlphaGo的模型中没有其他东西

4.2.2. AlphaGo在训练期间的生活一定相当令人沮丧:它做得越好,它的对手就做得越好,因为它的对手几乎就是它自己的翻版

4.3. 人们担心的是像AlphaGo这样的强化学习系统可能学会作弊,而不是掌握其预期的任务

4.3.1. 当奖励信号来自“宇宙之外”,并由人工智能系统永远无法修改的某个过程生成时,这个过程就能正常工作

4.3.2. 如果奖励生成过程(主体是人类)和人工智能系统处于同一个“宇宙”中,这个过程就失败了

4.4. 如何才能避免这种自欺行为?

4.4.1. 因为它混淆了两个不同的东西:奖励信号和实际奖励

4.4.2. 应该被区分对待,就像它们在辅助博弈中一样:奖励信号提供关于实际奖励积累的信息,该信息才是要被最大化的东西

4.4.3. 学习系统是在天堂积累积分,而奖励信号充其量只是提供积分的一种记录

4.4.3.1. 接管奖励信号机制的控制权只会丢失信息

4.4.4. 一个被设计成能够区分二者区别的理性学习者,有动力去避免任何类型的“主动嗑电”

5. 递归式自我完善

5.1. 机器在设计机器方面会强于人类

5.2. AlphaGo是一个不完美的训练过程的结果,即它用自我对弈进行强化学习,而获胜就是奖励

5.2.1. AlphaGo并不能保证逢局必胜

5.2.2. 事实上,它几乎总是输给AlphaZero

5.2.3. 当AlphaGo发现无论它选择什么着法,对手都有获胜的策略时,那么AlphaGo会或多或少地随机选择着法

6. 不同的人

6.1. 人类不是单一的、理性的实体,而是由多得不计其数的、令人讨厌的、嫉妒驱动的、非理性的、不一致的、不稳定的、计算能力有限的、复杂的、不断进化的、异质的实体组成的

6.1.1. 不同的文化,甚至不同的个人,有着完全不同的价值体系

6.2. 在人工智能中,我们需要加入心理学、经济学、政治理论和道德哲学的思想

6.2.1. 需要将这些思想熔化、塑形和锤炼成一个足够强大的结构,以抵御日益智能的人工智能系统给它带来的巨大压力

6.3. 我们不希望机器拥有自己正确的价值体系,我们只是想让它预测其他人的偏好

6.4. 关于机器难以满足人类不同偏好的困惑可能来自一种错误的想法,即机器采用的是它学习到的偏好

6.4.1. 它只需要学会预测素食者的饮食偏好

6.4.2. 根据第一原则,它会避免为这户家庭烹饪肉类

6.4.3. 机器人也会了解邻居“肉食狂人”的饮食偏好,而且,如果在主人同意的情况下,周末邻居借机器人帮忙举办晚宴,它会很乐意为他们做肉食吃

6.4.4. 除了帮助人类实现他们的偏好外,机器人并没有自己的一套偏好

6.5. 原则上,一台机器要学习80亿个偏好模型,即地球上每个人的偏好

6.5.1. 机器很容易互相分享它们学到的东西

6.5.2. 人类的偏好结构有很多共同点,所以机器通常不会从头开始学习每个模型

6.5.3. 机器人带着相当广泛的先验信念从盒子里走出来

6.5.3.1. 它不需要像以前从未见过人类一样开始了解特殊的人类
6.5.3.2. 相同的论点适用于其他各种各样的个人特征,这些特征在某种程度上可以预测个人偏好结构的各个方面

7. 效益主义

7.1. 威廉·斯坦利·杰文斯

7.1.1. 19世纪英国逻辑学家和经济学家

7.1.2. William Stanley Jevons

7.1.3. 逻辑钢琴”的机械计算机的发明者

7.1.4. 在1871年提出,人际效用是不可比较的

7.2. 肯尼斯·阿罗

7.2.1. 1972年诺贝尔奖得主、美国经济学家

7.2.2. Kenneth Arrow

7.2.3. 人际效用比较没有任何意义,事实上,就个人效用的可衡量性而言,对幸福感做比较没有意义

7.3. 罗伯特·诺齐克

7.3.1. 美国哲学家

7.3.2. Robert Nozick

7.3.3. 1974年,即使可以对效用进行人际比较,最大化效用的总和仍然不是一个好主意

7.3.3.1. 这会与“效用怪兽”(一个快乐和痛苦的体验比普通人强烈许多倍的人)相冲突

7.4. 问题在于我们如何衡量结果的可取性

7.5. 如果不同的实体有不同的效用尺度的想法已经建立在我们的思维方式中,那么不同的人有不同的尺度也是完全可能的

7.6. 机器可以从宽泛的关于人类偏好尺度的先验信念开始,通过长时间的观察来了解更多关于个体尺度的信息,这或许可以将自然观察与神经科学研究的发现联系起来

7.7. 在决策中使用适当的道德理论具有不确定性

7.7.1. 一种解决方案是为每种道德理论分配一定的概率,并使用“预期道德价值”做决策

8. 利他主义

8.1. 用现代经济学的说法,对他人的关心通常被归入利他主义的范畴

8.2. 一些经济学家把利他主义视为另一种形式的自私,旨在为给予者提供“温情”

8.3. 对自己内在幸福的偏好

8.3.1. 内在幸福指的是一个人自身的生活品质

8.3.2. 拥有住所、吃得饱、穿得暖、安全等,这些生活品质本身就是令人向往的,而不是一个人参考了别人的生活才想要的

8.4. 对他人幸福的偏好

8.5. 消极利他主义行为比人们想象的要普遍得多

8.6. 美国社会学家索尔斯坦·凡勃伦(Thorstein Veblen)在1899年出版的著作《有闲阶级论》

8.7. 个人在群体中的身份和地位以及该群体相对于其他群体的整体地位是人类自尊的重要组成部分

8.8. 设计得当的机器不会像它们观察的人那样行事,即便这些机器正在学习虐待狂的偏好

8.8.1. 事实上,如果我们人类发现自己每天都处于与纯粹利他主义实体打交道的陌生环境中,我们就可能会学习成为更好的人,变得更无私,也更少受到骄傲和嫉妒的驱使

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/36285.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Dominate_一个用于生成和操作 HTML 文档的 Python 库

目录 01初识 Dominate 什么是 Dominate? 为什么选择 Dominate? 安装与配置 02Dominate 的基本使用 创建简单的 HTML 文档 添加表格 嵌套结构 03Dominate 的高级功能 动态内容生成 使用…

算法训练 | 动态规划Part11 | 1143.最长公共子序列、392.判断子序列

目录 1143.最长公共子序列 动态规划法 392.判断子序列 动态规划法 1143.最长公共子序列 题目链接:1143. 最长公共子序列 - 力扣(LeetCode) 文章讲解:代码随想录 动态规划法 解题思路 本题和动态规划:718. 最长…

Edu Codeforces Round167 (Div2)--(A~D)题解

Problem - A - Codeforces 思路&#xff1a;当且仅当y<-2是追不上的。 void solve(){ Aint x,y; cin>>x>>y;if(y<-2) cout<<"NO"<<endl;else cout<<"YES"<<endl; } Problem - B - Codefor…

C++编程逻辑讲解step by step:重载运算符+和-,实现按订单出入库操作。

题目 每按订单发一次货品A&#xff0c;库存都会相应地减少&#xff0c;每次退货&#xff0c;库存都会增加。分别定义货品A库存和订单为两个类&#xff1a;Inventory和Order&#xff0c;库存类Inventory中有货品名称、货品余量属性&#xff1b;订单类Order中有货品名称、数量、…

CSF视频文件格式转换WMV格式

如果大家看过一些高校教学讲解视频的话&#xff0c;很可能见过这样一个难得的格式&#xff0c;".csf "&#xff0c;非常漂亮 。 用暴风影音都可以打开观看&#xff0c;会自动下载解码。 但是一旦我们想要利用或者上传视频的时候就麻烦了&#xff0c;一般网站不认这…

下载旧版本vscode及扩展,离线下载远程linux服务器插件

背景 工作的内网没有网络&#xff0c;无法使用网络来下载插件和vscode软件&#xff0c;且有远程linux服务器需求&#xff0c;linux服务器中lib相关库比较旧且无法更新&#xff0c;所以需要选择一个旧版本的vscode&#xff0c;相应插件也需要选择旧版本的 旧版本vscode下载 没…

Windows下activemq集群配置(broker-network)

1.activemq版本信息 activemq&#xff1a;apache-activemq-5.18.4 2.activemq架构 3.activemq集群配置 activemq集群配置基于Networks of Brokers 这种HA方案的优点&#xff1a;是占用的节点数更少(只需要2个节点),而且2个broker都可以响应消息的接收与发送。不足&#xff…

Docker 部署 MariaDB 数据库 与 Adminer 数据库管理工具

文章目录 MariaDBmariadb.cnf开启 binlog Adminerdocker-compose.ymlAdminer 连接 MariaDB MariaDB MariaDB是一个流行的开源关系型数据库管理系统&#xff08;RDBMS&#xff09;&#xff0c;它是MySQL的一个分支和替代品。 官网&#xff1a;https://mariadb.com/镜像&#xff…

SpringBoot控制反转和依赖注入

目录 一、内聚和耦合 二、分层解耦 三、具体实现 四、bean的组件扫描 五、bean注入 一、内聚和耦合 在了解分层解耦的概念之前我们我们要去先了解一下内聚和耦合。内聚&#xff1a;通常将的是软件中各个模块之间的功能联系。耦合衡量软件各个模块之间的依赖、关联的程度。一…

jquery使用infinitescroll无线滚动+自定义翻页

jquery版本 jquery-1.8.3.js infinitescroll版本 2.0.0 如果infinitescroll版本最新的jquery版本也要用新的 接口用nodejs jquery.infinitescroll.js官网地址 前端代码《接口返回JSON数据》 <!DOCTYPE html> <html lang"en"> <head><meta cha…

【逻辑回归实现多分类】

逻辑回归实现多分类原理 一、逻辑回归是什么&#xff1f;1. Sigmoid函数 二、如何扩展到多分类1. 一对多&#xff08;OvR&#xff09;实现细节 2. 一对一&#xff08;OvO&#xff09;3. 多对多&#xff08;MvM&#xff09;实现细节 三、sklearn库实现1. 引入库2. 加载并准备数据…

ONLYOFFICE 8.1 版本桌面编辑器测评

在现代办公环境中&#xff0c;办公软件的重要性不言而喻。从文档处理到电子表格分析&#xff0c;再到演示文稿制作&#xff0c;强大且高效的办公软件工具能够极大提升工作效率。ONLYOFFICE 作为一个功能全面且开源的办公软件套件&#xff0c;一直以来都受到广大用户的关注与喜爱…

OpenAI推出自我改进AI- CriticGPT

每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗&#xff1f;订阅我们的简报&#xff0c;深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同&#xff0c;从行业内部的深度分析和实用指南中受益。不要错过这个机会&#xff0c;成为AI领…

rust 如何debug

rust如何debug 如果创建的是一个二进制文件&#xff0c;并不是一个可执行文件 比如使用napi-rs/cli 创建出来的一个xxxx.node文件 我们想在vscode 中调试 1.1 创建launch.json {"version": "0.2.0","configurations": [{"type": &qu…

Android C++系列:认识JNI

1. 什么是JNI JNI是Java Native Interface的缩写,通过使用 Java本地接口书写程序,可以确保代码在不同的平台上方便移植。 JNI不仅仅是Android特有的,它是属于Java平台的,它允许在Java虚拟机内运行的java代码与其他编程语言(如c, c++和汇编语言)编写的程序和库进行交互。…

如何进行黄金期货日内波段交易-EE trade

日内波段交易是一种在单个交易日内抓取较大波段趋势的方法&#xff0c;旨在利用市场的短期波动获取利润。黄金期货市场由于其高波动性和高杠杆性&#xff0c;成为日内波段交易的理想选择。以下是黄金期货日内波段交易的详细策略和方法。 一、日内波段交易整体设计思想 1. 顺应…

【鸿蒙学习笔记】逻辑控制语句

官方文档&#xff1a;ArkTS语言介绍 目录标题 逻辑If语句Switch语句条件表达式 循环For语句For-of语句While语句Do-while语句Break语句Continue语句 异常Throw和Try语句 逻辑 If语句 if (condition1) {// 语句1 } else if (condition2) {// 语句2 } else {// else语句 }Switc…

【Linux】生物信息学常用基本命令

wget网址用于直接从网上下载某个文件到服务器&#xff0c;当然也可以直接从网上先把东西下到本地然后用filezilla这个软件来传输到服务器上。 当遇到不会的命令时候&#xff0c;可以使用man “不会的命令”来查看这个命令的详细信息。比如我想要看看ls这个命令的详细用法&…

独立开发者系列(12)——下单与支付

做业务有个绕不开的业务逻辑&#xff0c;就是支付。这里总结一个基础的支付电商逻辑闭环流程&#xff0c;完成支付基础体系的实现。这里假定我们要实现的是一个独立的电商平台上允许用户在平台充值&#xff0c;其他的类似多多购物或者淘宝购物的流程逻辑。 数据表结构的逻辑设…

使用uniapp编写微信小程序

使用uniapp编写微信小程序 文章目录 使用uniapp编写微信小程序前言一、项目搭建1.1 创建项目方式1.1.1 HBuilderX工具创建1.1.2 命令行下载1.1.3 直接Gitee下载 1.2 项目文件解构1.2.1 安装依赖1.2.2 项目启动1.2.3 文件结构释义 1.2 引入uni-ui介绍 二、拓展2.1 uni-app使用uc…