为什么机器学习算法要与人类水平比较

原因

1 近年来机器学习的效果越来越好,能够和人类的相应能力做比较。
2 设计和构建机器学习系统,这个工作流程很高效。
这里写图片描述
因为种种原因,ML或者人都不可能超过Bayes Optimal Error 贝叶斯最优误差,ML随着时间推移会越来越接近贝叶斯最优误差。
3 在人类做得很好的领域,将ML与人的能力比较,如果ML能力差,那么可以得到更多的人类标记的数据;从人类的视角发现哪些地方还能再改进;得到更好的偏差和方差(bias/varaiance)
 高偏差是指训练得到的数据与真实数据不符合,一般发生在欠拟合。
 高方差是指使用不同数据集得到的结果差别很大,一般发生在过拟合。

可避免的偏差值

Bayes Optimal Error 是指人或者ML能达到的最高水平,一般来讲会取人类水平的最好值,不管是一个人还是一支队伍。
人类水平减去ML在测试集上的表现之间的差,是可避免偏差值(avoidable bias)。
测试集上的表现减去交叉验证集上的表现,是方差值。
这两个值,哪个比较大,就在哪里进一步优化,当然优化措施不同。

这里对于人类水平的选择有一定选项。如果要求严格,那一定是人类最好水平。如果是其它目的,则找一个可接受的水平。我们会用人类水平估计贝叶斯最优差值。不同的贝叶斯最优差值可能会引起 偏差值与方差值哪个大,哪个小,进一步影响优化手段。

这里写图片描述

当ML效果超过人类的时候

目前在一些领域ML效果惊人。例如在以结构化数据为基础的:在线广告、产品推荐、信用贷款等。例如在语音识别方面、图片识别、一些医学领域。
这时候你的调优策略会发生变化,调优方面会不如以前清晰。

调优策略

这里写图片描述
 当发生高偏差的时候,可以加大训练模型;优化目标函数;使用更复杂的网络模型等。
 当差生高方差的时候,可以增加训练集的数量;做正则化,例如L2、dropout、增加数据集(data agumentation)、尝试其他的网络类型。
 
参考文献:
1 文章内容来源于Structuring Machine Learning Projects.

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/424870.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

npm run build后如何打开index.html跑起项目

Tip: built files are meant to be served over an HTTP server. Opening index.html over file:// wont work. 提示:构建的文件应该通过HTTP服务器提供服务。在文件:/上打开index.html不起作用。 其实直接本地就可以打开。。。 只需要在build配置文件…

第二十九期:运维之三大监控对比

Zabbix核心组件主要是Agent和Server,其中Agent主要负责采集数据并通过主动或者被动的方式采集数据发送到Server/Proxy,除此之外,为了扩展监控项,Agent还支持执行自定义脚本。 作者:艺术生的运维路来源:今日…

[Leetcode][第459题][JAVA][重复的字符串][子串][匹配]

【问题描述】[中等] 【解答思路】 1. 枚举 找出能整除的子串长度,再用substring遍历匹配即可 时间复杂度:O(N^2) 空间复杂度:O(1) class Solution {public boolean repeatedSubstringPattern(String s) {int len s.length();for(int i 1…

机器学习与人类比较

近些年,一些机器学习算法的效果,总是会提到与人类相应能力比较高出多少多少。为什么会这样? 1 人类在某些领域确实很擅长。例如图片分类。 2 近些年ML有了很大进步,效果非常好。 3 某些用途的ML与人类的能力比较,当…

第五十六期:百度CTO王海峰CNCC2019演讲:深度学习平台支撑产业智能化

百度CTO王海峰在会上发表题为《深度学习平台支撑产业智能化》的演讲,分享了百度关于深度学习技术推动人工智能发展及产业化应用的思考,并深度解读百度飞桨深度学习平台的优势,以及与百度智能云结合助力产业智能化的成果。 作者:佚…

【STM32】IIC的基本原理(实例:普通IO口模拟IIC时序读取24C02)(转载)

版权声明:本文为博主原创文章,允许转载,但希望标注转载来源。 https://blog.csdn.net/qq_38410730/article/details/80312357IIC的基本介绍 IIC的简介 IIC(Inter-Integrated Circuit)总线是一种由PHILIPS公…

【数据结构与算法】广度优先遍历(BFS) 深度优先遍历(DFS)

一、 搜索算法 深度优先搜索和广度优先搜索是最暴力的图的搜索算法。算法的目标是,给定一张图,一对初始和终止节点,找到两节点之间的节点路径。(代码均是找到两个节点之间的路径) 广度优先搜索是一层一层搜索&#xf…

stack专题

20 Valid Parentheses 问题:没有意识到字符串中只包含字符:’(‘, ‘)’, ‘{‘, ‘}’, ‘[’ and ‘]’ 代码:git代码 682 Baseball Game 问题:错误在操作:top1 先弹出,top2 再弹出,还原到…

第三十期:简单好用的9个电脑必备工具!让你轻松10倍

下面 9 款工具都是精心挑选的电脑必备神器,涵盖你需要的各个方面,无论是安全防护、文件查找、解压加密还是娱乐都在其中;最最最重要的是,它们不但各个功能强大,而且非常轻便,没有弹窗广告、没有捆绑安装、也…

【数据结构与算法】字符串匹配 BF算法 RK算法

单模式串匹配 BF 算法和 RK 算法 BM 算法和 KMP 算法多模式串匹配算法 Trie 树和 AC 自动机 一、BF 算法 1,BF算法是Brute Force的缩写,中文译作暴力匹配算法,也叫朴素匹配算法。 2,两个概念:主串和模式串 如在字符串…

第三十一期:大数据分析师学习入门,10个数据可视化技巧

在这篇文章,我想和大家分享 10 个基本的中级和高级的绘图工具。我发现在现实生活中,当涉及到绘图解释你的数据时,这些工具非常有用。 作者:加米谷大数据来源:今日头条 我必须对你说实话:当我学习数据科学时…

stack专题2

85 Maximal Rectangle 问题:找到矩形内连续的都是1,这个矩形的面积。首先考虑到的是暴力搜索,不断枚举起始节点的x,y坐标,节点节点的x,y坐标。计算矩形面积的几个方法:1 一个一个元素遍历&…

[Leetcode][第491题][JAVA][递增子序列][回溯][RK算法]

【问题描述】[中等] 【解答思路】 1. 二进制枚举 哈希 复杂度 class Solution {List<Integer> temp new ArrayList<Integer>();List<List<Integer>> ans new ArrayList<List<Integer>>();Set<Integer> set new HashSet<In…

CentOS安装cheat和tldr

1.安装python和pip sudo yum -y install epel-release sudo yum install -y python python-pip python-setuptools sudo pip install --upgrade pip 2.安装tldr sudo pip install cheat tldr #最近遇到安装tldr时提示setuptools too old的报错&#xff0c;解决方法如下 pip ins…

第五十七期:小型企业将如何从5G中受益

在足够多的新设备进入主流市场之前&#xff0c;5G已经在许多领域引起了越来越多的关注。从IT、零售、交通和制造业到医疗、娱乐、教育和农业&#xff0c;几乎每个行业都将在某种程度上受到5G的影响。 作者&#xff1a;李雪薇来源&#xff1a;IT168网站 在足够多的新设备进入主…

array专题

581 Shortest Unsorted Continuous Subarray 问题&#xff1a;这道题目感概颇多&#xff0c;作为第一个array的简单题目就被缠住了。具体内容写在注释里面了。 217 Contains Duplicate 问题&#xff1a;这道题目可以看出有效的数字组合就是0&#xff0c;10,11三种组合。当遍…

第三十二期:MySQL常见的图形化工具

MySQL作为一款非常流行的、开源的关系型数据库&#xff0c;应用非常广泛。因为MySQL开源的缘故&#xff0c;图形化管理维护工众多&#xff0c;除了系统自带的命令行管理工具之外&#xff0c;还有许多其他的图形化管理工具&#xff0c;这里介绍几个经常使用的MySQL图形化管理工具…

centos7 源码安装goaccess

1. 使用yum安装在不同服务器上可能失败, 推荐使用源码安装goaccess # 安装依赖 yum install -y ncurses-devel GeoIP-devel.x86_64 tokyocabinet-devel openssl-devel# 下载源码包并安装 cd /usr/local/software wget http://tar.goaccess.io/goaccess-1.3.tar.gz tar -xvf goa…

【数据结构与算法】字符串匹配 BM算法

单模式串匹配 BF 算法和 RK 算法 BM 算法和 KMP 算法多模式串匹配算法 Trie 树和 AC 自动机 BM算法 BM算法的核心思想是通过将模式串沿着主串大踏步的向后滑动&#xff0c;从而大大减少比较次数&#xff0c;降低时间复杂度。而算法的关键在于如何兼顾步子迈得足够大与无遗漏&…

array专题2---理解暴力枚举与动态规划

746 Min Cost Climbing Stairs 一直以后对暴力枚举&#xff08;又称&#xff1a;深度优先搜索&#xff09;和动态规划不太理解&#xff0c;不能明白个中区别&#xff0c;更别说贪心。今天做这道题目的时候有点心得。 思路一&#xff1a;看到题目&#xff0c;直觉告诉我暴力枚…