国科大UCAS胡包钢教授《信息论与机器学习》课程第二讲:信息论基础一


来源:专知

信息论中最为基本的概念就是香农熵(第8页),由此可以导出信息论中其它各种定义,以至我们常规应用的其它经验式定义(以后会提到)。学习信息论基础知识时要避免仅是概念与定义的简单记忆,要尽量结合个人研究领域中的问题进行思考,并给出个人理解(如第20页中监督学习中的解释与思考)。这样有益于未来更快地发展创新工作。还要明白信息论理论仍在发展中,包括各种熵定义的不断出现。我们在第28页中示例了传统互信息定义在机器学习应用中的问题。可能这类问题在通讯领域的传统应用中不存在。为更好理解内容,建议读者对其中每个例题自行计算一下。你一定会有新的理解。对于有些内容现在无法理解(如第20页),不要着急。可以随着以后课程学习后,回头复习来不断理解。抱歉该课程未有提供视频或更多中文解说。基于本课件自学能够逐步理解也是能力的培养,从事科研工作必须要过这个关。建议有关作业尝试用笔记录回答一下,有益于反复思考。

此课件后面附加一个文件。是英国对口相声“热力学第一和第二定律”说明。

读者可以在虾米网站聆听该相声:

https://www.xiami.com/song/1794511373

作业:

1. 针对香农抓住了通信工程中的本质问题,请总结你从语义表达与计算表达中给出的理解。

2. 结合第28页中示例,以定理方式证明互信息可能存在的问题。

3. 你认为怎样应对互信息中这个问题,并给出具体解决方案。

第19页: 机器学习中通常会将互信息作为“相似性”度量,条件熵、散度、交叉熵作为“误差或损失”指标来应用。统称它们为指标或准则是可以包容散度这样非度量类别。 但是要理解这些信息指标是关于两个随机变量之间独立性的测量(第22页)。本质上不是相似性或损失的测量。

第20页: 这页内容对于理解信息论指标在监督学习中的内涵十分重要。其中T是目标类标变量,Y是预测类标变量。举例一下,T中100个样本,有50个苹果,有50个鸭梨为标签。因此H(T)是固定的。而分类学习中,我们可能预测为30个苹果,70个鸭梨。思考问题中,所谓“不正确(incorrect)”是由于应用了H(Y)为目标基点(Baseline),该基点犹如移动目标。从理论上讲,移动目标或固定目标对优化问题解应是一致的。从实际优化搜索而言,移动目标更易引起搜索中的震荡现象。因此认为是“不正确”。我们对互信息在在监督学习中的语义内涵给出了不同解释样例。在实际应用中,这种解释性特别重要,要兼有语义与计算层面的解释理解。比如思考问题中提到了聚类问题,这些指标的物理意义与选择方面解释是值得思考的问题。要理解机器学习中首要问题“学习目标选择”值得更多重视。对理论上等价的指标,选择某个的原因是什么呢?对各种学习目标我们有必要开展“系统化设计方法”研究(2001年我们在《自动化学报》关于模糊系统综述文章中对“系统化设计方法”给予了讨论)。

当信息论指标得到更多应用时,我们需要准确理解。比如许多分类学习方法中将交叉熵以误差或损失方式来说明。但是,此图及第19页计算公式告诉我们交叉熵H(T;Y)最小值应是H(T)且应大于“零”值。因为H(T)=0意味全部样本为一类。交叉熵大于“零”的性质说明与误差概念显然不同。我个人理解交叉熵可以有“零”值解是借用了交叉熵计算公式,且该公式应该称为逻辑损失(Logistic Loss)而非交叉熵。常规术语应用中要理解这之间的差异。

第23-28页: 二进制信道是通讯中最为基本的结构。在监督学习中这犹如对应了二值分类器。其中“擦除”功能(第24页)将增加一维输出,对应二值分类器就是增加了一个拒识(或未知)类别输出。第26页中的GBC结构可以描述其它结构。从机器学习角度讲,GBC可以称为带拒识类别二值分类器。通讯理论中通常应用“条件概率分布”描述二进制信道,这里我们应用“联合概率分布”来描述,不仅可以导出“条件概率分布”,而且可以对应二值分类器中的混淆矩阵。

附课件:

英国对口相声“热力学第一和第二定律”说明

未来智能实验室是人工智能学家与科学院相关机构联合成立的人工智能,互联网和脑科学交叉研究机构。

未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)云脑研究计划,构建互联网(城市)云脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。

  如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/488532.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

java 翻转句子_Java编程-句子反转

题目描述给定一个句子(只包含字母和空格), 将句子中的单词位置反转,单词用空格分割, 单词之间只有一个空格,前后没有空格。 比如: (1) “hello xiao mi”-> “mi xiao hello”输入描述:输入数据有多组,每组占一行&a…

通讯录分组名称大全简单_公司起名取名:建筑公司名称大全简单大气

阅读本文前,请您先点击上面的“蓝色字体”再点击关注,这样您就可以继续免费收取到文章了,每天都有分享,完全是免费订阅,请放心关注。时代在变迁,人们的生活节奏在加快,各类楼盘高低错落&#xf…

java ssl 无证书_java – 如何修复SSL – 没有可用的证书

我想使用以下代码建立服务器SSL套接字连接:int port 12000;ServerSocketFactory ssocketFactory SSLServerSocketFactory.getDefault();ServerSocket ssocket ssocketFactory.createServerSocket(port);// Listen for connectionsSocket socket ssocket.accept(…

美国发布《量子网络战略愿景》

来源:国防科技要闻背景探索如何建立量子网络将促进新兴技术的发展,从而加速当前互联网的发展,提高通信的安全性,并大幅推动计算技术的进步。美国将利用其在量子网络领域的领先地位,加速在国家和金融安全、病人隐私、药…

[bzoj2127]happiness

来自FallDream的博客,未经允许,请勿转载,谢谢。 高一一班的座位表是个n*m的矩阵,经过一个学期的相处,每个同学和前后左右相邻的同学互相成为了好朋友。这学期要分文理科了,每个同学对于选择文科与理科有着自…

python错误代码翻译查询_完成自动查找翻译单词的python源代码

下面这段代码需要完成的是关于完成自动查找翻译单词的python源代码,找到目标单词在网上词典完成翻译的过程。 #!/usr/bin/python #codingutf-8 import urllib import sys #import xml.dom.minidom import re #是否输出例句 egTrue def main(): if len(sys.argv) 2:…

mysql sql实现原理_Mysql的数据库原理

首先要了解原理。不得不说说。mysql的执行流程。Mysql是一个单进程的服务,对于每一个请求都是用线程来相应的。这就需要一个连接器来处理新用户的请求、相应,以及销毁。1.客户端请求,服务端(连接器)开辟线程相应用户2.用户发起SQL语句查询数据…

Jürgen Schmidhuber眼中的深度学习十年,以及下一个十年展望

大数据文摘出品来源:Medium作者:Jrgen Schmidhuber编译:张秋玥、马莉2020年是充满科幻的一年,曾经我们畅想飞行汽车、智能洗碗机器人以及能自动写代码的程序,然而这一切都没有发生。2020迎接我们的是澳洲大火、新冠病毒…

AC日记——数据流中的算法 51nod 1785

数据流中的算法 思路&#xff1a; 线段树模拟&#xff1b; 时间刚刚卡在边界上&#xff0c;有时超时一个点&#xff0c;有时能过&#xff1b; 来&#xff0c;上代码&#xff1a; #include <cstdio> #include <cstring> #include <iostream> #include <alg…

docker pidfile_Zabbix5监控Docker

zabbix_agent配置Zabbix 监控Docker 时 agent 需要使用 zabbix_agent2&#xff0c;而不是zabbix_agent主要模式时配置如下&#xff1a;[rootlocalhost#] cat /etc/zabbix/zabbix_agent2.conf |grep -v ^#|grep -v ^$ PidFile/var/run/zabbix/zabbix_agent2.pidLogFile/var/log…

6种java垃圾回收算法_被说烂了的Java垃圾回收算法,我带来了最“清新脱俗”的详细图解...

一、概况理解Java虚拟机垃圾回收机制的底层原理&#xff0c;是系统调优与线上问题排查的基础&#xff0c;也是一个高级Java程序员的基本功&#xff0c;本文就针对Java垃圾回收这一主题做一些整理与记录。Java垃圾回收器的种类繁多&#xff0c;它们的设计要在吞吐量(内存空间)与…

Gartner:2020 年 AI 平台魔力象限:意外多多

来源&#xff1a;云头条众多企业决策者向市场研究公司Gartner寻求企业软件堆栈方面的建议。魔力象限报告是Gartner发布的最可信、最真实、最权威的研究报告之一。由于它影响企业的采购决策&#xff0c;因此诸多供应商竭力想在报告中占有一席之地。Gartner最近发布了数据科学和机…

CentOS6.9编译安装LNMP环境

CentOS6.9编译安装LNMP环境 今天尝试一下用编译的方式来搭建lnmp运行环境。所有软件都采用当前最新版本&#xff0c;除了CentOS。这是由于目前企业大多数应该都还在使用CentOS6的缘故&#xff0c;并且CentOS7目前还在迭代中。虽说不会有大的改动&#xff0c;但也算不上完全稳定…

python实现号码簿_使用Python进行号码簿的格式转换

今天碰到一个问题&#xff0c;如何将功能机的号码簿转换到智能机中。但是 这款BBK手机没有对应的电脑端软件&#xff0c;所以备份号码簿并不方便。我的解决方案是将功能机的电话簿导出成.csv格式的文件。导出的格式如下&#xff1a; --------------- 姓名&#xff0c;电话&…

生物,AI,心理:目前的大脑/认知/意识/AGI/DRL模型

来源&#xff1a;人工智能前沿讲习一 基于生物和经验的模型首先是 2012 年的 Spaun&#xff0c;基于生物基础&#xff08;脑图谱&#xff09;&#xff0c;类生物神经元&#xff08;尖峰放电 SNN&#xff09;。在训练后可完成多种识别和生成和反应任务。map the visual hierar…

java 使用nullable_Java Stream ofNullable(T)用法及代码示例

如果此流不为null&#xff0c;则ofNullable(T)方法将返回包含单个元素的顺序Stream&#xff0c;否则该方法将返回空Stream。它有助于处理空流和NullPointerException。用法:static Stream ofNullable(T t)参数&#xff1a;此方法接受单个参数t&#xff0c;该参数t是要返回其Str…

阿里云SLB负载均衡与使用SSL域名证书

阿里云SLB负载均衡与使用SSL证书 1.购买两台ECS服务器&#xff0c;这就是后台服务器&#xff0c;在这两个服务器上面部署你的网站&#xff0c;注意网站的端口要一样&#xff1b;比如都是 88。 2.在阿里云控制台的菜单里找到 负载均衡&#xff0c;创建一个SLB&#xff0c;把这两…

python数据标注工具_数据标注工具大全汇总,有了这些工具再也不用自己开发了...

数据标注工具大全汇总&#xff0c;有了这些工具再也不用自己开发了。 做数据标注三年了&#xff0c;总是遇到各种各样的需求&#xff0c;总是想找一款最高效&#xff0c;最快速&#xff0c;最好用的标注工具&#xff0c;最重要的是免费&#xff0c;经过三年的收集&#xff0c;大…

java 数据类型 string_java的基本数据类型和引用数据类型都有哪些,string属于什么类型...

基本数据类型有四类八种:第一类:逻辑型booleanboolean类型只允许取值true或者false,不可以为0或者非0的整数代替true和false,这点和C语言不同.第二类:文本型char字符常量为用单引号括起来的单个字符,例如: char ch1 a; char ch2 中;第三类:整数型(byte,short,int,long)byte…