【AI算法岗面试八股面经【超全整理】——信息论】

AI算法岗面试八股面经【超全整理】

  • 概率论
  • 信息论
  • 机器学习
  • CV
  • NLP

目录

    • 1、自信息、信息熵
    • 2、相对熵(KL散度)、交叉熵
    • 3、联合熵与条件熵
    • 4、互信息

1、自信息、信息熵

自信息
概率与信息量的关系:概率越大的事件,提供的信息量越小;概率越小的事件,信息量越大
信息量计算公式:
I ( x ) = − log ⁡ p ( x ) I(x)=-\log p(x) I(x)=logp(x)
对数底与信息的单位:

  • 以2为底:bit(binary unit)
  • 以e为底:nat(nature unit)
  • 以10为底:Hart(Hartley)

熵(信息熵)
熵用来描述一个事件的不确定性,表示某事件所有可能发生的情况的信息量的期望值(所有可能情况信息量的均值)
设事件X共有n种可能,发生 x i x_i xi的概率为 p ( x i ) p(x_i) p(xi),那么该事件熵的计算公式:
H ( x ) = − ∑ i = 1 n p ( x i ) log ⁡ ( p ( x i ) ) = E ( log ⁡ 1 p ( x i ) ) H(x)=-\sum_{i=1}^{n}p(x_i)\log (p(x_i))=E(\log \frac{1}{p(x_i)}) H(x)=i=1np(xi)log(p(xi))=E(logp(xi)1)
基本性质:

  • 非负性: H ( X ) ≥ 0 H(X)\geq 0 H(X)0,当某事件是确定发生的事情,则其熵为0(太阳从东边升起的信息熵为0)
  • 某随机变量每次发生的情况越不确定(不确定性越大),则其熵值越大,此时,该变量的分布也越混乱
  • 当某事件对每种可能发生情况的概率是相等时,则其熵值最大

2、相对熵(KL散度)、交叉熵

相对熵(散度KL)
如果我们对于同一个随机变量 x 有两个单独的概率分布 P ( X ) P(X) P(X) Q ( X ) Q(X) Q(X),我们可以使用 KL 散度来衡量这两个分布的差异。
在机器学习中,P 往往用来表示样本的真实分布,Q 用来表示所预测的分布,那么 KL 散度是可以计算两个分布的差异,也是是 Loss 损失值。
D K L ( p ∣ ∣ q ) = ∑ i − 1 n [ p ( x i ) log ⁡ ( p ( x i ) ) − p ( x i ) log ⁡ ( q ( x i ) ) ] D_{KL}(p||q)=\sum_{i-1}^{n}[p(x_i)\log (p(x_i))-p(x_i)\log (q(x_i))] DKL(p∣∣q)=i1n[p(xi)log(p(xi))p(xi)log(q(xi))]
D K L ( p ∣ ∣ q ) = ∑ i − 1 n p ( x i ) log ⁡ ( p ( x i ) q ( x i ) ) D_{KL}(p||q)=\sum_{i-1}^{n}p(x_i)\log (\frac{p(x_i)}{q(x_i)}) DKL(p∣∣q)=i1np(xi)log(q(xi)p(xi))

  • KL散度的值始终大于0,并且当且仅当两分布相同时,KL散度等于0,当 P ( X ) P(X) P(X) Q ( X ) Q(X) Q(X)的相似度越高,KL距离越小
  • KL散度不对称,即P到Q的距离,不等于Q到P的距离

交叉熵
D K L ( p ∣ ∣ q ) D_{KL}(p||q) DKL(p∣∣q)公式进行变形可以得到
D K L ( p ∣ ∣ q ) = ∑ i − 1 n [ p ( x i ) log ⁡ ( p ( x i ) ) − p ( x i ) log ⁡ ( q ( x i ) ) ] D_{KL}(p||q)=\sum_{i-1}^{n}[p(x_i)\log (p(x_i))-p(x_i)\log (q(x_i))] DKL(p∣∣q)=i1n[p(xi)log(p(xi))p(xi)log(q(xi))]
D K L ( p ∣ ∣ q ) = ∑ i − 1 n − p ( x i ) log ⁡ ( q ( x i ) ) − H ( X ) D_{KL}(p||q)=\sum_{i-1}^{n}-p(x_i)\log (q(x_i))-H(X) DKL(p∣∣q)=i1np(xi)log(q(xi))H(X)
加入需要拟合的对象的分布是固定的(比如针对某一特定的数据集),那么 H ( X ) H(X) H(X)就应该是一个定值,所以优化时可以忽略这一项的影响,仅仅优化前一项,而交叉熵即为去掉原始事件信息熵的KL散度:
H ( p , q ) = − ∑ i − 1 n p ( x i ) log ⁡ ( q ( x i ) ) H(p,q)=-\sum_{i-1}^{n}p(x_i)\log (q(x_i)) H(p,q)=i1np(xi)log(q(xi))

3、联合熵与条件熵

联合熵
联合熵表示多个随机变量联合分布的不确定性。
计算公式:
H ( X , Y ) = − ∑ x ∈ X ∑ y ∈ Y p ( x , y ) log ⁡ p ( x , y ) H(X,Y)=-\sum_{x\in X} \sum_{y\in Y}p(x,y)\log p(x,y) H(X,Y)=xXyYp(x,y)logp(x,y)
H ( X , Y ) ≤ H ( X ) + H ( Y ) H(X,Y) \leq H(X)+H(Y) H(X,Y)H(X)+H(Y),即联合熵不一定等于两个随机变量的信息熵之和。理解:观察X会获得Y一定的信息。

条件熵
两个随机变量,当知道Y时,X的平均不确定性称为条件熵。
计算公式:
H ( X ∣ Y ) = − ∑ x ∈ X ∑ y ∈ Y p ( x , y ) log ⁡ p ( x ∣ y ) H(X|Y)=-\sum_{x\in X} \sum_{y\in Y}p(x,y)\log p(x|y) H(XY)=xXyYp(x,y)logp(xy)
条件熵和联合熵满足链式法则
H ( X , Y ) = H ( Y ) + H ( X ∣ Y ) = H ( X ) + H ( Y ∣ X ) H(X,Y)=H(Y)+H(X|Y)=H(X)+H(Y|X) H(X,Y)=H(Y)+H(XY)=H(X)+H(YX)

4、互信息

事物是普遍联系的,随机变量也存在相互关系,互信息可以用来刻画随机变量的相关程度。

  • 单独观察X得到的信息量是 H ( X ) H(X) H(X)
  • 已知Y后,X的信息量变为 H ( X ∣ Y ) H(X|Y) H(XY)
  • 了解Y后,X的信息量减少了 H ( X ) − H ( X ∣ Y ) H(X)-H(X|Y) H(X)H(XY)

定义:离散型随机变量X与Y之间的互信息 I ( X ; Y ) I(X;Y) I(X;Y)
I ( X ; Y ) = H ( X ) − H ( X ∣ Y ) = ∑ x ∈ X ∑ y ∈ Y p ( x , y ) log ⁡ p ( x , y ) p ( x ) p ( y ) I(X;Y)=H(X)-H(X|Y)=\sum_{x\in X} \sum_{y\in Y}p(x,y)\log {\frac {p(x,y)}{p(x)p(y)}} I(X;Y)=H(X)H(XY)=xXyYp(x,y)logp(x)p(y)p(x,y)
I ( X ; Y ) = H ( X ) + H ( Y ) − H ( X , Y ) I(X;Y)=H(X)+H(Y)-H(X,Y) I(X;Y)=H(X)+H(Y)H(X,Y)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/16731.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

mac 安装java jjdk8 jdk11 jdk17 等

oracle官网 https://www.oracle.com/java/technologies/downloads/ 查看当前电脑是英特尔的x86 还是arm uname -m 选择指定版本,指定平台的安装包: JDK8 JDK11的,需要当前页面往下拉: 下载到的安装包,双击安装&#x…

ChatGLM3-6B部署

ZhipuAI/chatglm3-6b 模型文件地址 ChatGLM3 代码仓库 ChatGLM3 技术文档 硬件环境 最低要求: 为了能够流畅运行 Int4 版本的 ChatGLM3-6B,最低的配置要求: 内存:> 8GB 显存: > 5GB(1060 6GB,2060 6G…

私域用户画像分析:你必须知道的3个关键点!

在互联网时代的变革中,私域流量成为越来越多企业的关注焦点。而了解私域用户画像是建立精准营销策略的关键一步。 今天,就给大家分享私域用户画像分析的三个关键点,让大家都能更好地进行用户画像分析。 1、市场需求 理解市场需求是把握用户…

[力扣]——231.2的幂

题目描述: 给你一个整数 n,请你判断该整数是否是 2 的幂次方。如果是,返回 true ;否则,返回 false 。 如果存在一个整数 x 使得 n 2x ,则认为 n 是 2 的幂次方。 bool isPowerOfTwo(int n){ if(n0)retur…

人工智能与人工计算的发展——孙凝晖院士

人工智能领域近年来正在迎来一场由生成式人工智能大模型引领的爆发式发展。2022年11月30日,OpenAI公司推出一款人工智能对话聊天机器人ChatGPT,其出色的自然语言生成能力引起了全世界范围的广泛关注,2个月突破1亿用户,国内外随即掀…

3D技术的应用领域

3D技术在现代科技和工业中有广泛的应用,其涵盖的领域非常广泛,从娱乐到医学,再到制造业和建筑,3D技术正在改变我们理解和互动的方式。以下是一些主要的应用领域。北京木奇移动技术有限公司,专业的软件外包开发公司&…

每比特极致性价比的存储技术有哪些?

在当前的存储技术中,每比特极致性价比的技术主要有以下几种: 固态硬盘(SSD):固态硬盘采用闪存芯片来存储数据,相比传统的机械硬盘,具有更高的读写速度和更低的能耗。SSD的存储密度和性能已经得到…

Facebook开户Facebook公共主页怎么运营?

独立站代表着企业在海外的企业形象,公共主页也不例外,它也代表着我们外贸企业在Facebook上面的企业形象。那么如何运营一个让客户看到就觉得专业的Facebook公共主页呢? 今天我们来聊聊如何运营Facebook公共主页,建立品牌形象、为…

如何获取某个城市或区域的人口分布数据?

人口分布数据在多个领域都扮演着至关重要的角色。这些数据不仅反映了一个国家或地区的人口分布状况,而且为政策制定者、企业决策者和研究者提供了宝贵的信息。那么,我们如何获取这些重要的人口分布数据呢? 政府统计部门是最主要的来源。各国政…

通用代码生成器应用场景二,快速原型

通用代码生成器应用场景二,快速原型 对项目经理,产品经理和售前工程师而言,开发快速原型是一种常见的需求。使用通用代码生成器,您可以更好,更快的开发系统的快速原型。通用代码生成器对完成CRUD和登录系统阶段的快速…

2024 NahamConCTF re 部分wp

IPromise 附件拖入ida main里没东西,但是函数列表很明显。直接在线网站解 Taylors First Swift 附件拖入ida,会提示识别到结构,选择yes 比较简单,可以直接猜异或之后再base64 Whats in the Box? 新遇见的题型,是用mak…

四元数学习总结(2)

导语:相比矩阵,用四元数处理3D旋转的优势是毋庸置疑的,但由于概念复杂,难于理解,一直令我摸不着头脑。最近学习更是发现在机器人、无人机、SLAM等先进领域,四元数被当成实数、整数这样的基础,所…

抄单 高频下单系统的功能都有什么?

1、多开:同一台电脑同一个账户无限数量登录(登录后可独立新开合约,挂单,买卖等),多开后可使用三种不同切换方式来回切换,第一种为ALTTab切换、第二种为点击搜索条切换、第三种为点击下方任务栏切…

RT-Thread更改msh串口波特率

修改rt-thread文件下components下dirvers下serial.h文件里 #define RT_SERIAL_CONFIG_DEFAULT 里的默认波特率即可

Vue进阶之Vue项目实战(三)

Vue项目实战 图表渲染安装echarts图表渲染器(图表组件)图表举例:创建 ChartsRenderer.vue创建 ChartsDataTransformer.ts 基于 zrender 开发可视化物料安装 zrender画一个矩形画一个柱状图 基于svg开发可视化物料svg小示例使用d3进行图表渲染安装d3基本使用地图绘制…

On Protecting the Data Privacy of Large Language Models (LLMs): A Survey -论文翻译

论文链接:https://arxiv.org/pdf/2403.05156 On Protecting the Data Privacy of Large Language Models : A Survey On Protecting the Data Privacy of Large Language Models (LLMs): A SurveyAbstract1 Introduction2 Related Work*A. Surveys on LLM Evaluati…

柏拉图表征假说:AI模型趋同于现实的统一表征

引言 近日,Ilya Sutskever在离开OpenAI后不久点赞了一篇由MIT团队发表的AI论文,这篇题为《The Platonic Representation Hypothesis》的论文引起了广泛关注。这篇论文探讨了AI模型在不同数据和模态上的训练是否趋向于收敛成一个共享的现实世界统计模型。…

怎么识别图片中的文字呢!??

要识别图片中的文字,一般使用OCR软件来实现这一需求,下面以金某识别网页版为例,说说操作步骤: 一、点击“点击添加需转换的图片或PDF”,如还没登录将弹出登录窗口,直接登录即可,如已登录&#x…

基于微信小程序实验室资源开放平台探索

基于微信小程序实验室资源开放平台探索 “Exploring a WeChat Mini Program for Laboratory Resource Open Platform in the Field of Software Engineering” 完整下载链接:基于微信小程序实验室资源开放平台探索 文章目录 基于微信小程序实验室资源开放平台探索摘要第一章 …

基于 Wireshark 分析 UDP 协议

一、UDP 协议 UDP(User Datagram Protocol,用户数据报协议)是一种无连接的传输层协议,常用于传输即时数据,如音频、视频和实时游戏数据等。 UDP 的特点如下: 1. 无连接性:UDP 不需要在发送数…