机器学习西瓜书之对数几率回归

算法原理

在线性模型的基础上增加一个激活函数用于映射。

知识预备

信息论

用概率论和随机过程为基本研究工具,研究广义通信系统的整个过程。常见的有无损压缩、有数据压缩等。

  • 自信息: I ( X ) = − log ⁡ b p ( x ) I(X)=-\log_bp(x) I(X)=logbp(x) 在概率是0.5的时候最没法确认到底数值是多少

  • 信息熵(自信息的期望):信息熵越大越不确定,用数学的方式量化不确定性。

  • 相对熵(KL散度):度量两个分布的差异以及典型场景用来度量理想分布 p ( x ) p(x) p(x)最想求解的分布)和模拟分布 q ( x ) q(x) q(x)之间的差异。计算公式如下:

    D K L ( p ∣ ∣ q ) = ∑ x p ( x ) log ⁡ b ( p ( x ) q ( x ) ) = ∑ x p ( x ) ( log ⁡ b p ( x ) − log ⁡ b q ( x ) ) = ∑ x p ( x ) log ⁡ b p ( x ) − ∑ x p ( x ) log ⁡ b q ( x ) \begin{aligned}D_{KL}(p||q)&=\sum_xp(x)\log_b(\frac{p(x)}{q(x)})\\&=\sum_xp(x)\left(\log_bp(x)-\log_bq(x)\right)\\&=\sum_xp(x)\log_bp(x)-\sum_xp(x)\log_bq(x)\end{aligned} DKL(p∣∣q)=xp(x)logb(q(x)p(x))=xp(x)(logbp(x)logbq(x))=xp(x)logbp(x)xp(x)logbq(x)

  • 交叉熵: − ∑ x p ( x ) log ⁡ b q ( x ) -\sum_xp(x)\log_bq(x) xp(x)logbq(x),相对熵中的被减的部分,要使得原来的最大,就要最小化交叉熵。

  • 对照课本上面的公式

    ℓ ( β ) = ∑ i = 1 m ( − y i β T x ^ i + ln ⁡ ( 1 + e β T x ^ i ) ) \ell(\boldsymbol{\beta})=\sum_{i=1}^{m}\left(-y_{i}\boldsymbol{\beta}^{\mathrm{T}}\hat{\boldsymbol{x}}_{i}+\ln\left(1+e^{\boldsymbol{\beta}^{\mathrm{T}}\hat{\boldsymbol{x}}_{i}}\right)\right) (β)=i=1m(yiβTx^i+ln(1+eβTx^i))
    从机器学习三要素中的“策略”角度分析,与理想分布最接近的分布就是最佳分布。

对应机器学习三要素

  1. 模型:线性模型,结合sigmoid函数实现输出值规范在0-1之间
  2. 策略:极大似然估计
  3. 算法:梯度下降,牛顿法;求出一个近似解就行。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/643204.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【Maven】-- 打包添加时间戳的两种方法

一、需求 在执行 mvn clean package -Dmaven.test.skiptrue 后,生成的 jar 包带有自定义系统时间。 二、实现 方法一:使用自带属性(不推荐) 使用系统时间戳,但有一个问题,就是默认使用 UTC0 的时区。举例…

单片机11-13

目录 蜂鸣器 蜂鸣器播放按键提示音 蜂鸣器播放音乐 AT24C02(IIC)总线 AT24C02数据存储 AT24C02秒表(定时器扫描按键) DS18B20温度传感器(单总线) 温度显示 温度报警器 蜂鸣器 蜂鸣器播放按键提示音…

网络安全B模块(笔记详解)- 文件MD5校验

1.进入虚拟机操作系统:CentOS 6.8中的/root目录,找到test.txt文件,并使用md5sum工具来计算出该文件的md5值,并将计算该文件md5的命令的字符串作为Flag进行提交; 2.进入虚拟机操作系统:CentOS 6.8中的/root目录,找到test.txt文件,并使用md5sum校验工具来计算出该文件的…

一款相对比较强大的国产ARM单片机HC32F4A0

已经用了3年的HC32F4A0,已经对它比较熟悉了,与STM32相比它的外设使用这些的确是挺大大,不像GD32一类的单片机很多都能兼容STM32。用久了之后就更喜欢用HC32F4A0,功能强大,外设使用灵活,用点向FPGA靠拢的感觉…

安全认证机制之JWT

文章目录 前言一、JWT是什么二、为什么要用JWT三、JWT的组成四、JWT的应用场景总结 前言 在我们实际开发中会接触到很多安全认证机制,诸如HTTP Basic Auth、OAuth、Cookie-session Auth、Token Auth、JWT等等,今天我们就来聊一下基于JWT的Token认证机制。…

AI+量化03_股票数据获取

文章目录 思维导图问答之纯小白 vs GPT4 目标: 掌握量化金融知识、使用Python进行量化开发 背景:纯小白 参考资料:https://github.com/datawhalechina/whale-quant 本章是学习了股票数据的获取: 理论层面:包括股票数据的分类和常…

非诚勿扰宝马女起诉离婚事件:物质固然重要,但婚姻不是儿戏,需慎重对待...

媒体报道,近日,曾因《非诚勿扰》节目中一句“宁愿坐在宝马车里哭,也不坐在自行车上笑”而引发广泛争议的马某,如今再次成为舆论的焦点。 她所描述的闪婚后半年内遭受的家暴情况,不仅是对她个人生活的巨大冲击&#xff…

【AIGC】CLIP

CLIP的基本原理 对比学习: Clip使用对比学习来训练模型。对比学习的目标是通过将正样本(相似的图像和文本对)与负样本(不相似的图像和文本对)进行比较,从而使模型学会区分不同样本之间的差异。这有助于模型…

自然语言处理--基于HMM+维特比算法的词性标注

自然语言处理作业2--基于HMM维特比算法的词性标注 一、理论描述 词性标注是一种自然语言处理技术,用于识别文本中每个词的词性,例如名词、动词、形容词等; 词性标注也被称为语法标注或词类消疑,是语料库语言学中将语料库内单词…

【其他-闲谈】关于博客排行榜

今天在学习内核驱动,有个常量不知道什么意思,然后在一篇博客上找到了答案——GFP_KERNEL的作用 偶然注意到作者排行50,然后往下看了看,想知道为什么他排行这么靠前,看这文章数量,估摸着一天一篇&#xff0c…

百度搜索智能精选是什么东西、怎么加入?

百度搜索智能精选是什么? 提问及具体展示如上图,这是白杨SEO一个好友提问的。他是觉得这个入口篇幅这么大,做宣传推广不错,问我是什么,怎么可以加入进去? 其实这就是百度搜索智能精选,只能是P…

浪花 - 查询队伍列表

一、接口设计 1. 请求参数:封装 TeamQuery package com.example.usercenter.model.dto;import com.example.usercenter.common.PageRequest; import lombok.Data;/*** author 乐小鑫* version 1.0* Date 2024-01-22-20:14*/ Data public class TeamQuery extends …

Stable Diffusion学习

参考 Stable Diffusion原理详解_stable diffusion csdn-CSDN博客 Stable Diffusion是stability.ai开源的图像生成模型,可以说Stable Diffusion的发布将AI图像生成提高到了全新高度,其效果和影响不亚于Open AI发布ChatGPT。 图像生成的发展 在Stable D…

【RT-DETR有效改进】轻量化ConvNeXtV2全卷积掩码自编码器网络

前言 大家好,我是Snu77,这里是RT-DETR有效涨点专栏。 本专栏的内容为根据ultralytics版本的RT-DETR进行改进,内容持续更新,每周更新文章数量3-10篇。 专栏以ResNet18、ResNet50为基础修改版本,同时修改内容也支持Re…

解决docker desktop 登录不上账号的问题

一、背景 点击“Sign in”,一直卡在Verifying credentials...,重试也没用。 二、解决办法 1、macOS下载并安装Proxifier 2、配置Proxifier 配置Proxies 配置rule 其中的Applications填:"Docker.app"; "Docker"; com.…

Java语言第三篇集合

集合 集合List集合ArrayListLinkedList泛型SetTreeSet集合特点数据结构HashSet集合Map集合HashMapTreeMap可变参数创建不可变集合 集合 集合和数组的对比 数组的长度是不可变的,集合的长度是可变的。数组可以存基本数据类型和引用数据类型。集合只能存引用数据类型…

「nuxt2配置tailwindcss」nuxt2添加tailwindcss详细步骤!解决版本不对称各种报错~~

1.插件下载 官方地址 npm install -D nuxtjs/tailwindcss3.4.3 tailwindcss3.4.1 postcss^8.4.33 autoprefixer10.4.17 2.nuxt.config.js配置 module.exports {// ...buildModules: [nuxtjs/tailwindcss],// ... }3.tailwind.config.js npx tailwindcss init module.exports…

【NVIDIA】Jetson Orin Nano系列:Qt+Gstreamer(02):gstreamer输出图像到Qt控件上

1、pro配置 QT += core gui greaterThan(QT_MAJOR_VERSION, 4): QT += widgets CONFIG += c++17LIBS +=-lglib-2.0 LIBS +=-lgobject-2.0 LIBS +=

复合机器人颠覆传统上下料,实现高效精准生产

在追求高效、精准生产的现代制造业中,传统的上下料方式已经无法满足企业的需求。复合机器人的出现,为制造业带来了革命性的变革。它不仅提高了生产效率,降低了生产成本,还为企业创造了更大的竞争优势。复合机器人的广泛应用&#…

记录php 生成树

经常用php 生成树形结构,这里记录一遍 有两种方法 第一种是引用调用,特点是运行速度快,只需要循环一遍,但是无法动态修改里面数据 第二种是递归调用,可以动态调用数据 结论: 如果数据在几十条建议使用 …