逻辑回归的输出值为什么可以作为概率?




为什么逻辑回归的输出值可以作为概率?或者说为什么逻辑回归要求假设因变量符合伯努利分布?

这是因为逻辑回归(Logistic Regression)的Sigmoid函数是符合广义线性模型(General Linear Model)的伯努利分布(Bernoulli Distribution)的规范联结函数(Canonical Link Function)的反函数,Sigmoid函数将线性函数映射到伯努利分布的期望

要解释清楚上面的这段话,还得从广义线性模型(GLM)(详见:传送门)说起

广义线性模型不是一个模型,而是一类模型的总称,当一个模型属于指数分布族时,我们认为该模型是广义线性模型的一个特例

每一个特定的广义线性模型对应一个特定的分布,例如我们之前提到的线性回归模型,对应的是正态分布

广义线性模型中,每一个分布都对应存在一个正则(规范)联结函数(Canonical Link Function),这一函数的反函数可以将线性函数映射到该分布的期望

例如,通过正态分布的正则联结函数的反函数,我们可以将线性回归模型映射到正态分布的期望值 μ μ μ,这正是我们所熟悉的线性回归模型中所做的事情

为什么线性回归要求假设因变量符合正态分布?这是因为线性回归对于一个新的数据的预测值,其本身就是正态分布的期望(详见:传送门),如果我们所使用的数据本身不符从正态分布,那么强行使用线性回归显然会得到一个很差的结果

与之相似,逻辑回归也是广义线性模型的特例,其对应的分布是伯努利分布

Sigmoid函数是伯努利分布的联结函数的反函数,它将线性函数映射到了伯努利分布的期望上,而伯努利分布的期望本身就是概率,因此,逻辑回归得到的输出可以代表概率,也正是因为它代表概率,才落在(0,1)之间

如果该函数的反函数能够将线性方程映射到某个广义线性模型的期望,则该函数称为联结函数,使用 g ( ⋅ ) \rm g(·) g()表示,联结函数的反函数使用 g ′ ( ⋅ ) \rm g'(·) g()表示

例如,对于线性函数
y = ω T x + b y=\omega^T x+b y=ωTx+b

使用 ln ⁡ ( ⋅ ) \ln(·) ln()联结函数将上面线性函数转换为非线性函数,即 ln ⁡ ( ⋅ ) \ln(·) ln()联结函数的反函数为
y = e ω T x + b y=e^{\omega ^Tx+b} y=eωTx+b

如果使用Sigmoid函数
s ( z ) = 1 1 + e − z s(z)=\frac{1}{1+e^{-z}} s(z)=1+ez1

作为联结函数将上述线性函数转换为非线性函数,即Sigmoid联结函数的反函数为
s ′ ( z ) = s ( z ) ( 1 − s ( z ) ) s'(z)=s(z)(1-s(z)) s(z)=s(z)(1s(z))

具体计算过程见文章:传送门

Sigmoid函数的联结函数的反函数是伯努利分布(详见:传送门),该函数将线性函数映射到伯努利分布的期望上,使其输出可以作为概率

推导过程详见文章:传送门



本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/695937.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

解决Uncaught SyntaxError: Cannot use import statement outside a module(at XXX)报错

报错原因:这个错误通常是因为你正在尝试在一个不支持 ES6 模块语法的环境中使用 import 语句。这可能是因为你的代码是在一个只支持 CommonJS 或 AMD 模块系统的环境中运行的,或者你的代码运行的环境没有正确配置以支持 ES6 模块。如果是在浏览器环境&am…

2024最佳住宅代理IP服务商推荐

跨境出海已成为了近几年的最热趋势,大批量的企业开始开拓海外市场,而海外电商领域则是最受欢迎的切入口。新兴的tiktok、Temu,老牌的Amazon、Ebay,热门的Etsy、Mecari等等都是蓝海一片。跨境入门并不难,前期的准备中不…

UE4 C++联网RPC教程笔记(三)(第8~9集)完结

UE4 C联网RPC教程笔记(三)(第8~9集)完结 8. exe 后缀实现监听服务器9. C 实现监听服务器 8. exe 后缀实现监听服务器 前面我们通过蓝图节点实现了局域网连接的功能,实际上我们还可以给项目打包后生成的 .exe 文件创建…

LeetCode 0106.从中序与后序遍历序列构造二叉树:分治(递归)——五彩斑斓的题解(若不是彩色的可以点击原文链接查看)

【LetMeFly】106.从中序与后序遍历序列构造二叉树:分治(递归)——五彩斑斓的题解(若不是彩色的可以点击原文链接查看) 力扣题目链接:https://leetcode.cn/problems/construct-binary-tree-from-inorder-an…

代码世界的构建有一个不可或缺的支柱(如何让代码更加稳健)

目录 一.概念引入 二.属性描述符的常见用法 三.实例运用(数据验证) 三.基于JS的属性描述符 使用中常见的问题 最近学JavaScript的过程中,有幸学到了一个新的知识点----属性描述符,尽管它在业务代码中可能并不常见,但是许多库源码中都有它的身影,比如vue 一.概念引入 属性…

FSQ: FINITE SCALAR QUANTIZATION: VQ-VAE MADE SIMPLE

Paper name FINITE SCALAR QUANTIZATION: VQ-VAE MADE SIMPLE Paper Reading Note Paper URL: https://arxiv.org/abs/2309.15505 Code URL: (官方 jax 实现) https://github.com/google-research/google-research/tree/master/fsq(pytorch 实现) https://github.com/luci…

OSPF综合实验详解

一、实验要求 1,R4为ISP,其上只能配置IP地址;R4与其他所有直连设备间均使用公有IP; 2,R3-R5/6/7为MGRE环境,R3为中心站点; 3,整个OSPF环境IP基于172.16..8/16划分; 4…

外观设计专利的特征和特点

许多人往往将商品包装与外观设计混同起来,其实两者的区别很大,外观设计由专利法予以保护,简单说,外观设计是指工业品的外观设计,也就是工业品的式样,包括形状、图案、色彩等。下面介绍外观设计专利的特征和…

SpringBoot+WebSocket实现即时通讯(一)

前言 本博客姊妹篇 SpringBootWebSocket实现即时通讯(一)SpringBootWebSocket实现即时通讯(二)SpringBootWebSocket实现即时通讯(三)SpringBootWebSocket实现即时通讯(四) 传统方…

OpenWRT部署web站点并结合内网穿透实现无公网ip远程访问

文章目录 前言1. 检查uhttpd安装2. 部署web站点3. 安装cpolar内网穿透4. 配置远程访问地址5. 配置固定远程地址 前言 uhttpd 是 OpenWrt/LuCI 开发者从零开始编写的 Web 服务器,目的是成为优秀稳定的、适合嵌入式设备的轻量级任务的 HTTP 服务器,并且和…

day38打卡

day38打卡 509. 斐波那契数 状态表示: ​ 第i个数的斐波那契数是dp[i] 状态转移方程 ​ 见题目:dp[i] dp[i-1] dp[i-2] 初始化 ​ 见题目,dp[0] 0,dp[1] 1,本题用两个变量代替即可。 填表顺序 ​ 从左到右…

接口超时-千篇一律的重试和优化

我以为我当甲方爸爸了,结果作为一个程序员在哪里工作能拿出甲方爸爸的硬气来呢?别个是真的不重视啊。调用别人接口,有问题别人是真不回啊,一个问题用了一天解决? 接口超时了,半分钟的超时时间都没够用 半…

uniapp微信小程序-项目实战修改密码

图标是使用uview里面的图标&#xff0c;icfont也可以 以下是所有代码 <template><view><!-- 密码三个 --><view class"password" v-for"(item,index) in userList"><view class"contentuser"><view class&qu…

几个常见的C/C++语言冷知识

当涉及到C/C语言时&#xff0c;有一些冷知识可能并不为人所熟知&#xff0c;但却可以让你更深入地理解这门古老而强大的编程语言。以下是一些有趣的C/C语言冷知识。 1. 数组的下标可以是负数 在我们日常的C语言编程中&#xff0c;数组是一个非常常见的数据结构。我们习惯性地使…

DIY赴美生子必看~

现在选择赴美生子的宝妈越来越多&#xff0c;很多开始选择半DIY的形式&#xff0c;那么有哪些细节需要注意呢? 说中文的医生更方便? 这条对于DIY赴美生子者来说很关键&#xff0c;不要认为你的日常英文沟通没问题&#xff0c;涉及一些医学术语时&#xff0c;能否顺畅地与医生…

ai写作软件手机版哪个好用?

ai写作软件手机版哪个好用&#xff1f;随着技术的发展&#xff0c;越来越多的ai写作软件出现在互联网上&#xff0c;当然&#xff0c;这取决于人们对它的需求很大&#xff0c;ai写作软件可以帮助大家完成文章自动写作&#xff0c;也可以帮助大家生成优质的文案&#xff0c;同时…

提升网络质量:UDPspeeder 实现网络优化与提速

提升网络质量&#xff1a;UDPspeeder 实现网络优化与提速 背景与意义原理与功能使用方法未来展望相关链接服务 在当今高度互联的网络环境下&#xff0c;网络质量的优化和提速对于用户体验至关重要。针对高延迟和丢包率较高的网络链路&#xff0c;UDPspeeder 提供了一种前向纠错…

淘宝代购系统;海外代购系统;代购程序,代购系统源码PHP前端源码

代购业务近年兴起的一种购物模式&#xff0c;是帮国外客户购买中国商品。主要通过外贸代购模式&#xff0c;把淘宝、 天猫等电商平台的全站商品通过API接入到你的网站上&#xff0c;瞬间就可以架设一个有数亿产品的大型网上商城&#xff0c;而且可以 把这些中文的商品全部自动翻…

Shopee平台文具选品策略大揭秘:打造畅销产品,提升市场竞争力

在Shopee平台上销售文具类商品&#xff0c;是许多卖家追求的目标。然而&#xff0c;要在激烈的市场竞争中脱颖而出&#xff0c;并取得可观的销售业绩&#xff0c;需要制定一系列有效的选品策略。以下是一些在Shopee平台上进行文具选品时的关键策略&#xff0c;帮助卖家提高产品…

【杭州游戏业:创业热土,政策先行】

在前面的文章中&#xff0c;我们探讨了上海、北京、广州、深圳等城市的游戏产业现状。现在&#xff0c;我们切换视角&#xff0c;来看看另一个游戏创业热土——杭州的发展情况 最近第19届亚运会在杭州举办&#xff0c;本次亚运会上&#xff0c;电子竞技首次获准列为正式比赛项…