吴恩达《机器学习》4-1->4-5:多变量线性回归

一、引入多维特征

在多维特征中,我们考虑的不再是单一的特征,而是一组特征,例如房价模型中可能包括房间数、楼层等多个特征。这些特征将组成一个向量,表示为(𝑥₁, 𝑥₂, . . . , 𝑥ₙ),其中 𝑛 代表特征的数量。每个特征都可以表示数据集中的不同属性。

对于每个训练实例,我们使用向量表示特征,如𝑥(𝑖) = [1416, 3, 2, 40],这里 𝑥ⱼ(𝑖) 代表特征矩阵中第 𝑖 行的第 𝑗 个特征,也就是第 𝑖 个训练实例的第 𝑗 个特征。

支持多变量的假设 ℎ 表示为:

ℎ𝜃(𝑥) = 𝜃₀ + 𝜃₁𝑥₁ + 𝜃₂𝑥₂ + . . . + 𝜃ₙ𝑥ₙ

在这个公式中,有 𝑛 + 1 个参数和 𝑛 个变量。为了简化这个公式,我们引入 𝑥₀ = 1,这将使公式转化为:

ℎ𝜃(𝑥) = 𝜃₀𝑥₀ + 𝜃₁𝑥₁ + 𝜃₂𝑥₂ + . . . + 𝜃ₙ𝑥ₙ

这样,模型中的参数是一个 𝑛 + 1 维的向量,每个训练实例也都是一个 𝑛 + 1 维的向量,特征矩阵 𝑋 的维度是 𝑚 × (𝑛 + 1)。

二、多变量梯度下降

与单变量线性回归类似,多变量线性回归中也需要构建代价函数。代价函数表示为所有建模误差的平方和:

𝐽(𝜃₀, 𝜃₁, . . . 𝜃ₙ) = 1/2𝑚 ∑ (ℎ𝜃(𝑥(𝑖)) - 𝑦(𝑖))², 其中 ℎ𝜃(𝑥) = 𝜃₀ + 𝜃₁𝑥₁ + 𝜃₂𝑥₂ + . . . + 𝜃ₙ𝑥ₙ

我们的目标仍然是找出使代价函数最小化的一系列参数。多变量线性回归的批量梯度下降算法为:

不断迭代,更新参数𝜃₀, 𝜃₁, . . . , 𝜃ₙ,直到收敛。

三、特征缩放

在处理多维特征问题时,确保所有特征具有相近的尺度是非常重要的。如果特征的尺度差异太大,会导致梯度下降算法收敛缓慢。通常,我们将所有特征的尺度缩放到 -1 到 1 之间,这有助于加速梯度下降的收敛。

最简单的方法是将每个特征缩放为:

𝑥ₙ = (𝑥ₙ - 𝜇ₙ) / 𝑠ₙ

其中 𝜇ₙ 是特征的均值,𝑠ₙ 是标准差。这样,所有特征都具有相似的尺度,有助于算法更快地收敛。

四、学习率

梯度下降算法的学习率(learning rate)是一个关键的超参数,对于算法的性能和收敛速度具有重要影响。学习率决定了每次参数更新的步长,过小的学习率可能导致算法收敛得非常慢,而过大的学习率可能使得算法无法收敛。

  • 小学习率(例如 0.01 或 0.03):这些学习率通常使算法非常稳定,但可能需要更多的迭代才能收敛到最佳解。

  • 适中的学习率(例如 0.1 或 0.3):这些学习率通常是一个好的起点,可以使算法在相对较少的迭代次数内收敛到较好的解。

  • 大学习率(例如 1、3 或 10):这些学习率可能使算法在较少的迭代次数内快速收敛,但如果学习率过大,可能会导致算法不收敛,甚至发散。

通常,选择合适的学习率需要进行试验和调整。可以开始尝试中等大小的学习率,然后根据算法的表现逐渐调整。同时,可以使用学习率衰减策略,随着迭代次数的增加逐渐减小学习率,以平衡速度和稳定性。

五、特征与多项式回归

在某些情况下,线性回归模型可能无法很好地拟合数据,因为数据的关系不是线性的。多项式回归是一种技术,用于处理这些情况。它允许引入更高次的特征,以拟合数据的曲线形状。

  • 多项式回归模型:这是线性回归的一种扩展,允许使用多项式函数来拟合数据。模型的形式可以是像这样的方程:ℎ𝜃(𝑥) = 𝜃₀ + 𝜃₁𝑥₁ + 𝜃₂𝑥₂ + . . . + 𝜃ₙ𝑥ₙ,其中 n 是多项式的次数。

  • 特征变换:除了多项式回归,特征变换也是一种方法。通过对原始特征进行变换,例如取对数、开方、指数等,可以使问题更适合线性回归模型。这样的变换可以将非线性关系转化为线性关系。

在实际应用中,选择多项式次数或特征变换的方法需要根据数据的特点进行试验和调整。通常,我们会观察数据的分布和关系,然后根据需要决定是否采用多项式回归或特征变换,以获得更好的拟合结果。

参考资料

[中英字幕]吴恩达机器学习系列课程

黄海广博士 - 吴恩达机器学习个人笔记

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/129046.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

nodelist 与 HTMLCollection 的区别

原地址 https://cloud.tencent.com/developer/article/2013289 节点与元素 根据 W3C 的 HTML DOM 标准,HTML 文档中的所有内容都是节点: 整个文档是一个文档节点每个 HTML 元素是元素节点HTML 元素内的文本是文本节点每个 HTML 属性是属性节点注释是注…

ts 简易封装 axios,统一 API

文章目录 为什么要封装目标文件结构封装通用请求方法获得类型提示http 方法文件上传使用示例实例化post 请求类型提示文件上传 总结完整代码: 为什么要封装 axios 本身已经很好用了,看似多次一举的封装则是为了让 axios 与项目解耦。比如想要将网络请求…

视频增强和修复工具 Topaz Video AI mac中文版功能

Topaz Video AI mac是一款使用人工智能技术对视频进行增强和修复的软件。它可以自动降噪、去除锐化、减少压缩失真、提高清晰度等等。Topaz Video AI可以处理各种类型的视频,包括低分辨率视频、老旧影片、手机录制的视频等。 使用Topaz Video AI非常简单&#xff0c…

突破防火墙的一种方法

当Linux防火墙阻止来自某个ip的数据时,它应该是根据ip数据报里“源IP地址”字段取得的对方ip吧,那对方就不能通过篡改“源IP地址”来绕过防火墙吗?NAT模式下的路由器就修改了这个字段。 但这样的话,攻击者是收不到服务器返回的数…

PHP获取域名地址,$_SERVER[]用法

一、PHP获取域名地址 $host $_SERVER[HTTP_HOST];二、PHP获取域名后面的所有字符 $host $_SERVER[REQUEST_URI];//https://www.baidu.com/md/?articleId134157878//输出 /md/?articleId134157878三、PHP获取服务器的IP $serverIP $_SERVER[SERVER_ADDR]; echo "服务…

学 Java 怎么进外企?

作者:**苍何,CSDN 2023 年 实力新星,前大厂高级 Java 工程师,阿里云专家博主,土木转码,现任部门技术 leader,专注于互联网技术分享,职场经验分享。 🔥热门文章推荐&#…

麒麟KYLINIOS软件仓库搭建01-新创建软件仓库服务器

原文链接:麒麟KYLINIOS软件仓库搭建01-新创建软件仓库服务器 hello,大家好啊,今天给大家带来麒麟桌面操作系统软件仓库搭建的文章01-新创建软件仓库服务器,本篇文章主要给大家介绍了如何在麒麟桌面操作系统2203-x86版本上搭建内网…

docker 下安装mysql8.0

在docker中查询mysql镜像 PS C:\Users\admin> docker search mysql NAME DESCRIPTION STARS OFFICIAL AUTOMATED mysql MySQL is a widely used, open-source relation……

使用java代码操作Redis

一、Java连接Redis 二、Java操作Redis的常见类型数据存储 三、Redis中的项目应用

YOLOV8最简图像分类检测推理代码

安装YOLOV8 首先要去YOLOV8的官网安装库 YOLOV8官方网站 # Install the ultralytics package from PyPI pip install ultralytics安装opencv pip install opencv-pythonimport cv2 from ultralytics import YOLO# Load the YOLOv8 model model YOLO(yolov8n.pt)# Open the …

【Python_GraphicsView 学习笔记(一)】Graphics View框架的基本介绍

【Python_GraphicsView 学习笔记(一)】Graphics View框架的基本介绍 前言正文1、Graphics View框架简介2、Graphics View框架与QPainter类的区别3、Graphics View框架的三个组成部分4、场景QGraphicsScene类5、视图QGraphicsView类6、图形项QGraphicsIte…

深度学习_3 数据操作之线代,微分

线代基础 标量 只有一个元素的张量。可以通过 x torch.tensor(3.0) 方式创建。 向量 由多个标量组成的列表(一维张量)。比如 x torch.arange(4) 就是创建了一个1*4的向量。可以通过下标获取特定元素(x[3]),可以通…

Vue3入门指南:零基础小白也能轻松理解的学习笔记

文章目录 创建项目开发环境项目目录模板语法属性绑定条件渲染列表渲染事件处理内联事件处理器方法事件处理器(常用) 事件参数获取 event 事件事件传参 事件修饰符阻止默认事件阻止事件冒泡 数组变化侦测变更方法替换一个数组 计算属性class 绑定单对象绑…

野火霸天虎 STM32F407 学习笔记_1 stm32介绍;调试方法介绍

STM32入门——基于野火 F407 霸天虎课程学习 前言 博主开始探索嵌入式以来,其实很早就开始玩 stm32 了。但是学了一段时间之后总是感觉还是很没有头绪,不知道在学什么。前前后后分别尝试了江协科技、正点原子、野火霸天虎三次 stm32 的课程学习。江协科…

多模态 多引擎 超融合 新生态!2023亚信科技AntDB数据库8.0产品发布

9月20日,以“多模态 多引擎 超融合 新生态”为主题的亚信科技AntDB数据库8.0产品发布会成功举办,从技术和生态两个角度全方位展示了AntDB数据库第8次大型能力升级和生态建设成果。浙江移动、用友、麒麟软件、华录高诚、金云智联等行业伙伴及业界专家共同…

本地部署 lama-cleaner

本地部署 lama-cleaner 什么是 lama-cleanerGithub 地址部署 lama-cleaner启动 lama-cleaner什么是 lama-cleaner lama-cleaner 是一款由 SOTA AI 模型提供支持的免费开源修复工具。 从照片中删除任何不需要的物体、缺陷、人物,或擦除并替换(由稳定扩散驱动)照片上的任何东…

如何做好网页配色,分享一些配色方案和方法

很多网页设计师在选择网页配色方案时,会纠结于用什么网页UI配色方案来吸引客户的注意力,传达信息。选择正确的颜色是网页设计不可或缺的一部分。本指南将从色彩理论和色彩心理学入手,分享三个网页UI配色的简单步骤。 网页UI配色方法有很多&a…

关于msvcp120.dll丢失的解决方法详解,快速解决dll丢失问题

在计算机使用过程中,经常会遇到“msvcp120.dll丢失”的错误提示。这个错误提示通常出现在运行某些程序或游戏时,造成相关应用程序可能无法正常启动或运行。那么,究竟是什么原因导致了msvcp120.dll文件的丢失呢?本文将详细解析msvc…

pytorch笔记:split

torch.split 是 PyTorch 中的一个函数,用于将张量按指定的大小或张量数量进行分割 1 基本使用方法 torch.split(tensor, split_size_or_sections, dim0)tensor要分割的输入张量split_size_or_sections以是整数或整数列表。 如果是整数,那么它表示每个分…

在 Linux 中更改 echo 的输出颜色

文章目录 前言一、快速入门二、基本使用2.1 对于常规的输出2.2 对于字体加粗的输出2.3 对于字体斜体的输出2.4 对于带下划线的输出2.5 对于闪烁效果的输出 三、小结 前言 在计算机编程世界中,颜色不仅仅是一种视觉效果,它也是一种信息传递的工具。特别是…