跟着李沐学AI:线性回归

引入

买房出价需要对房价进行预测。

假设1:影响房价的关键因素是卧室个数、卫生间个数和居住面积,记为x1、x2、x3。

假设2:成交价是关键因素的加权和 y=w1x1+w2x2+w3x3+b。权重和偏差的实际值在后面决定。

拓展至一般线性模型:

给定n维输入x = [x1,x2,...xn]\top,线性模型有一个n维权重和一个标量偏差b。输出是输入的加权和 y=w1x1+w2x2+...+w_nx_n+b

线性模型可以看作是单层的神经网络:

衡量预测质量

比较真实值和预估值,例如房屋售价和估价。假设y是真实值,\hat{y}是估计值,可以通过比较真实值与估计值误差的平方以估计质量。e(y,\hat{y})=\frac{1}{2}(y-\hat{y})^2。1/2是为了方便在求导时消去2。

训练数据:

收集一定数据点来决定参数值,如过去6个月被卖的房子。

x1、x2等均为向量,即一个样本。y1、y2等为实数数值,即实际售出房价

参数学习

对于模型在每一个数据上的损失求均值便可以得到损失函数:

1/2来自损失函数,1/n表示求平均,对于每一个样本使用真实值减去预测值后求平方。

为了学习最优模型,需要找到最小的w和b:

可以将偏差加入权重

X矩阵中加入一列全1特征,将偏差放入w向量中。偏差加入权重后公式如下;

显示解

为求得权重的最优解,需要对函数求导:

损失是凸函数,所以最优价满足导数为0时的值:

线性回归总结

线性回归是对n维输入的加权外加偏差

使用平方损失来衡量预测值和真实值的差异

线性回归有显示解

线性回归可以看作单层神经网络

基础优化方法:梯度下降

挑选一个初始值w_0

重复迭代参数t=1,2,3...

Wt减去上一轮的W值即Wt-1,减去标量\eta乘以损失函数关于Wt-1处的导数(梯度)

直观解释:

图为二次函数等高图。外侧为最大值,内侧为最小值。梯度为使得函数值增加最快的方向,负梯度为值下降最快的方向。

\eta为学习率,即在每次在梯度方向上移动的步长。作为超参数,需要人为提前指定。 学习率不能太长也不能太小。

小批量随机梯度下降

在整个训练集上计算梯度太贵(占用内存多)以至模型训练时间过长。可以随机采取b个样本来近似损失。b是批量大小,是另一个重要的超参数:batch_size。批量大小也是不能太大、不能太小。

梯度下降总结

梯度下降通过不断延着反梯度方向更新参数求解

小批量随机梯度下降是深度学习默认的求解算法

两个重要的超参数是批量大小batch_size和学习率

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/44324.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

MySQL 9.0 正式发行Innovation创新版已支持向量

从 MySQL 8.1 开始,官方启用了新的版本模型:MySQL 创新版 (Innovation) 和长期支持版 (LTS)。 根据介绍,两者的质量都已达到可用于生产环境级别。区别在于: 如果希望尝试最新的功能和改进,并喜欢与最新技术保持同步&am…

怎样在 C 语言中实现栈?

🍅关注博主🎗️ 带你畅游技术世界,不错过每一次成长机会! 📙C 语言百万年薪修炼课程 通俗易懂,深入浅出,匠心打磨,死磕细节,6年迭代,看过的人都说好。 文章目…

动手学深度学习(Pytorch版)代码实践 -循环神经网络-55循环神经网络的从零开始实现和简洁实现

55循环神经网络的实现 1.从零开始实现 import math import torch from torch import nn from torch.nn import functional as F from d2l import torch as d2l import matplotlib.pyplot as plt import liliPytorch as lp# 读取H.G.Wells的时光机器数据集 batch_size, num_ste…

ElasticSearch第一天

学习目标: 能够理解ElasticSearch的作用能够安装ElasticSearch服务能够理解ElasticSearch的相关概念能够使用Postman发送Restful请求操作ElasticSearch能够理解分词器的作用能够使用ElasticSearch集成IK分词器能够完成es集群搭建 第一章 ElasticSearch简介 1.1 什么…

只会vue的前端开发工程师是不是不能活了?最近被一个flutter叼了

**Vue与Flutter:前端开发的新篇章** 在前端开发的世界里,Vue.js和Flutter无疑是两颗璀璨的明星。Vue以其轻量级、易上手的特点吸引了大量前端开发者的青睐,而Flutter则以其跨平台、高性能的优势迅速崛起。那么,对于只会Vue的前端…

【深度学习基础】环境搭建 linux系统下安装pytorch

目录 一、anaconda 安装二、创建pytorch1. 创建pytorch环境:2. 激活环境3. 下载安装pytorch包4. 检查是否安装成功 一、anaconda 安装 具体的安装说明可以参考我的另外一篇文章【环境搭建】Linux报错bash: conda: command not found… 二、创建pytorch 1. 创建py…

OceanBase:引领下一代分布式数据库技术的前沿

OceanBase的基本概念 定义和特点 OceanBase是一款由蚂蚁金服开发的分布式关系数据库系统,旨在提供高性能、高可用性和强一致性的数据库服务。它结合了关系数据库和分布式系统的优势,适用于大规模数据处理和高并发业务场景。其核心特点包括: …

python调用阿里云汇率接口

整体请求流程 介绍: 本次解析通过阿里云云市场的云服务来实现程序中对货币汇率实时监控,首先需要准备选择一家可以提供汇率查询的商品。 https://market.aliyun.com/apimarket/detail/cmapi00065831#skuyuncode5983100001 步骤1: 选择商品 如图点击…

debian 12 Install

debian 前言 Debian是一个基于Linux内核的自由和开放源代码操作系统,由全球志愿者组成的Debian项目维护和开发。该项目始于1993年,由Ian Murdock发起,旨在创建一个完整的、基于Linux的自由软件操作系统。 debian download debian 百度网盘…

分布式应用系统设计:即时消息系统

即时消息(IM)系统,涉及:站内消息系统 组件如下; 客户端: WEB页面,IM桌面客户端。通过WebSocket 跟ChatService后端服务连接 Chat Service: 提供WebSocket接口,并保持跟“客户端”状态的维护。…

会声会影分割音频怎么不能用 会声会影分割音频方法 会声会影视频制作教程 会声会影下载免费中文版2023

将素材中的音频分割出来,对声音部分进行单独编辑,是剪辑过程中的常用操作。会声会影视频剪辑软件在分割音频后,还可以对声音素材进行混音编辑、音频调节、添加音频滤镜等操作。有关会声会影分割音频怎么不能用,会声会影分割音频方…

如何快速制作您的数据可视化大屏?

数据大屏可视化主要就是借助图形,利用生动、直观的形式展示出数据信息的具体数值,使得使用者短时间内更加直观的接受到大量信息。数据大屏以直观、高度视觉冲击力的方式向受众揭示数据背后隐藏的规律,传达数据价值。其以图形化的形式呈现数据…

全国产T3+FPGA的SPI与I2C通信方案分享

近年来,随着中国新基建、中国制造2025规划的持续推进,单ARM处理器越来越难胜任工业现场的功能要求,特别是如今能源电力、工业控制、智慧医疗等行业,往往更需要ARM FPGA架构的处理器平台来实现例如多路/高速AD采集、多路网口、多路…

Tomcat多实例

一、Tomcat多实例 Tomcat多实例是指在同一台服务器上运行多个独立的tomcat实例,每个tomcat实例都具有独立的配置文件、日志文件、应用程序和端口,通过配置不同的端口和文件目录,可以实现同时运行多个独立的Tomcat服务器,每个服务…

element-plus 按需导入问题 404等问题

场景 新开一个项目,需要用element-plus这个ui库,使用按需引入。 这是我项目的一些版本号 "element-plus": "^2.7.6","vue": "^3.2.13","vue-router": "^4.0.3",过程(看解决方法…

FastGPT+OneAI接入网络模型

文章目录 FastGPT连接OneAI接入网络模型1.准备工作2.开始部署2.1下载 docker-compose.yml2.2修改docker-compose.yml里的参数 3.打开FastGPT添加模型3.1打开OneAPI3.2接入网络模型3.3重启服务 FastGPT连接OneAI接入网络模型 1.准备工作 本文档参考FastGPT的官方文档 主机ip接…

JVM是如何管理内存的?图文详解GC垃圾回收算法

前言:在C/C中对于变量的内存空间一般都是由程序员手动进行管理的,往往会伴随着大量的 malloc 和 free 操作,常常会有很多问题困扰开发者,这个代码会不会发生内存泄漏?会不会重复释放内存?但是在Java开发中我…

基于企业微信第三方接口开发,移除群成员通知

移除群成员通知 返回示例 {"flag": 0, "receiver": 0, "sender_name": "", "is_room": 1, "server_id": 15318083, "send_time": 1687688952, "sender": 1688855749266556, "referid&…

Spring源码十九:Bean实例化流程二

上一篇我们在Spring源码十八:Bean实例化流程一 中,主要讨论了Spring在实例化前的两重要准备工作,1、获取我们前面注册好的BeanDefinition,将GenericBeanDefinition封装为RootBeanDefinition如果Bean Definition只存在父容器中&…

计算器原生js

目录 1.HTML 2.CSS 2.JS 4.资源 5.运行截图 6.下载连接 7.注意事项 1.HTML <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-s…