机器学习之线性回归 损失函数、代价函数、目标函数

损失函数（Loss Function）定义在单个样本上，算的是一个样本的误差。比如：

 

loss(\theta)=(\hat{y_i} - y_i) 其中\hat{y_i}=h_{\theta}(x_i)

 

0-1损失函数:

J(\theta)=\left\{\begin{aligned}1, Y\neq{f(x)}\\0, Y=f(x)\\\end{aligned}\right.

感知器损失函数：

J(\theta)=\left\{\begin{aligned}1, |Y-f(x)|> t \\0, |Y-f(x)|\le{t}\\\end{aligned}\right

平方和损失函数：

J(\theta)=\sum_{i=1}^{m}(h_{\theta}(x^{(i)})-y^{(i)})^2

绝对损失函数：

J(\theta)=\sum_{i=1}^{m}|h_{\theta}(x^{(i)})-y^{(i)}|

对数损失函数：

 

J(\theta)=-\sum_{i=1}^{m}(y^{(i)}\log{h_{\theta}(x^{(i)})})

代价函数（Cost Function）定义在整个训练集上，是所有样本误差的平均值，也就是损失函数的平均，比如：

 

Cost(\theta)=\frac{1}{N}\sum_{i=1}^N (\hat{y_i}-y_i)^2,其中\hat{y_i}=h_{\theta}(x_i)


目标函数（Object Function）是最终需要优化的函数

Obj(\theta)=\frac{1}{N}\sum_{i = 1}^{N}loss(\hat{y_i},y_i)
 

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/454284.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

git 远程仓库管理 分支创建、管理、查看、切换

git 远程仓库管理 分支创建、管理、查看、切换

作用： 区分生产环境代码以及开发环境代码研究新的功能或者攻关难题解决线上bug 特点： 项目开发中公用分支包括master、dev分支master是默认分支，用于发布，当需要发布时将dev分支合并到master分支分支dev是用于开发的分支&#…
阅读更多...
Hadoop Hive概念学习系列之hive的数据压缩（七）

Hadoop Hive概念学习系列之hive的数据压缩（七）

Hive文件存储格式包括以下几类： 1、TEXTFILE 2、SEQUENCEFILE 3、RCFILE 4、ORCFILE 其中TEXTFILE为默认格式，建表时不指定默认为这个格式，导入数据时会直接把数据文件拷贝到hdfs上不进行处理。 SEQUENCEFILE，RCFILE，O…
阅读更多...
java 加锁_Java并发之synchronized深入

java 加锁_Java并发之synchronized深入

一句话总结synchronized：JVM会自动通过使用monitor来加锁和解锁，保证了同时只有一个线程可以执行指定代码，从而保证了线程安全，同时具有可重入和不可中断的性质。一.synchronized的作用使用synchronized修饰方法或者代码块时&…
阅读更多...
激活函数之 Sigmoid、tanh、ReLU、ReLU变形和Maxout

激活函数之 Sigmoid、tanh、ReLU、ReLU变形和Maxout

Sigmoid函数 Sigmoid函数计算公式 sigmoid：x取值范围(-∞，∞)，值域是(0, 1)。 sigmoid函数求导 这是sigmoid函数的一个重要性质。 图像 代码 # -*- coding: utf-8 -*- """ author: tom """import numpy im…
阅读更多...
Python查看、修改pip install 默认使用的pip库

Python查看、修改pip install 默认使用的pip库

一、更改 Python 的 pip install 默认使用的pip库 【方法】只需要将对应python脚本的路径添加到系统环境变量Path中较前的位置即可，这样就可以获得优先级。 1、打开终端，可以通过指令 pip show pip 查看默认使用的pip包： 2、现在&#xff…
阅读更多...
cmd 找到8080对应进程_多进程概括

cmd 找到8080对应进程_多进程概括

多进程图像操作系统记录进程，并按照合理的次序交替推进(分配资源，不断调度)，提高CPU利用率和程序执行速度，这就是操作系统的多进程图像。当操作系统启动时，多进程图像就出现了。 在linux内核源码main.c文件中&#xff…
阅读更多...
Eclipse中安装Ext插件（Spket IDE）

Eclipse中安装Ext插件（Spket IDE）

在网上找了很多资料，这里重新整理一下。 Spket IDE是目前支持Ext 2.0最为出色的IDE。 它采用.jsb project file 文件并将继承于基类和所有文档的内容嵌入到生成代码提示的. doc中。由于Spket只是一个单纯的编辑器，没有其它格式的支持（如CSS&a…
阅读更多...
python去噪音_python中的噪声是什么意思

python去噪音_python中的噪声是什么意思

你的序列均值为零吗? 方差随时间变化吗? 值与延迟值相关吗? 你可以用一些工具来检查你的时间序列是否为白噪音: 创建一个折线图。检查总体特征，如变化的平均值，方差或延迟变量之间的明显关系。 计算汇总统计。对照序列中有意义的连续块的均值和方差&a…
阅读更多...
VC DLL学习

VC DLL学习

1 用VC创建DLL动态链接库1.1 创建dll项目1.2 为dll项目编写源文件头文件dllDemo.hextern"C"_declspec(dllexport) intSum(inta,intb);//加法函数。extern"C"_declspec(dllexport) intMax(inta, intb);//取较大值函数extern"C"_declspec(dllexpor…
阅读更多...
乐在其中设计模式(C#) - 原型模式(Prototype Pattern)

乐在其中设计模式(C#) - 原型模式(Prototype Pattern)

[索引页][源码下载]乐在其中设计模式(C#) - 原型模式(Prototype Pattern)作者：webabcd介绍用原型实例指定创建对象的种类，并且通过拷贝这个原型来创建新的对象。示例有一个Message实体类，现在要克隆它。MessageModelusing System; using Syst…
阅读更多...
java dump分析工具_Java 性能分析工具 （2）：Java 内置监控工具

java dump分析工具_Java 性能分析工具 （2）：Java 内置监控工具

引言本文为 Java 性能分析工具系列文章第二篇，第一篇：操作系统工具。在本文中将介绍如何使用 Java 内置监控工具更加深入的了解 Java 应用程序和 JVM 本身。在 JDK 中有许多内置的工具，其中包括：jcmd：打印一个 Java 进…
阅读更多...
Python面试题（第二篇）

Python面试题（第二篇）

第二部分 网络编程和并发（34题）1、简述 OSI 七层协议。2、什么是C/S和B/S架构？3、简述 三次握手、四次挥手的流程。4、什么是arp协议？5、TCP和UDP的区别？6、什么是局域网和广域网？7、为何基于tcp协议的通信…
阅读更多...
noip模拟赛 radius

noip模拟赛 radius

分析：这道题实在是不好想，一个可以骗分的想法是假定要求的那个点在中心点上,可以骗得不少分.但是在边上的点要怎么确定呢？理论复杂度O(﹢无穷).答案一定是和端点有关的，涉及到最大值最小，考虑二分最大值&…
阅读更多...
c语言中int的取值范围_c语言入门(1)

c语言中int的取值范围_c语言入门(1)

c语言入门C语言一经出现就以其功能丰富、表达能力强、灵活方便、应用面广等特点迅速在全世界普及和推广。C语言不但执行效率高而且可移植性好，可以用来开发应用软件、驱动、操作系统等。C语言也是其它众多高级语言的鼻祖语言，所以说学习C语言是进入编程世…
阅读更多...
vue : 无法将“vue”项识别为 cmdlet、函数、脚本文件或可运行程序的名称。请检查名称的拼写，如果包括路径，请确保路径正确， 然后再试一次。

vue : 无法将“vue”项识别为 cmdlet、函数、脚本文件或可运行程序的名称。请检查名称的拼写，如果包括路径，请确保路径正确， 然后再试一次。

vue : 无法将“vue”项识别为 cmdlet、函数、脚本文件或可运行程序的名称。请检查名称的拼写，如果包括路径，请确保路径正确， 然后再试一次。 报错原因： 没有安装脚手架vue-cli 解决方法：安装脚手架vue-cli npm inst…
阅读更多...
session的生命周期

session的生命周期

session的生命周期分为创建、活动、销毁三个阶段 创建一个新的会话不代表旧的会话就销毁了 session.invalidate()方法可以销毁当前会话 在page1中写上这个方法再打开网页 说明该会话被销毁了出现了错误 我们把这个方法写在所有代码段的下面 再打开这个网页 刷新网页 这个sessio…
阅读更多...
虚拟化与网络

虚拟化与网络

本文转自Grodd51CTO博客，原文链接：http://blog.51cto.com/juispan/1959791，如需转载请自行联系原作者
阅读更多...
算法基础之搜索和经典排序

算法基础之搜索和经典排序

目录 简介 搜索算法 二分法查找 排序算法 冒泡排序（Bubble Sort） 选择排序（Selection Sort） 插入排序（Insert Sort） 快速排序（Quick Sort） 归并排序（Merge Sort…
阅读更多...
背景宽高随文本变化_中科大提出ContourNet：更准确的任意形状场景文本检测新方法...

背景宽高随文本变化_中科大提出ContourNet：更准确的任意形状场景文本检测新方法...

点击上方“CVer”，选择加"星标"置顶重磅干货，第一时间送达本文转载自：CSIG文档图像分析与识别专委会本文简要介绍2020年被CVPR录用的论文“ContourNet: Taking a Further Step toward Accurate Arbitrary-shaped Scene Text Detect…
阅读更多...
算法面试题汇总（更新中）

算法面试题汇总（更新中）

1、根据数字返回相应位置数字 def get_digit(num, i):# i0 个位 1 十位 2 百位...return num // (10 ** i) % 10# print(get_digit(12345, 6)) 2、列表反转，不用内置函数 def reverse_list(li):n len(li)for i in range(n // 2):li[i], li[n-i-1] li[n-i-1], …
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023