机器学习之线性回归 损失函数、代价函数、目标函数

损失函数（Loss Function）定义在单个样本上，算的是一个样本的误差。比如：

 

loss(\theta)=(\hat{y_i} - y_i) 其中\hat{y_i}=h_{\theta}(x_i)

 

0-1损失函数:

J(\theta)=\left\{\begin{aligned}1, Y\neq{f(x)}\\0, Y=f(x)\\\end{aligned}\right.

感知器损失函数：

J(\theta)=\left\{\begin{aligned}1, |Y-f(x)|> t \\0, |Y-f(x)|\le{t}\\\end{aligned}\right

平方和损失函数：

J(\theta)=\sum_{i=1}^{m}(h_{\theta}(x^{(i)})-y^{(i)})^2

绝对损失函数：

J(\theta)=\sum_{i=1}^{m}|h_{\theta}(x^{(i)})-y^{(i)}|

对数损失函数：

 

J(\theta)=-\sum_{i=1}^{m}(y^{(i)}\log{h_{\theta}(x^{(i)})})

代价函数（Cost Function）定义在整个训练集上，是所有样本误差的平均值，也就是损失函数的平均，比如：

 

Cost(\theta)=\frac{1}{N}\sum_{i=1}^N (\hat{y_i}-y_i)^2,其中\hat{y_i}=h_{\theta}(x_i)


目标函数（Object Function）是最终需要优化的函数

Obj(\theta)=\frac{1}{N}\sum_{i = 1}^{N}loss(\hat{y_i},y_i)
 

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/454284.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

bzoj4950(二分图最大匹配)

bzoj4950(二分图最大匹配)

[Wf2017]Mission Improbable Time Limit: 1 Sec Memory Limit: 1024 MBSubmit: 105 Solved: 49[Submit][Status][Discuss]Description 那是春日里一个天气晴朗的好日子,你准备去见见你的老朋友Patrick,也是你之前的犯罪同伙。Patrick在编程竞赛上豪赌输掉了一大笔钱,所以他需…
阅读更多...
git 远程仓库管理 分支创建、管理、查看、切换

git 远程仓库管理 分支创建、管理、查看、切换

作用： 区分生产环境代码以及开发环境代码研究新的功能或者攻关难题解决线上bug 特点： 项目开发中公用分支包括master、dev分支master是默认分支，用于发布，当需要发布时将dev分支合并到master分支分支dev是用于开发的分支&#…
阅读更多...
大学生活应该这样度过之参加一个社团让自己溶入团队——《程序员羊皮卷》连载(11)

大学生活应该这样度过之参加一个社团让自己溶入团队——《程序员羊皮卷》连载(11)

《程序员羊皮卷》当当购买地址：http://product.dangdang.com/product.aspx?product_id20691986 互动购买地址：http://www.china-pub.com/196049 1.3参加一个社团让自己溶入团队 有人曾经问我“学校里的什么活动和工作中的项目管理比较类似&#xff1f…
阅读更多...
Hadoop Hive概念学习系列之hive的数据压缩（七）

Hadoop Hive概念学习系列之hive的数据压缩（七）

Hive文件存储格式包括以下几类： 1、TEXTFILE 2、SEQUENCEFILE 3、RCFILE 4、ORCFILE 其中TEXTFILE为默认格式，建表时不指定默认为这个格式，导入数据时会直接把数据文件拷贝到hdfs上不进行处理。 SEQUENCEFILE，RCFILE，O…
阅读更多...
java 加锁_Java并发之synchronized深入

java 加锁_Java并发之synchronized深入

一句话总结synchronized：JVM会自动通过使用monitor来加锁和解锁，保证了同时只有一个线程可以执行指定代码，从而保证了线程安全，同时具有可重入和不可中断的性质。一.synchronized的作用使用synchronized修饰方法或者代码块时&…
阅读更多...
激活函数之 Sigmoid、tanh、ReLU、ReLU变形和Maxout

激活函数之 Sigmoid、tanh、ReLU、ReLU变形和Maxout

Sigmoid函数 Sigmoid函数计算公式 sigmoid：x取值范围(-∞，∞)，值域是(0, 1)。 sigmoid函数求导 这是sigmoid函数的一个重要性质。 图像 代码 # -*- coding: utf-8 -*- """ author: tom """import numpy im…
阅读更多...
Python查看、修改pip install 默认使用的pip库

Python查看、修改pip install 默认使用的pip库

一、更改 Python 的 pip install 默认使用的pip库 【方法】只需要将对应python脚本的路径添加到系统环境变量Path中较前的位置即可，这样就可以获得优先级。 1、打开终端，可以通过指令 pip show pip 查看默认使用的pip包： 2、现在&#xff…
阅读更多...
cmd 找到8080对应进程_多进程概括

cmd 找到8080对应进程_多进程概括

多进程图像操作系统记录进程，并按照合理的次序交替推进(分配资源，不断调度)，提高CPU利用率和程序执行速度，这就是操作系统的多进程图像。当操作系统启动时，多进程图像就出现了。 在linux内核源码main.c文件中&#xff…
阅读更多...
机器学习接口和代码之 KNN

机器学习接口和代码之 KNN

官网地址：https://scikit-learn.org/stable/modules/classes.html#module-sklearn.neighbors class sklearn.neighbors.KNeighborsClassifier(n_neighbors5, weights’uniform’, algorithm’auto’, leaf_size30, p2, metric’minkowski’, metric_paramsNone, n…
阅读更多...
Eclipse中安装Ext插件（Spket IDE）

Eclipse中安装Ext插件（Spket IDE）

在网上找了很多资料，这里重新整理一下。 Spket IDE是目前支持Ext 2.0最为出色的IDE。 它采用.jsb project file 文件并将继承于基类和所有文档的内容嵌入到生成代码提示的. doc中。由于Spket只是一个单纯的编辑器，没有其它格式的支持（如CSS&a…
阅读更多...
职业程序员培养之道

职业程序员培养之道

作者：粘新育 任甲林　来源：希赛网　 http://www.csai.cn 2004年06月28日软件开发是以人为核心的过程，对人的依赖性远高于传统的硬件生产企业，为了保持开发能力的稳定性，一方面需要定义软件过程，以过程为枢纽…
阅读更多...
MongoDB启动

MongoDB启动

详细见大神链接 链接: https://blog.csdn.net/chenpuzhen/article/details/90642147.
阅读更多...
Go 语言编程规范

Go 语言编程规范

1. gofmt 命令 大部分的格式问题可以通过 gofmt 来解决，gofmt 自动格式化代码，保证所有的 go 代码与官方推荐的格式保持一致，所有格式有关问题，都以gofmt的结果为准。所以，建议在提交代码库之前先运行一下这个命令。 2…
阅读更多...
python去噪音_python中的噪声是什么意思

python去噪音_python中的噪声是什么意思

你的序列均值为零吗? 方差随时间变化吗? 值与延迟值相关吗? 你可以用一些工具来检查你的时间序列是否为白噪音: 创建一个折线图。检查总体特征，如变化的平均值，方差或延迟变量之间的明显关系。 计算汇总统计。对照序列中有意义的连续块的均值和方差&a…
阅读更多...
pycharm 离线安装插件

pycharm 离线安装插件

插件离线下载地址： http://plugins.jetbrains.com/ 1、下载插件：http://plugins.jetbrains.com/ 2、安装插件： settings -> plugins -> install plugin from disk，然后重启IDEA即可。
阅读更多...
为机器学习占地16

为机器学习占地16

是将若干个学习器(分类器&回归器)组合之后产生一个新学习器。弱分类器(weak learner)指那些分类准确率只稍微好于随机猜测的分类器(errorrate < 0.5)。 集成算法的成功在于保证弱分类器的多样性(Diversity)。而且集成不稳定的算法也能够得到一个比较明显的性能提升。 …
阅读更多...
VC DLL学习

VC DLL学习

1 用VC创建DLL动态链接库1.1 创建dll项目1.2 为dll项目编写源文件头文件dllDemo.hextern"C"_declspec(dllexport) intSum(inta,intb);//加法函数。extern"C"_declspec(dllexport) intMax(inta, intb);//取较大值函数extern"C"_declspec(dllexpor…
阅读更多...
mciSendString 多线程播放多首音乐 注意事项

mciSendString 多线程播放多首音乐 注意事项

昨天晚上遇到一个问题&#xff1a; 使用 mciSendString 控制播放多首音乐的时候&#xff0c;出现最后一次播放的音乐无法通过 mciSendString ("close mp3") 关闭音乐的播放。 mciSendString 在多个线程中调用。 到23点&#xff0c;问题依然没解决&#xff0c;只好先…
阅读更多...
python代码比例_Python如何输出百分比

python代码比例_Python如何输出百分比

Python 输出百分比的两种方式 注&#xff1a; 在python3环境下测试。 方式1&#xff1a;直接使用参数格式化&#xff1a;{:.2%} {:.2%}&#xff1a; 显示小数点后2位 显示小数点后2位&#xff1a; >>> print(percent: {:.2%}.format(42/50)) percent: 84.00% 不显示小…
阅读更多...
为机器学习占地15

为机器学习占地15

是将若干个学习器(分类器&回归器)组合之后产生一个新学习器。弱分类器(weak learner)指那些分类准确率只稍微好于随机猜测的分类器(errorrat弱分类器的多样性(Diversity)。而且集成不稳定的算法也能够得到一个比较明显的性能提升。 常见的集成学习思想有&#xff1a;Baggi…
阅读更多...
最新文章

Copyright @ 2022~2023