机器学习之凸优化原理推导及相关知识总结

文章目录

  • 目录
    • 1、了解凸集和仿射集的基本概念。
    • 2、知道几何体的向量表达。
    • 3、了解超平面和半空间的概念。
    • 4、了解分割超平面和支撑超平面的含义。
    • 5、知道jensen不等式。
    • 6、掌握知识:凸函数。
    • 7、掌握凸优化

目录

1、了解凸集和仿射集的基本概念。

凸集:在凸集内部的两个点之间的线段仍在图形内,则称这个图形为凸集。
仿射集:通过集合中任意两个不同点的直线仍然在这个集合内则称为这个集合的仿射集。
仿射集说的是直线,凸集说的是线段。
这里写图片描述
这里写图片描述

2、知道几何体的向量表达。

两个θ+(1-θ)=1代表的是两个点之间的关系是直线关系,如果不等于1则代表是其他的非线性的关系。
这里写图片描述
这里写图片描述

3、了解超平面和半空间的概念。

超平面:如下图所示,将线性方程转化为矩阵的形式,然后(2,3)可以用向量a(已知点的向量)表示,(x,y)可以用向量x来表示,常数可以用b来表示。即若在2维空间中表示则超平面是一条直线,若a为N维向量(即在N维空间中表示),则式子可表示为一个N维空间中的超平面方程。
半空间:如下图所示的2x+3y=1这条直线的一半即代表半空间,表示形式如下图所示
这里写图片描述
这里写图片描述
2维空间中超平面是一条直线,3维中是一个平面。。。半空间就是超平面的一半的空间称为半空间。

4、了解分割超平面和支撑超平面的含义。

分隔超平面:将两个超平面分割的平面称为分割超平面。即两个凸集内部的两个点d和c的连线的最短距离的垂直平分线即为这两个凸集的分割超平面。
这里写图片描述
支撑超平面:对于一个图形,通过它的任意边上画切线,如果图形在切线的一边则证明该图形是凸集组成的图形。若不是则证明该图形非凸集。可以把这个切线称为支撑超平面。
如果一个集合任何一个点都存在支撑超平面则这个集合是凸集。
这里写图片描述

5、知道jensen不等式。

jenson不等式可以转化为f(E(x))<=E(f(x)),无论x是连续的或者是离散的。

6、掌握知识:凸函数。

数学含义:凸函数定义式可以理解为一个函数,它的割线总是在函数的上方,则可称该函数是凸函数,如下图所示。
这里写图片描述

7、掌握凸优化

凸优化:基本形式如下所示,即任何问题都可以转化为求f0(x)的最小值,而对于f0(x)存在两个限制条件 Fi(x)(代表的是若干个不等式约束条件)与Hj(x)(代表的是若干个等式约束条件)。
这里写图片描述
对于最终的最优化值我们不关心,而是关心对应的x的值
最优值的公式数学含义:在什么样的条件下求对应的F0(x)的下确界
这里写图片描述
由对应的限制条件可得lagrange函数中的Hj(x)为0。
对偶函数通过梯度来求极大值。
这里写图片描述
这里写图片描述

将Lagrange函数转化为求它的对偶函数,而Lagrange对偶函数为凹函数,则凹函数的最大值也就对应原函数的最小值。
这里写图片描述
我们求得是最小值。通过下面的推导也就转化为求对偶函数。
由于Hj(x)=0所以原式转化为g(λ)。
PS:下图中的h(x)改为f(x),h(x)=0了,已经被舍掉了。
这里写图片描述
**整体的过程:**优化问题,优化的形式是固定,即问题可以转化为一个表达式F(x)外加两个限制条件的表达式。即任何问题都可以转化为求f0(x)的最小值,而对于f0(x)存在两个限制条件 Fi(x)与Hj(x)。
将凸优化问题转化为Lagrange函数,再将Lagrange函数转化为求它的对偶函数,而Lagrange对偶函数为凹函数,则凹函数的最大值也就对应原函数的最小值,即可得凸优化问题的解。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/456470.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

jQuery BreakingNews 间歇滚动

BreakingNews 是一款基于jQuery的间歇滚动插件。它可以设置标题、标题颜色、标题背景颜色、链接颜色、字体大小、边框、宽度、自动滚动、间歇时间等等&#xff0c;同时它还好提供两种过度方式——淡入淡出&#xff08;fade&#xff09;和向上滑动&#xff08;slide&#xff09;…

机器学习之回归总结

目录1、了解线性回归2、了解似然函数3、了解交叉验证的原理4、梯度下降算法4.1、批量梯度下降算法&#xff08;Batch Gradient Descent&#xff0c;简称BGD&#xff09;&#xff1a;4.2、随机梯度下降算法&#xff08;SGD&#xff09;&#xff1a;4.3、折中&#xff1a; 5、了解…

html中的url、href、src的区别

url不是属性&#xff0c;src和href是属性&#xff0c;src用于替换当前元素&#xff0c;href用于在当前文档和引用资源之间确立联系&#xff0c;也就是说src引用的路径是img自己的路径&#xff0c;href引用的路径是要跳转到的地方。 URL&#xff1a;Uniform Resource Locators&…

SSIS 包部署错误 0xC0010014

SSIS 包部署错误 0xC0010014 Reinhard 在部署 SSIS 包时&#xff0c;提示如下错误。 由于错误 0xC0010014“发生了一个或多个错误。在此消息之前应有更为具体的错误消息&#xff0c;对这些错误进行详细说明。此消息用作遇到错误的函数的返回值。”&#xff0c;无法加载包。当 C…

Android性能优化-App后台优化

原文链接 Background Optimizations 前言 后台进程是内存和电池敏感的。一个隐式的broadcast可能会启动很多监听它的后台进程&#xff0c;即使这些进程可能做得工作不多。这可能丢设备性能和用户体验都有比较大的影响。 为了缓解这种问题&#xff0c;7.0&#xff08;API 24&…

机器学习之决策树与随机森林

目录1、了解熵、条件熵、互信息的概念及公式1.1、熵1.2、条件熵1.3、信息增益/互信息 2、了解决策树2.1、了解决策树的概念和特点以及和熵的关系2.2、了解树生成的过程2.3、了解决策树三种算法的区别2.4、了解决策树的损失函数2.5、了解解决决策树过拟合的方法2.6、了解后剪枝的…

JSON(JavaScript Object Notation) 格式

JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式。 它使得人们很容易的进行阅读和编写。同时也方便了机器进行解析和生成。JSON采用完全独立于程序语言的文本格式&#xff0c;但是也使用了类C语言的习惯。 json是 JavaScript Object Notation 的首字母缩写&…

synchronized 的理解

第一种&#xff1a;package com.ucmed.zsyy.util;/*** Created by ucmed on 2017/2/8.*/public class DirtyRead {private String username "zjkj";private String password "123";public synchronized void setValue(String username, String password)…

机器学习之提升算法

1、知道提升、梯度提升是什么意思1.1、提升1.2、梯度提升1.3、了解提升算法的过程 2、残差与残差平方和&#xff08;residual sum of squares&#xff09;3、了解GBDT算法4、了解XGBoost算法5、了解Adaboost算法5.1、Adaboost算法的原理5.2、例子 6、偏差和方差 1、知道提升、梯…

Jsoup遍历ul li下的链接信息实例

2019独角兽企业重金招聘Python工程师标准>>> Document doc;try {String URL "www.baidu.com";doc Jsoup.connect(URL).get();Elements ElementsUl doc.getElementsByTag("ul");for (Element elementLi : ElementsUl) {Elements provinceEl …

两篇波兰地区重金属污染地区土壤微生物多样性的研究

环境微生物&#xff08;包括方兴未艾的肠道微生物&#xff09;在不同的系统中发挥着的生态作用逐渐被意识到&#xff0c;我们对环境微生物实际上仍旧知之甚少&#xff0c;其多样性问题仍旧是一个非常基础和重要的课题。这次读的两篇文章都是关于波兰地区重金属污染地区的土壤微…

jquery中的 $(function(){})

$(function(){})的区别&#xff1a;$(function(){}) 是 $(document).ready(function(){}) 的简写&#xff0c;用来在DOM加载完成之后执行一系列预先定义好的函数。 需要注意与(function(){})相比&#xff0c;(function(){})表示一个匿名函数。function(arg){...}定义了一个参数…

机器学习之支持向量机(SVM)总结

文章目录1、知道SVM相关的各种概念2、知道目标函数、损失函数、正则项的意义2.1、目标函数2.2、损失函数2.3、正则化&#xff08;添加噪音避免过拟合&#xff09;3、了解SVM算法原理4、知道SVM的目标函数5、知道SVM的损失函数以及公式6、知道SVM支持向量机的计算过程6.1、推导过…

在CentOS上搭建PHP服务器环境

您也可以使用一键自动部署环境的工具&#xff0c;请参见网友开发的这个工具 http://www.centos.bz/2013/08/ezhttp-tutorial/安装apache:yum install httpd httpd-devel 启动apache:/etc/init.d/httpd start此时输入服务器的IP地址&#xff0c;应该看到apache的服务页面&#x…

jQuery之滚动事件$(window).scroll(function()

<!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><title>滚动事件</title><script src"https://code.jquery.com/jquery-2.2.4.min.js"></script><style>img{position:fixe…

《疯狂Java讲义》(二十九)---- JDBC

JDBC编程步骤加载数据库驱动Class.forName(driverClass). 例如&#xff1a;Class.forName("oracle.jdbc.driver.OracleDriver"); 2. 通过DriverManager获取数据库连接。 DriverManager.getConnection(String url, String user, String pwd); 3. 通过Connection对象创…

机器学习之聚类算法的原理推导及相关知识总结

文章目录1、知道几个关于"差"的概念2、理解相似度度量的各种方法和相互关系2.1、欧氏距离2.2、jaccard相似系数2.3、余弦相似度2.4、Pearson相似系数2.5、相对熵3、掌握掌握K-Means算法3.1、知道聚类的思想3.2、K-Means算法原理3.3、知道K-Mediods聚类3.4、如何选取K…

Flex 布局教程:语法

Java数组声明的三种方式 第一种(声明并初始化)&#xff1a; 数据类型[] 数组名{值,值,...}; 例&#xff1a;int[] a {1,2,3,4,5,6,7,8}; 第二种(声明后赋值)&#xff1a; 数据类型[] 数组名 new 数据类型[数组长度]; 数组名[下标1]值…

注意:匿名函数调用直接加载函数名setInterval(move,30)

setInterval要求第一个参数必须是含Javascript命令的字符串或函数对象&#xff0c;所以 setInterval("move()",300) 以及 setInterval(move,300) 这两个都是正确的。 而 setInterval(move(),300) 当Javascript运行到这个语句时&#xff0c;会立即执行move这个函数&am…

vue import组件的使用

vue import组件的使用 1新建/src/component/firstcomponent.vue <template><div id"firstcomponent"><h1>I am a title.</h1></div> </template>2在app.vue引入组件 并且注册 <script> import firstcomponent from ./comp…