机器学习笔记(十二):聚类

目录

1)Unsupervised learning introduction

2)K-means algorithm

3)Optimization objective

4)Random initialization

5)Choosing the number of clusters


1)Unsupervised learning introduction

下图是我们之前学习的监督学习,监督学习样本是有标签的,而另一张图是无监督学习样本,是没有标签的

2)K-means algorithm

k均值是最普及的聚类算法,算法接受一个未标记的数据集,然后将数据集聚类成不同的组。

  1. k均值是一个迭代算法,假设我们想要将数据聚类成n个组,其方法为;
  2. 首先选择K个随机的点,称为聚类中心;
  3. 对于数据集中的每一个数据,按照距离K个中心店的距离,将其与距离最近的中心点关联起来,与同一个中心店关联的所有点聚成一类,计算每一个组的平均值,将该组所关联的中心点移动到平均值的位置。
  4. 重复上述步骤至中心点不再变化。

下面是一个聚类示例:

下面是K均值算法:

  1. 对于每一个样例i,计算其应该属于的类:对于每一个样例i,计算其应该属于的类 :min||x^{(i))}-u_{k}||^2(k=1,2,...,K)
  2. 对于每一个类k,重新计算平均值:

3)Optimization objective

和监督学习类似,我们介绍代价函数:

J(c^{(i)},...,c^{(m)},u_i,...,u_k)=\frac{1}{m}\sum_{i=1}^{m}(X^{(i)}-u_{c^{(i)}})^2

 

 

4)Random initialization

我们前面介绍了K均值算法,代价函数为:

随机初始化:

5)Choosing the number of clusters

聚类数的选择这里提到了肘部法则,但更多的是根据实际问题来选择。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/440082.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

ros amcl 参数配置

最近搞ros机器人定位&#xff0c;配置文件一堆参数官网只有简单说明&#xff0c;一脸懵逼&#xff0c;只能去看看算法&#xff0c;大概了解下。 以下是看《概率机器人》定位后的理解 <launch> <!-- by dyan1024//后为wiki官网的参数说明 &#xff08;&#xff09;中为…

【BZOJ - 3993】星际战争(网络流最大流+二分)

题干&#xff1a; 3333年&#xff0c;在银河系的某星球上&#xff0c;X军团和Y军团正在激烈地作战。在战斗的某一阶段&#xff0c;Y军团一共派遣了N个巨型机器人进攻X军团的阵地&#xff0c;其中第i个巨型机器人的装甲值为Ai。当一个巨型机器人的装甲值减少到0或者以下时&#…

Linux下root登陆mysql

错误如下&#xff1a; 1.停止mysql服务 #service mysql stop2.进入到skip-grant-tables模式&#xff1a; #mysqld_safe --skip-grant-tables3.root连接mysql数据库&#xff1a; #mysql -uroot -p如出现如下错误&#xff1a; 其实&#xff0c;原本就没有这个目录&#xff1…

机器学习笔记(十三):降维

目录 1&#xff09;Motivation 1:Data Compression 2&#xff09;Motivation 2: Data Visualization 3&#xff09;Principal Component Analysis problem formulation 4&#xff09;Principal Component Analysis algorithm 5&#xff09;Advice for applying PCA 1&…

Move_base理解

move_base的输出其实就是线速度和角速度&#xff0c;对于一般的差速轮小车底盘就是x轴方向(正前)的速度以及自转角速度&#xff0c;所以这个你用船或者用小车都是无所谓的&#xff0c;只需要根据线速度和角速度结合自己底盘的运动学模型做解析然后控制就可以了。你可以看一下比…

【POJ - 2096】Collecting Bugs(概率dp)

题干&#xff1a; Ivan is fond of collecting. Unlike other people who collect post stamps, coins or other material stuff, he collects software bugs. When Ivan gets a new program, he classifies all possible bugs into n categories. Each day he discovers exac…

Django框架(展示图书信息简易版)

Linux环境下 创建虚拟环境 在python3中&#xff0c;创建虚拟环境 mkvirtualenv -p python3 虚拟机名称 mkvirtualenv -p python3 py_django查看创建的虚拟环境 workon退出当前的虚拟环境 deactivate 删除虚拟环境&#xff08;不要做&#xff09; rmvirtualenv 虚拟机名称 …

吴恩达机器学习作业(五):支持向量机

目录 1&#xff09;数据预处理 2&#xff09;Scikit-learn支持向量机 3&#xff09;决策边界比较 4&#xff09;非线性SVM 5&#xff09;最优超参数 6&#xff09;垃圾邮件过滤器 在本练习中&#xff0c;我们将使用支持向量机&#xff08;SVM&#xff09;来构建垃圾邮件分…

一些关于ROS中move_base的理解

move_base是ROS下关于机器人路径规划的中心枢纽。它通过订阅激光雷达、map地图、amcl的定位等数据&#xff0c;然后规划出全局和局部路径&#xff0c;再将路径转化为机器人的速度信息&#xff0c;最终实现机器人导航。这里又要盗官网的图了。 上面这个图很好的展示了move_base的…

机器学习笔记(十四):异常检测

目录 1&#xff09;Problem motivation 2&#xff09;Gaussian distribution 3&#xff09;Algorithm 4&#xff09;Developing and evaluating an anomaly detection system 5&#xff09;Anomaly detection vs. supervised learning 6&#xff09;Choosing what featur…

【Gym - 101606F】Flipping Coins(概率dp)

题干&#xff1a; Here’s a jolly and simple game: line up a row of N identical coins, all with the heads facing down onto the table and the tails upwards, and for exactly K times take one of the coins, toss it into the air, and replace it as it lands eith…

python图书管理系统

以下三个文件需在同一目录下。json文件格式不能更改 books-fxm.json [{"name": "图书管理","author": "fxm","price": "99999"},{"name": "完美世界","author": "辰东"…

ROS actionlib学习(一)

actionlib是ROS中一个很重要的功能包集合&#xff0c;尽管在ROS中已经提供了srevice机制来满足请求—响应式的使用场景&#xff0c;但是假如某个请求执行时间很长&#xff0c;在此期间用户想查看执行的进度或者取消这个请求的话&#xff0c;service机制就不能满足了&#xff0c…

python 基础知识

- python语言特点 简单、易学、高级 面向对象 免费和开源 边编译边执行 &#xff1a;python是解释型语言&#xff0c;边编译边执行。 丰富的库 : python拥有许多功能丰富的库。 胶水语言 : 可以拼接c&#xff0c;c&#xff0c;java等语言 可移植 &#xff1a; python能运行在不…

机器学习笔记(十五):推荐系统

目录 1&#xff09;Problem formulation 2&#xff09;Content-based recommendations 3&#xff09;Collaborative filtering 4&#xff09;Collaborative filtering algorithm 5&#xff09;Vectorization: Low rank matrix factorization 6&#xff09;Implementation…

*【CodeForces - 280C】Game on Tree(期望模型,期望的线性性)

题干&#xff1a; Momiji has got a rooted tree, consisting of n nodes. The tree nodes are numbered by integers from 1 to n. The root has number 1. Momiji decided to play a game on this tree. The game consists of several steps. On each step, Momiji chooses…

武侠风云(基础版)

基本任务&#xff1a; 1 建立角色类&#xff0c;角色拥有生命值的属性和攻击的方法&#xff0c;攻击值是随机的。 2 建立职业子类&#xff0c;刀客&#xff0c;&#xff08;伤害少&#xff0c;血量多&#xff09;剑客&#xff08;伤害正常&#xff0c;血量正常&#xff0c;有几…

机器学习笔记(十六):大规模机器学习

目录 1&#xff09;Learning with large datasets 2&#xff09;Stochastic gradient descent 3&#xff09;Mini-batch gradient descent 4&#xff09;Stochastic gradient descent convergence 1&#xff09;Learning with large datasets 回顾一下我们之前提到的这句…

【ZOJ - 3329】One Person Game(带循环的概率dp,数学期望,高斯消元,数学)

题干&#xff1a; There is a very simple and interesting one-person game. You have 3 dice, namely Die1, Die2 and Die3. Die1 has K1 faces. Die2 has K2 faces. Die3 has K3 faces. All the dice are fair dice, so the probability of rolling each value, 1 to K1, K…

智能聊天机器人系统

# 智能聊天机器人系统 # 1.系统简介 # 随着社会的各个公司以及大学对人工智能技术的深入研究和快速发展&#xff0c;人工智能技术将逐步应用到 # 方方面面。智能聊天机器人系统是基于各类传感器收集人类语音数据&#xff08;智能电视、智能空调&#xff0c; # 智能冰箱、智能音…