如何开发一个异常检测系统:异常检测 vs 监督学习

异常检测算法先是将一些正常的样本做为无标签样本来学习模型p(x),即评估参数,然后用学习到的模型在交叉验证集上通过F1值来选择表现最好的ε的值,然后在测试集上进行算法的评估。这儿用到了带有标签的数据,那么为什么不直接用监督学习对y=1和y=0的数据进行学习呢?而是要用到异常检测算法(先对无标签数据进行建模(当成无标签数据,其实都是正常的样本))。

异常检测与监督学习有哪些区别?

 

异常检测系统中一般正例样本(即异常的样本)很少(一般0-20个或者50个,50也是很常见的),这些异常样本用于交叉验证集与测试集中;负例样本(即正常的样本)数量很大,这些正常的样本用于拟合p(x),用于拟合参数u和σ2.

监督学习中,正例样本与负例样本都一样多。

对于异常检测算法通常有多种不同种类的异常,如引起飞机引擎故障的原因有很多种,你的正例样本较少里面可能只包含了5种、10种原因,如果我们根据这些有问题的样本来建立了一个学习模型,来了一个新的有问题的样本,故障的原因不在里面,我们就很难预测出这个是否是异常的飞机引擎,因为我们从来没有见过。

如果我们有大量的正例样本,这样就可以使用监督学习构建学习算法(学习大量的正样本与负样本),这样来了一个正例样本我们就可以通过看是否与训练集中的相似来判断

关键的区别:在异常检测算法中,我们只有少量的正样本(异常情况),因此学习算法不可能从这些正样本中学到太多东西,故我们会使用大量的负样本(正常情况),从这些负样本中学习p(x),同时我们会使用那部分少量的正样本(异常情况)来评估我们的算法(用于交叉验证集与测试集).

在垃圾邮件问题中,虽然垃圾邮件的种类会非常多(如购物邮件,钓鱼邮件等),但是因为我们有很多这些垃圾邮件的样本,我们可以从这些邮件中学习到垃圾邮件识别算法,因此我们一般会使用监督学习来进行垃圾邮件的识别。

异常检测与监督学习的一些应用

 

通常欺诈检测使用的是异常检测,但是如果你有大量的用户欺诈的数据,也可以使用监督学习。

在工业生产中,我们一般希望出现问题的产品很少,这时使用异常检测,如果出现问题的产品很多时,我们也可以转化为监督学习来进行学习。

总结

1>正样本(有问题的样本、异常样本)的数量很少时,使用异常检测系统

转载于:https://www.cnblogs.com/yan2015/p/7404921.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/428864.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

KVM--安装及初步使用

KVM是Kernel-based Virtual Machine的简称,是一个开源的虚拟化模块,今天我将在CentOS7的操作系统上安装KVM,以下是我的安装步骤. 一.环境信息 系统: CentOS 7.2 IP: 10.0.0.12/24 在虚拟机安装时,需要启用CPU的虚拟化功能 二. KVM安装步骤 1. 安装qemu-kvm和libvirt [rootkvm-…

中南大学和中山大学计算机专业哪个好,中山大学和中南大学哪个实力更强?一字之差,一起来看看吧!...

原标题:中山大学和中南大学哪个实力更强?一字之差,一起来看看吧!我国好大学有很多,但是各大学之间的实力参差不齐,就算是985也有很大区别,今天我们就谈一谈两个名字,比较相似的&…

Drozer快速使用指南

Drozer快速使用指南 1、简介: Drozer是一款用于测试android应用程序漏洞的安全评估工具,能够发现多种类型的安全的漏洞,免费版本的相关资源下载地址: https://www.mwrinfosecurity.com/products/drozer/community-edition/ 其中包…

Akka(19): Stream:组合数据流,组合共用-Graph modular composition

akka-stream的Graph是一种运算方案,它可能代表某种简单的线性数据流图如:Source/Flow/Sink,也可能是由更基础的流图组合而成相对复杂点的某种复合流图,而这个复合流图本身又可以被当作组件来组合更大的Graph。因为Graph只是对数据…

CSS-posiziton

1. 想要实现&#xff0c;”返回顶部”永远位于页面的右下角。需要用到position函数。CSS:层叠样式表。用到了分层的功能。 position:fixed; 永远固定在一个地方。 <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8">&…

怎么用树莓派制作web服务器,用树莓派做web服务器,靠谱吗?

有点想入门树莓派&#xff0c;然后做一个小web服务器&#xff0c;放在学校内网。大家有做过类似的事情吗&#xff1f;做过&#xff0c;自己用做测试的话是没什么问题的&#xff0c;而且非常小巧&#xff0c;携带方便。买的时候注意还要搭配这三个配件1 可以用的无线网卡&#x…

笔记本如何与其他计算机共享,笔记本电脑怎么和手机共享文件

假如想要用手机打开电脑上大容量的视频或其他文件&#xff0c;但是手机的容量又比较小&#xff0c;该怎么办呢?这个时候&#xff0c;我们就可以在电脑上设置共享文件夹&#xff0c;然后在手机上通过局域网来查看该共享文件夹就可以解决这个问题。那么笔记本电脑怎么和手机共享…

服务器系统崩了能pe,系统崩溃了无法正常重装系统?教你用PE虚拟盘来解决!...

如果电脑系统损坏开不了机怎么办&#xff1f;安全模式啥的都进入不了怎么办&#xff1f;不用怕&#xff0c;小编教你用PE重装系统&#xff0c;十分简单哦。用PE系统镜像还原重装系统&#xff1a;工具&#xff1a;U盘(最好有8G及以上的容量&#xff0c;因为一个windows7以上的系…

群晖218 修改服务器名称,一次换群晖引发的各种事情——论如何榨干218+的价值【不完全版】...

一次换群晖引发的各种事情——论如何榨干218的价值【不完全版】2020-04-08 16:40:0117点赞100收藏29评论创作立场声明&#xff1a;期中考试爸妈送的……购买理由大概用了两年的DS115j&#xff0c;性能实在受不了(ARM的想啥呢)然后就换了个218然后特么发现x64的就是舒服&#xf…

文件服务器上传文件的过程,文件服务器上传文件实现过程【分享】

写本帖的目的是&#xff0c;论坛经常有咨询或反馈文件服务器问题。本帖准备把文件服务器整个的实现过程讲清楚。以方便相关问题的或达到问题自查的目的。1、文件服务器 其实是IIS的一个站点。前端(说的前端是Silverlight及WPF等的前端)是直接与文件服务器站点进行交互。其中&am…

linux下搭建mongodb副本集

1.搭建三台mongodb服务器 cd /usr/local mkdir mongodb tar -zxvf mongodb-linux-x86_64-2.6.7.tgz cd mongodb-linux-x86_64-2.6.7 mv * /usr/local/mongodb cd /usr/local/mongodb mkdir data touch logs cd bin ./mongod -dbpath/usr/local/mongodb/data -logpath/usr/local…

ajax轮询模拟websocket,Ajax轮询和SSE服务器推送数据与websocket模式的区别性学习

我们试想一下我们做个实时聊天的窗口有几种方法&#xff1f;在我们不刷新页面并且可以试试更新页面内容的方法 你这时候是不是想到了ajax没错确实可以Ajax轮询什么是轮询&#xff1f;顾名思义就是我轮着问你&#xff0c;规定一个时间然后我就问你 有新数据了吗&#xff1f; 有新…

vue项目前端服务器,【前端技术】vue自动部署项目到服务器

想要的功能前端打包之后自动上传文件夹到服务器在不提交代码的前提下&#xff0c;也可以完成上述功能经过各种百度谷歌&#xff0c;最后有两种方案可以选择第一种是写一个shell&#xff0c;通过lftp上传文件夹&#xff0c;但是会有个权限的问题&#xff0c;需要更改nginx配置才…

官狼服务器临时维护,官狼三分钟新模式,跑跑狼人杀如何边跑边杀

作为风靡全球的桌游&#xff0c;狼人杀一度成为了国内白领、学生党的国民游戏。随着网络的普及&#xff0c;很多玩家开始转求线上网杀&#xff0c;网易《狼人杀官方》因为玩法最多画风好看&#xff0c;一直是大多数人的选择。而就在最近&#xff0c;《狼人杀官方》重磅推出了年…

三星s6 信号无服务器,手机没信号的原因以及解决方法

现在手机是一件很普遍的通讯工具&#xff0c;因为现在手机功能的强大&#xff0c;所以基本上人人一部手机。目前在社会上比较流行的牌子就是苹果或者三星手机。不过想必大家在用手机的时候都会出现手机没有信号这个问题。这个问题是一件比较麻烦的问题&#xff0c;有的时候急需…

不同型号服务器如何做双击热备,服务器做双机热备教程

服务器做双机热备教程 内容精选换一换将GaussDB(DWS)提供的ODBC DRIVER(psqlodbcw.so)配置到数据源中便可使用。配置数据源需要配置“odbc.ini”和“odbcinst.ini”两个文件(在编译安装unixODBC过程中生成且默认放在“/usr/local/etc”目录下)&#xff0c;并在服务器端进行配置…

文档上传到服务器上,将文件上传到服务器上

将文件上传到服务器上 内容精选换一换为了实现NAT Server、SAP HANA主备节点和SAP S/4HANA主备节点互相通过SSH协议跳转的功能&#xff0c;需要配置云服务器之间的互信。在本地PC上&#xff0c;生成登录NAT Server的密钥文件。在创建NAT Server时&#xff0c;指定了NAT Server的…

win10配置JAVA和tomacat环境变量

一、配置JAVA_HOME 二、配置CATALINA_HOME &#xff08;tomacat的环境变量&#xff09; 三、配置PATH 四、命令行检验配置结果&#xff1a; 1、命令行输入java 2、命令行输入javac 3、命令行输入startup.bat 注&#xff1a;如果以上三个命令无报错表示配置成功 转载于:https://…

设计模式 策略模式2 c++11

根据需求的不同 选择不同的策略算法 之前是保存的各种策略类的指针 这里直接使用 function bind 选择对应的算法 代码 // 005.cpp: 定义控制台应用程序的入口点。 //#include "stdafx.h" #include <functional> #include <iostream>using namespace std…

python学习(八)定制类和枚举

python定制类主要是实现特定功能&#xff0c;通过在类中定义特定的函数完成特定的功能。 class Student(object):def __init__(self, name):self.name namestudent Student("lilei") print(student) 实现定制类 class Student(object):def __init__(self, name):sel…