大数据挖掘期末复习

大数据挖掘

数据挖掘

数据挖掘定义

技术层面:

数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中,提取隐含在其中、人们事先不知道的、但又==潜在有用的信息==的过程。

数据准备环节

数据选择 质量分析 数据预处理

数据仓库

从多个数据源搜集的信息存放在一致的模式之下

特征化

对目标数据的一般特性和特征汇总

聚类分析

最大化类内相似度 最小化类间相似性

数据准备

大数据定义

超出正常处理范围

海量数据+复杂类型的数据 构成

数据对象

组成数据集的元素,每个数据对象均为一个实体

数据对象由属性描述

数据的正确性分析

缺失值

数据错误

度量标准错误

编码不一致

处理缺失数据

忽视

较小缺失率 有缺失值的样本或属性

人工补全缺失值

重新采样

领域知识

自动补全缺失值

固定值

均值

基于算法

插补法

均值插补

回归插补

极大似然估计

噪声过滤

回归法

均值平滑法

离群点分析

处理噪声数据

局部离群因子LOF计算

数据量

子集选择

数据量太大

减小时间复杂度

数据聚合

尺度变换

数据更稳定

调整类分布

不平衡数据

哈尔小波交换

通过调整分辨率

数据标准化

最小最大标准化

Z-score标准化

大数据挖掘与分析

邻近性

相似性和相异性统称为邻近性

数据矩阵

存放数据对象

相异性矩阵

存放数据对象的相异性值

二元属性邻近性

数值数据距离

闵可夫斯基距离

h=1 2 正无穷

维度诅咒

基于距离的聚类在高纬度下无效

在高维情况下 P(0,1)更有效

逆文档频率

IDF 或 Goodall度量

基本思路:

将基本词汇看做全部属性的集合

每个词频是属性的值

余弦度量

余弦相似度

逆文档频率 阻尼系数

累计距离矩阵(大概率)

计算等图

算法题目APRIORI

基本的Apriori算法
Apriori算法的基本思路是采用层次搜索的迭代方法,由候选(k-1)-项集来寻找候选k-项集,并逐一判断产生的候选k-项集是否是频繁的。
  设C k 是长度为k的候选项集的集合,L k 是长度为k的频繁项集的集合。为了简单,设最小支持度阈值min_sup为最小元组数,即采用最小支持度计数。

输入:事务数据库D,最小支持度阈值min_sup。
输出:所有的频繁项集集合L。
方法:其过程描述如下:
通过扫描D得到1-频繁项集L1;
for (k=2;Lk-1!=Ф;k++)
{      Ck=由Lk-1通过连接运算产生的候选k-项集;for (事务数据库D中的事务t){	求Ck中包含在t中的所有候选k-项集的计数;Lk={c | c∈Ck and c.sup_count≥min_sup};//求Ck中满足min_sup的候选k-项集}
}
return L=∪kLk;

image-20241117205741890

这是通过Apriori计算最大频繁项集 和 计算强关联规则的题目

要求为超过最小支持度 最小支持度的计算很简单

即为

image-20241117210643736

Apriori优化

基于散列的Apriori

基于散列的Apriori技术基于Apriori算法, 为了解决此算法在数据集较大的情况下候选项集数量爆炸的问题 以及支持度计数效率低下的问题

基于散列的优化:

在生成候选项集时,通过哈希函数映射分桶 每个桶记录频数 如果桶中的频数小于最小支持度的阈值 则该桶中所有项集可以直接剪枝

因为通过哈希函数可以快速找到相应的桶,所以计算效率较高

h(x,y)=(hash(x)+hash(y))modn

哈希树分组

算法题目FPgrowth

image-20241117221313668

image-20241117213402342

条件模式基的寻找

在FPtree的项目里倒着找,沿着虚线将出现的频次进行统计,,写出条件模式基

条件FP Tree

沿着条件模式基画FP Tree

记得剪去最小支持度不够的项

频繁项集

将条件FPtree与项进行组合 得到频繁项集

列式计数Apriori算法

使用垂直数据格式挖掘频繁项集

image-20241117221755170

关联模式挖掘

超集

包含了另一个集合中所有元素的集合为超集

闭模式

一个频繁项集 没有任何它的超集具有与他相同的支持度

也就是不被冗余覆盖的核心模式

闭模式显著减少了需要存储的频繁模式数量

可以推导出所有频繁模式及其支持度

极大模式

没有频繁的超集

极大模式只保留频繁模式中“最大”的部分

无法还原所有频繁模式的支持度信息

序列模式

序列模式是指诸如此类的模式,其项中包含多个项,在计数时,相同项仅计数一次

image-20241118094806740

聚类

好的聚类方法产生高质量的聚类结果

要求

高类内相似性 高内聚

低类间相似性 低耦合

能够发掘隐藏模式 有价值

聚类的好坏在于:

相似度测量方法

不同尺度 不同类型的距离函数设计不同

主要聚类方法

基于代表点的聚类

代表性方法:kmeans kmedians kmedoids CLARANS

层次方法

基于准则对数数据层次分解

代表性方法:Diana Agnes BIRCH CAMELEON

基于密度的方法

代表性方法:DBSCAN OPTICS DENClue

基于网格的方法

代表方法:STING WaveCluster CLIQUE

基于模型的方法

代表性方法:EM SOM COBWEB

聚类评估方法(概率低)

熵不考哈

:可以反馈特征子集的聚类质量

经验法
肘方法
交叉验证

基于代表点聚类

K means

image-20241118121730712

image-20241118122407713

kmedians

选取代表点选取中值 对异常点不那么敏感

Kmedoids

从非代表点中随机选取点代替中心点集合中的某个点,重新划分 诸葛尝试 选择最优

PAM

image-20241118122925394

1不受离群点数据影响

2适于处理小数据集

CLARA(小概率)

基于抽样的方法 找到最优中心点集为目标

CLAEANS(小概率)

采样并随机选择

层次聚类

AGNES凝聚法

image-20241118145416412

不断将簇进行合并 最后得到所有合并后的集合为止

image-20241118145626975

DIANA法

分裂法

image-20241118145720858

Birch

CHAMELEON

基于密度聚类

  1. 发现任意形状簇Discover clusters of arbitrary shape
  2. 能容忍噪音Handle noise
  3. 一边扫描One scan
  4. 需要以密度相关的参数作为终止条件

DBSCAN

原理

​ 对象的密度可以用靠近该对象的节点数量表示。

​ 找出核心对象和其邻域,形成稠密区为簇

参数:

Eps : 邻域半径

MinPts : 邻域半径内的最小节点数 判断是否为核心节点的阈值

核心节点q 满足

|N_Eps (q) | ≥ MinPts

核心节点扩展区域 边缘节点定义边界

image-20241118203559698

或者

image-20241118203808368

OPTICS(可能不考)

定义了两种距离,核心距离与可达距离

对于不同对象可能有不同的可达距离

DENCLUE(大概率不考)

引入影响函数与密度函数的概念进行聚类

离群点检测

离群点Outlier:

以一种不同机制产生的不同于大多数据表现的不正常的数据。

:虚假行为,电信诈骗,医药分析,网络攻击,等。

与噪音数据区别

噪音数据是错的数据

是一个测量变量中的随机错误或误差 包括错误的值 偏离期望的孤立点

噪音数据在数据处理前已经被移除。

分类

全局离群点

情境(条件)离群点

今天的最高温度是-15度

集体离群点

数据对象的子集形成集体离群点

例如:一些计算机之间频繁发送信息

离群点特征

有趣的 少量的

基于离群点方法检测出的离群点不能对应真正的异常行为

只能为用户提供可疑数据

基于密度的方法

直方图

通过直方图找到

核密度估计

确定数据中的稀疏区域以便报告异常点

基于概率的方法

极值:对应概率分布的统计尾部

识别模型低概率区域中的对象

一元离群点检测

根据概率密度函数进行

基于距离的方法

基本思路

数据集中显著偏离其他对象的点

根据每个点在局部区域上的密度和其邻近点的密度来判断异常程度

基于聚类的方法

检测方法

建立正常模型

离群点为不能正常符合这个模型的数据点

将异常数据度量为数值

分数越大越可能是离群点

形式

基于聚类产生簇

寻找远离簇的数据点

考虑对象和它最近簇之间的距离

半监督学习

结合聚类与分类检测离群点

先基于聚类识别正常簇,然后使用这个簇的一类模型识别离群点

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/60204.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

等精度频率计的设计

目录 主控电路设计 频率测量与计算电路设计 顶层电路设计 功能扩展及应用 频率测量的三种方法 等精度频率计通过控制闸门信号与被测信号同步,消除了直接测频法中的计数误差,因而在被测信号频率范围内测量精度基本上是恒定的。 本节以设计能够测量信号…

Matlab使用深度网络设计器为迁移学习准备网络

迁移学习通过对预训练网络进行微调,使深度学习模型能在少量数据下快速适应新任务,类似于“举一反三”,而不需要从头训练。本文使用matlab自带的深度网络设计器,可以便捷地修改预训练网络进行迁移学习,通过对预训练网络…

基于yolov8、yolov5的电塔缺陷检测识别系统(含UI界面、训练好的模型、Python代码、数据集)

摘要:电塔缺陷检测在电力设备巡检、运行维护和故障预防中起着至关重要的作用,不仅能帮助相关部门实时监测电塔运行状态,还为智能化检测系统提供了可靠的数据支撑。本文介绍了一款基于YOLOv8、YOLOv5等深度学习框架的电塔缺陷检测模型&#xf…

代理商培训新策略:内部知识库的高效运用

在竞争激烈的市场环境中,代理商作为企业与终端消费者之间的关键纽带,其专业能力和服务质量直接影响着企业的市场表现和品牌形象。因此,如何对代理商进行高效、系统的培训,以提升其业务能力和服务水平,成为企业亟需解决…

uniapp 相关的swiper的一些注意事项

先推荐一个一个对标pc端swiper的uniapp版本 zebra-swiper 缺点是自定义分页器不是很好处理 不知道怎么弄 优点:可以进行高度自适应 &#xff08;这个uniapp原生swiper没有 只能动态修改 采用js 或者只有几种固定高度时采用变量修改&#xff09; <swiperref"lifeMiddle…

ARM中ZI-data段和RW-data段

ARM中ZI-data段和RW-data段 1、只定义全局变量&#xff0c;不使用&#xff0c;不占用内存空间2、 定义并初始化全局变量为0 占用ZI-Data区域3、定义并初始化全局变量非0 占用RW-Data区域4、增加的是一个int8的数据为什么&#xff0c;size增加不是15、定义的全局变量为0&#xf…

jmeter--CSV数据文件设置--请求体设置变量

目录 一、示例 1、准备组织列表的TXT文件&#xff0c;如下&#xff1a; 2、添加 CSV数据文件设置 &#xff0c;如下&#xff1a; 3、接口请求体设置变量&#xff0c;如下&#xff1a; 二、CSV数据文件设置 1、CSV Data Set Config 配置选项说明 2、示例 CSV 文件内容 3、…

golang实现TCP服务器与客户端的断线自动重连功能

1.服务端 2.客户端 生成服务端口程序: 生成客户端程序: 测试断线重连: 初始连接成功

ssm148基于Spring MVC框架的在线电影评价系统设计与实现+jsp(论文+源码)_kaic

毕 业 设 计&#xff08;论 文&#xff09; 题目&#xff1a;在线电影评价系统设计与实现 摘 要 现代经济快节奏发展以及不断完善升级的信息化技术&#xff0c;让传统数据信息的管理升级为软件存储&#xff0c;归纳&#xff0c;集中处理数据信息的管理方式。本在线电影评价系…

DAY1 网络编程(TCP客户端服务器)

作业&#xff1a; TCP客户端服务器。 server服务器代码&#xff1a; #include <myhead.h> #define IP "192.168.110.52" #define PORT 8886 #define BACKLOG 20 int main(int argc, const char *argv[]) {int oldfdsocket(AF_INET,SOCK_STREAM,0);//IPV4通信…

基于arduino 用ESP8266获取实时MAX30102 血氧数据动态曲线显示在网页上

基于arduino 用ESP8266获取实时MAX30102 血氧数据动态曲线显示在网页上 原理&#xff1a; ESP8266获取MAX30102 血氧数据&#xff08;R,IR,G的值&#xff09;发送到路由器局域网内&#xff0c;局域网内的手机电脑&#xff0c;访问ESP的ip地址&#xff0c;获取实时的血氧数据动…

vue3:scss引用

原文查看&#xff1a;https://mp.weixin.qq.com/s?__bizMzg3NTAzMzAxNA&mid2247484356&idx2&sn44b127cd394e217b9e3c4eccafdc0aa9&chksmcec6fb1df9b1720b7bd0ca0b321bf8a995fc8cba233deb703512560cbe451cfb1f05cdf129f6&token1776233257&langzh_CN#rd…

SrpingBoot基础

SpringBoot基本框架中重要常用的包讲解: .idea包和.mvn包框架生成不经常用 src包下主要存放前后端代码: main包下的java包存放的是后端java代码主要负责数据处理 resource包下存放的是配置资源和前端页面,其中static中存放的是前端html网页一般存放静 态资源,templates包…

Nacos实现IP动态黑白名单过滤

一些恶意用户&#xff08;可能是黑客、爬虫、DDoS 攻击者&#xff09;可能频繁请求服务器资源&#xff0c;导致资源占用过高。因此我们需要一定的手段实时阻止可疑或恶意的用户&#xff0c;减少攻击风险。 本次练习使用到的是Nacos配合布隆过滤器实现动态IP黑白名单过滤 文章…

vue-next-admin框架配置(vue)

vue-next-admin 先安装依赖 npm i 依赖, npm run dev 运行 1.配置代理 2.把他的逻辑和自己的登录判断逻辑结合(我的放下面&#xff0c;可以参考哦&#xff0c;可以直接使用&#xff0c;到时候修改登录逻辑就好)&#xff0c;别忘了引入ajxio哦 const onSignIn async () &g…

算法定制LiteAIServer视频智能分析平台工业排污检测算法智控环保监管

随着工业化进程的加快&#xff0c;环境污染问题愈加严重&#xff0c;尤其是工业排污对生态环境的影响引发了广泛关注。在此背景下&#xff0c;视频智能分析平台LiteAIServer工业排污检测算法应运而生&#xff0c;作为一种先进的智能化解决方案&#xff0c;它在监测和管理工业排…

mini-lsm通关笔记Week2Day5

项目地址&#xff1a;https://github.com/skyzh/mini-lsm 个人实现地址&#xff1a;https://gitee.com/cnyuyang/mini-lsm Summary 在本章中&#xff0c;您将&#xff1a; 实现manifest文件的编解码。系统重启时从manifest文件中恢复。 要将测试用例复制到启动器代码中并运行…

【WPF】Prism学习(六)

Prism Dependency Injection 1.依赖注入&#xff08;Dependency Injection&#xff09; 1.1. Prism与依赖注入的关系&#xff1a; Prism框架一直围绕依赖注入构建&#xff0c;这有助于构建可维护和可测试的应用程序&#xff0c;并减少或消除对静态和循环引用的依赖。 1.2. P…

学习ASP.NET Core的身份认证(基于Cookie的身份认证1)

B/S架构程序可通过Cookie、Session、JWT、证书等多种方式认证用户身份&#xff0c;虽然之前测试过用户登录代码&#xff0c;也学习过开源项目中的登录认证&#xff0c;但其实还是对身份认证疑惑甚多&#xff0c;就比如登录验证后用户信息如何保存、客户端下次连接时如何获取用户…

使用Cursor和Claude AI打造你的第一个App

大家好&#xff0c;使用Cursor和Claude AI打造应用程序是一个结合智能代码辅助和人工智能对话的创新过程。Cursor是一个编程辅助工具&#xff0c;它通过智能代码补全、聊天式AI对话和代码生成等功能&#xff0c;帮助开发者提高编程效率。Claude AI则是一个强大的人工智能平台&a…