关于几种熵的计算(MATLAB)

Shannon在1948年定义了信息熵,并用信息熵来衡量一个事件的不确定程度。作为信息论中一个重要的基本概念,信息就是一种客观存在和能动的过程,它可以减少或者消除事件的不确定因素。一切客观事物的属性中都包含着不确定性,人们在没有获得某个事物信息时,对事物的认知是不确定的,一旦人们或得到了相关信息,就能够了解该事物,也就是说接收者对于原事物的不确定性减小或者消除了。如何度量信息成为学者们研究的重要课题。Shannon首先在通信领域中对信息度量进行了深入的研究,他建立一个基本的通信系统模型,系统模型包括信源、信道、与编码/译码器、信宿。他指出信息量就是减少信息的发送者不确定性所需的信息度量,即如果信息的接收者获得这些信息量之后,对信源不确定度就会消除。借助概率和数理统计的相关概念,Shannon提出了度量信息量的数学公式,对于离散型信源,由于信源由多个随机事件组成,所以随机事件出现的概率就用来代替随机时间出现的不确定度。

1958年,Kolmogrov定义了测度熵,称为Kolmogrov熵,用来度量系统运动的混乱或无序的程度。并且提出了柯尔莫哥洛夫复杂性,他指出一个系统的复杂度与其空间结构或者时间序列所表征的变化的最小描述相关。一个事物的算法复杂度可以由产生该事物的图形结构与该图形结构之比的极限来确定,也可以由产生该事物的符号序列的最短程序长度与符号序列本身大小之比的极限来确定(当后者趋于极限时)。

近似熵的概念是90年代初期被提出的,与其它非线性动力学参数(如关联维数、Lyapunov指数等)相比,近似熵是从衡量时间序列复杂性的角度来度量信号产生新模式的概率大小。一个时间序列的近似熵值越大,说明序列的复杂度越高,随着时间的增加所产生的新模式越多。从理论上可以看出,序列的不规则程度和其复杂程度可以由近似熵表示。当数据维数改变时,序列中出现新的模式,而近似熵就是求这个新模式对数条件概率的均值。近似熵的主要特点就是采样时间序列复杂程度与近似熵值的大小成正比的关系。时间序列越复杂,其近似熵值也就越大;相比于K-S熵,K2熵、E-R熵而言,近似熵可以通过较短的时间序列得到序列的复杂度进而分析信号特征;它近似等于某种条件概率,所以对随机过程和确定过程都适用;对于偶尔产生的瞬态强干扰方面,近似熵有着较好的承受能力,并具有一定的抗噪、抗野点能力。

样本熵由近似熵改进而来,算法的改进在于样本熵采用和的对数来进行计算,降低了近似熵算法中存在的误差,与已知的随机部分有更好的一致性。样本熵基于近似熵,但精度优于近似熵。这使其具有了更好的性质:由于没有加入数据自身的比较过程,所以在计算条件概率时更加精确。由于算法基于近似熵,所以算法可以通过较短的序列计算出序列的复杂度;相对于近似熵,样本熵不仅与已知的随机部分具有更好的一致性,而且,当一个时间序列的样本熵值比另一个时间序列熵值大时,对于其他的参数值,也具有较大的样本熵值;并且样本熵对于数据丢失不敏感。

多尺度熵方法基于样本熵,用于描述一个时间序列在各个不同的时间尺度中的复杂程度。从其定义当中可以明确看出,多尺度熵就是计算一个时间序列在多个不同的尺度上的样本熵。如果一个序列的多尺度熵值随着尺度的减少而减小,说明此序列结构比较简单;如果该序列的多尺度熵值随着尺度的增加而增大,说明此序列自相似大,无规则程度高。如果一个时间序列在不同尺度下的熵值都高于另一个时间序列,就说明前者的复杂度要高于后者,即随机程度高于后者。

排列组合熵是一种度量时间序列的复杂性算法,排列熵算法基于Kolmogorov复杂度算法,并结合了信息熵的概念,来计算时间序列的无规则程度。排列熵通过时间序列在多维重构空间上的相似程度来计算初始时间序列的复杂度。算法计算简单,概念清晰,适用于大数据量的测量,可以更好的检测动力学系统的复杂程度。

关于时间序列几种熵的计算(MATLAB)
近似熵,注意力熵,气泡熵,复合多尺度熵,修正条件熵,余弦相似熵,复合(和精细复合)多尺度交叉熵,分散熵
二维分散熵(数据矩阵),分布熵,二维分布熵,嵌套熵,模糊熵,网格分布熵,分层多尺度熵,分层多尺度交叉熵
增量熵,Kolmogorov(K2)熵,多尺度熵,互谱熵(2个时间序列),交叉样本熵(2个时间序列),交叉排列熵(2个时间序列)
多尺度交叉熵(2个时间序列),交叉Kolmogorov(K2)熵(2个时间序列),交叉模糊熵(2个时间序列),交叉分布熵(2个时间序列)
修正交叉条件熵(2个时间序列),交叉近似熵(2个时间序列),符号动态熵,谱熵,斜率熵,二维样本熵,样本熵
精细多尺度交叉熵(2个时间序列),精细多尺度熵,相位熵,排列熵
代码可由知乎学术咨询获得。
工学博士,担任《Mechanical System and Signal Processing》《中国电机工程学报》《控制与决策》等期刊审稿专家,擅长领域:现代信号处理,机器学习,深度学习,数字孪生,时间序列分析,设备缺陷检测、设备异常检测、设备智能故障诊断与健康管理PHM等。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/35638.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

mac菜单栏应用管理软件:Bartender 4 for Mac 中文激活版

Bartender 4 是一款由Bearded Men Games开发的适用于Mac操作系统的应用程序,它被设计用来优化和美化Mac菜单栏的功能。自从macOS Big Sur开始,Mac的菜单栏可以自定义,用户可以添加和移除各种图标。Bartender 4就是在这个背景下应运而生&#…

Redis高可用(主从复制、哨兵模式)详解

Redis高可用(主从复制、哨兵模式)详解 Redis是一种高性能的键值存储系统,能够通过多种机制来实现高可用性,这些机制主要包括主从复制(Replication)和哨兵模式(Sentinel)。 Redis 主…

js,uni 自定义 时间选择器 vue2

<template><view class"reserve-time-box"><view class"title">选择时间</view><view class"date-box"><view class"date-scroll-box" :style"{ width : ${dataTimeWidth}rpx }"><v…

contenteditable——html5新增的一个允许用户直接在页面中编辑文本内容的属性

一、定义与功能 contenteditable是HTML5中的一个属性&#xff0c;它的主要功能是允许用户直接在页面中编辑文本内容。当将contenteditable属性设置为"true"时&#xff0c;用户可以点击、选择、编辑和删除元素中的文本内容。这使得网页成为一个可编辑的区域&#xff…

Node.js下载及安装详细教程

目录 Node.js安装详细教程 下载安装环境变量配置文件结构配置npm在安装全局模块时的路径和缓存cache的路径测试常见命令 Node.js安装详细教程 &#x1f441;官网下载地址:Download | Node.js (nodejs.org) 下载速度慢的话 可以使用网盘下载&#xff1a; https://pan.quark.…

自然语言处理基本知识(1)

一 分词基础 NLP:搭建了计算机语言和人类语言之间的转换 1 精确分词&#xff0c;试图将句子最精确的分开&#xff0c;适合文本分析 >>> import jieba >>> content "工信处女干事每月经过下属科室" >>> jieba.cut(content,cut_all …

TCP、UDP详解

目录 1.区别 1.1 概括 1.2 详解 2.TCP 2.1 内容 2.2 可靠传输 2.2.1 确认应答 2.2.2 超时重传 2.2.3 连接管理 三次握手 四次挥手 2.2.4 滑动窗口 2.2.5 流量控制 2.2.6 拥塞控制 2.2.7 延时应答 2.2.8 捎带应答 2.2.9 面向字节流 2.2.10 异常情况的处理 1.…

力扣322 零钱兑换 Java版本

文章目录 题目描述代码 题目描述 给你一个整数数组 coins &#xff0c;表示不同面额的硬币&#xff1b;以及一个整数 amount &#xff0c;表示总金额。 计算并返回可以凑成总金额所需的 最少的硬币个数 。如果没有任何一种硬币组合能组成总金额&#xff0c;返回 -1 。 你可以…

通达信短线抄底主升浪幅图指标公式源码

通达信短线抄底主升浪幅图指标公式源码&#xff1a; A1:REF(C,1); A2:SMA(MAX(C-A1,0),5,1)/SMA(ABS(C-A1),5,1)*1000; A3:BARSLAST(REF(CROSS("RSI.RSI1"(6,12,24),"RSI.RSI2"(6,12,24)),1)); A4:A2-LLV(A2,10); A5:(MA(A4,2)*3A4*13)/16; A6:IF(A5>1…

最新!AI大模型的研究热点!

引言 在人工智能的浪潮中&#xff0c;大模型研究如日中天&#xff0c;涵盖诸多研究方向&#xff0c;每个方向均承载着独特的研究焦点与挑战。 以下&#xff0c;我们将逐一探讨数个备受瞩目的研究方向&#xff0c;包括检索增强生成RAG、大模型Agent、Mamba、MoE、LoRA等&#…

Linux高并发服务器开发(四)进程间通信

文章目录 1 前言2 无名管道3 有名管道4 管道读写特点5 设置管道为非阻塞6 使用有名管道实现简单版本聊天7 共享存储映射7.1 mmap 存储映射函数7.2 共享映射实现父子进程通信7.3 共享映射实现无亲缘关系进程通信7.4 匿名映射实现父子进程通信 8 信号8.1 概念和特点8.2 信号的编号…

使用 shell 脚本同步 yum 源建立本地私有仓库

文章目录 [toc]事出有因脚本内容前端展示 事出有因 有两方面原因做了这个事情&#xff1a; dockerhub 国内无法访问centos 7 要停止社区支持了 结合两个情况&#xff0c;不久的将来&#xff0c;可能国内也就没有对应的 yum 仓库了&#xff08;现在想找 centos 7 之前的仓库&…

防火墙GRE over IPSec配置

一、基础知识 1、GRE隧道 GRE隧道是一种网络通信协议&#xff0c;使用通用路由封装&#xff08;GRE&#xff09;技术&#xff0c;能够将一种网络协议下的数据报文封装在另一种网络协议中&#xff0c;从而实现在另一个网络层协议中的传输。 GRE隧道的基本概念和工作方式 基本…

CMakeList整理大全

0. CMake应用示例 之前我们也整理过cmake 引入第三方库&#xff08;头文件目录、库目录、库文件&#xff09;。但是这里面整理的内容其实是不全的。所以我们需要进一步将CMake的使用整理好。以供后面的学习的工程师来检索查询。 cmake-template ├── CMakeLists.txt └──…

python中的argsort获取的是排好序的位置上原来元素的index

argsort 是许多编程语言中数组处理库的一个常见函数&#xff0c;用于返回数组中元素的索引&#xff0c;这些索引将数组的元素排序到升序位置。换句话说&#xff0c;argsort 不直接返回排序后的数组&#xff0c;而是返回原始数组中元素应该被放置的索引&#xff0c;以便生成排序…

【MyBatis-Plus LambdaQueryWrapper介绍】

文章目录 LambdaQueryWrapper 是什么&#xff1f;使用步骤1. 引入 MyBatis Plus 依赖2. 创建 LambdaQueryWrapper 对象3. 添加更多的查询条件4. 执行查询 示例代码 LambdaQueryWrapper 是什么&#xff1f; LambdaQueryWrapper 是 MyBatis Plus 中的一个查询条件构造器&#xf…

HarmonyOS Next开发学习手册——代码混淆

代码混淆简介 针对工程源码的混淆可以降低工程被破解攻击的风险&#xff0c;缩短代码的类与成员的名称&#xff0c;减小应用的大小。 DevEco Studio提供代码混淆的能力并默认开启&#xff0c;API 10及以上版本的Stage模型、 编译模式为release 时自动进行代码混淆。 使用约束…

沙龙圆满举行 | 数据资产入表新动向·驱动企业新质生产力!

近日&#xff0c;由四川智慧城市发展联盟、璞华科技有限公司等公司主办的“数据治理与入表专题沙龙会”在成都圆满落幕。璞华科技有限公司作为数据治理、数据资产入表领域的领军企业&#xff0c;为此次盛会贡献了我们的专业见解与实战经验。 沙龙现场&#xff0c;业内精英齐聚一…

后台管理系统通用表结构

后台管理系统的设计通常需要考虑以下几个关键的表&#xff1a; 用户表&#xff08;Users&#xff09;&#xff1a;存储用户信息&#xff0c;如用户名、密码、邮箱、手机号等。角色表&#xff08;Roles&#xff09;&#xff1a;定义系统中的不同角色&#xff0c;如管理员、普通…

【技术追踪】SDSeg:医学图像的 Stable Diffusion 分割(MICCAI-2024)

这医学图像分割领域啊&#xff0c;终究还是被 Stable Diffusion 闯进去了~ SDSeg&#xff1a;第一个基于 Stable Diffusion 的 latent 扩散医学图像分割模型&#xff0c;在五个不同医学影像模态的基准数据集上超越了现有的最先进方法~ 论文&#xff1a;Stable Diffusion Segmen…