现代数字信号处理I--最佳线性无偏估计 BLUE 学习笔记

目录

1. 最佳线性无偏估计的由来

2. 简单线性模型下一维参数的BLUE

3. 一般线性模型下一维参数的BLUE

4. 一般线性模型下多维参数的BLUE

4.1 以一维情况说明Rao论文中的结论

4.2 矢量参数是MVUE的本质是矢量参数中的每个一维参数都是MVUE

4.3 一般线性模型多维参数BLUE的具体证明过程

4.4 BLUE与最小二乘的关系


说明:此部分内容在2024版本的课程中没有提供,需要参考2023之前的课程:


第四讲_1_哔哩哔哩_bilibili

1. 最佳线性无偏估计的由来

        利用极大似然等方法,在精确了解概率分布 的情况下,可以推导获得解析的估计公式。例如数据是独立同分布,且符合高斯分布时,可以通过联合概率密度函数求导的方法,获得极大似然估计:

        上述估计函数与输入数据之间是一种线性关系,在高斯分布情况下,每个数据点的权重都是

        我们希望估计与数据之间维持这种线性关系,如如下形式:

        其中是待确定的线性系数。

        如果估计函数是上述线性表达形式,这一类估计都称为是线性估计。

         矢量表示下,可以写为:

其中:

,是采集到的n个点数据

,是线性估计待确定的系数

        如果我们希望上述估计具有无偏的性质,即:

        那么这一类估计就称为是线性无偏估计。

        如果我们希望能够寻找到线性无偏估计中的最佳估计,这个最佳指的是估计的MSE最小,即在所有的线性无偏估计中寻找MSE最小的估计:

此时对应的就是最佳线性无偏估计,Best Linear Un-bias Estimator,简称BLUE。

2. 简单线性模型下一维参数的BLUE

        最简单的数据采集与待估计的参数模型如下:

        此时如果需要确保无偏性,那么满足:

        求解BLUE的过程,从无偏性出发:

代入线性估计量,由于 是确定系数,不具备随机性,因此得到:

此时得到此模型下的约束条件:

 接下来,观察最优性,即:

由于 是无偏的

 其中可以定义自协方差矩阵:

因此:

此时,最优线性估计,转化为:

其中约束条件为:

上述具体BLUE的求解是下面复杂线性模型的特例,此处不单独求解,参照下一节。

3. 一般线性模型下一维参数的BLUE

        更加一般的情况, 与待估计参数之间存在已知的一种线性关系,即:

其中 是系统模型已知的确定参数。上述线性采集模型是更加一般的情况,此时,我们仍然用一组线性系数去估计 ,即:

此时的无偏性使得待确定的系数满足:

即:

写成矢量形式,即:

 其中: 为达到BLUE待确定的参数。 是系统模型中已知的参数。

此时,再考虑估计方差:

此时:

代入后,得到:

因此,线性情况下最优估计,等效为:

此时定义:

由于 的正定的,因此,本质上是求二次型 最小时,对应的

显然,如果没有额外的限制条件,在 的最小值为0,上述形成的估计是不合理的,因此引入无偏约束 下求最小值,数学语言描述为:

上述为约束优化问题,可以通过拉格朗日方法求解:

其中的 主要是为了计算形式上的简化,对整体结果不影响,对 的梯度,即:

因此:

代入约束条件:

得到:

此时:

对应的:

上述就是一般线性模型一维情况下的BLUE。

上述简单线性模型,即:

代入得到:

这就是上述简单模型下一维参数的BLUE估计表达式。

更加特殊的,如果上述模型中噪声 是独立的,那么:

其中:

代入上述公式,得到:

因此,此时的BLUE可以具体表示为:

        此时可以发现,BLUE估计中每个观测值 的权重由 决定,当前观测值方差较大时,那么在BLUE估计中占的比重较小。

        如果更加特殊情况,即 是不光独立,而且是同分布的,那么:

代入后得到:

        此时,独立同分布下BLUE的估计表达式与高斯分布下MVUE估计量一致。但在BLUE的过程中,我们没有假设具体观测噪声的概率密度,只是假设了独立同分布及噪声的方差。

4. 一般线性模型下多维参数的BLUE

         是多维情况,即:

        此时: 不是矩阵,因此不能像一维情况下通过比较数据大小寻找最小值。对于矢量情况下的BLUE,可以参考Kay书上的证明,此处采用Rao 1989年的工作,说明上述求解过程,该过程与Kay书上的不一致。

4.1 以一维情况说明Rao论文中的结论

先从一维情况说明: , ,那么 是MVUE , ,那么 ,即最小方差无偏估计和任意零均值的 是正交的。

其中:

首先证明

是MVUE估计量,因此,如果构建 是常数的估计量:

另外

上式需要恒成立,需要满足:

此时,仅在 情况下才能满足,因此,一定有

现在证明

任意,使得,此时:

此时,由于,因此,此时:

因此,任意的MSE都超过  的MSE,因此是MVUE。

4.2 矢量参数是MVUE的本质是矢量参数中的每个一维参数都是MVUE

下面推广到矢量模式,待估计参数:

估计量:

如果 的MVUE,那么 的MVUE

证明:

如果存在另外估计量:

现在我们想验证: , 是否一定是小于等于0的

此时:

同理:

对于每一个分量, 是MVUE,因此

因此,分量的线性组合,也就存在:

也就是:

即:

因此, 是MVUE。

4.3 一般线性模型多维参数BLUE的具体证明过程

        接下来推导矢量情况下下的BLUE,假设数据模型为:

其中, ,是m*1维矢量;一组观测数据 是每组数据的观测噪声; 是线性观测矩阵,模型建立后,属于已知参数, 是n*m维矩阵。

考虑线性估计:

其中,A是m*n维矩阵,使得:

可以发现 是矢量 的一个线性组合

在无偏约束下:

因此,得到:

现在就是要求 ,使得

现在用Rao的结论进行求解:

假设任意取 ,也是用 实现的一个线性估计:

的期望为0,即:

因此:

说明 的每个行矢量都正交 矩阵的列矢量,将 转置,因此 的列矢量都正交 矩阵的列矢量,也就是 一定在 张成的正交补空间中。

具体可以参考矩阵的正交补空间:

【矩阵论笔记】正交补空间-CSDN博客

假设 空间的一组基矢量,即:

由于 ,也就是 的每个列矢量,都可以用e 线性组合表示,因此肯定存在矩阵 ,使得:

也就是:

因此:

利用Rao的结论,即此时:

其中:

即:

回顾上述问题,由于 ,因此 也是任意的, ,因此 也是任意的,也就是对于任意的 ,都成立 ,因此:

因此:

的行矢量都 的列矢量正交,因此 的行矢量又回到了 即:

也就是:

或者:

同时利用无偏估计约束,即

得到:

即:

代入后得到:

此时,得到矢量情况下的BLUE:

,即模型中噪声是独立同分布(可以不知道具体分布)时的BLUE解:

学习最小二乘后,可以发现上述结果与最小二乘一致。

4.4 BLUE与最小二乘的关系

        最小二乘数学模型:

,是待估计或者拟合参数,m*1维矢量;一组n个点的观测数据x 是每组数据的观测噪声或者可以认为是拟合误差; 是线性观测矩阵,模型建立后,属于已知参数, 是n*m维矩阵。

        最小二乘核心约束的是估计误差的平方和最小,即:

本质上, 是一个数,与上述矢量BLUE最后化中的 是矩阵难度上存在难度上的本质不同。

最小二乘的最优解比较简单,令:

求偏导:

重要的矩阵求导,参考:

矩阵求导、几种重要的矩阵及常用的矩阵求导公式-CSDN博客

因此:

达到最小值时,一阶偏导为零,因此:

对比上述结果,可以发现最小二乘解属于BLUE,上述也是高斯马尔科夫定理的核心要点。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/57077.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

[简易版] 自动化脚本

前言 uniapp cli项目中没办法自动化打开微信开发者工具,需要手动打开比较繁琐,故此自动化脚本就诞生啦~ 实现 const spawn require("cross-spawn"); const chalk require("picocolors"); const dayjs require("dayjs&quo…

牛客网刷题(1)(java之数据类型、数组的创建(静态/动态初始化)、static关键字与静态属性和方法、常用的servlet包、面向对象程序设计方法优点)

目录 一、Java变量的数据类型。 <1>Java中变量的数据类型。 <2>基本数据类型。 <3>引用数据类型。 二、Java中一维数组的初始化。&#xff08;静态、动态初始化&#xff09; <1>数组。 <2>动态初始化。 <3>静态初始化。 三、看清代码后&am…

Cesium基础-(Entity)-(Billboard)

里边包含Vue、React框架代码 2、Billboard 广告牌 Cesium中的Billboard是一种用于在3D场景中添加图像标签的简单方式。Billboard提供了一种方法来显示定向的2D图像,这些图像通常用于表示简单的标记、符号或图标。以下是对Billboard的详细解读: 1. Billboard的定义和特性 B…

模型训练识别手写数字(一)

一、模型训练数据集 1. 导入所需库 import numpy as np from sklearn.datasets import fetch_openmlnumpy 是用于数值计算的库。 fetch_openml 是用于从 OpenML 下载数据集的函数。 2. 获取 MNIST 数据集 X, y fetch_openml(mnist_784, version1, return_X_yTrue)fetch_ope…

LeetCode算法(双指针)

今天的题目主要都是力扣前100中&#xff0c;关于双指针的题 1.移动零 链接&#xff1a;移动零 示例&#xff1a; 示例 : 输入: nums [0,1,0,3,12] 输出&#xff1a;[1,3,12,0,0] 可以看到保持原有元素的顺序&#xff0c;将所有的0&#xff0c;移动到数组最后方即可。 这…

开源项目工具:LeanTween - 为Unity 3D打造的高效缓动引擎详解(比较麻烦的API版)

1.LeanTween.reset() 一、工具介绍 参考&#xff1a;推荐开源项目&#xff1a;LeanTween - 为Unity 3D打造的高效缓动引擎-CSDN博客 LeanTween是一个专为Unity 3D引擎设计的高效缓动&#xff08;tweening&#xff09;库&#xff0c;它提供了简单易用的API&#xff0c;帮助开…

ctfshow(175->178)--SQL注入--联合注入及其过滤

Web175 进入界面&#xff1a; 审计&#xff1a; 查询语句&#xff1a; $sql "select username,password from ctfshow_user5 where username !flag and id ".$_GET[id]." limit 1;";返回逻辑&#xff1a; if(!preg_match(/[\x00-\x7f]/i, json_enc…

数据结构(8.4_3)——堆的插入删除

在堆中插入新元素 在堆中删除元素 总结&#xff1a;

Linux:权限的深度解析(小白必看!!!)

文章目录 前言一、Linux重要的几个热键二、关机三、扩展命令总结四、shell命令以及运行原理感性理解五、Linux权限的概念1. 权限的概念2. 认识人&#xff08;用户&#xff09;1&#xff09;创建人2&#xff09;人分类3&#xff09;人切换4&#xff09;指令提权 3. ll下文件的权…

一些待机电流波形特征

一、待机电流波形 最干净的待机电流波形应该只有paging&#xff0c;不过需要注意2点&#xff1a; 每个paging的间隔&#xff0c;不同网络可能不一样&#xff0c;有可能是320ms, 640ms 待机网络 paging 间隔 1分钟的耗电量 单个耗电量 单个待机电流 单个波形时长 4G 64…

二十三、Python基础语法(包)

包(package)&#xff1a;包是一种组织代码的方式&#xff0c;可以将相关的模块组合在一起&#xff0c;以便更好地管理和重用代码&#xff0c;包的目录中有一个特殊代码文件__init__.py&#xff0c;包的命名也要遵循标识符的规则。 一、包的结构 一个 Python 包通常是一个包含…

NLTK无法下载?

以下内容仅为当前认识&#xff0c;可能有不足之处&#xff0c;欢迎讨论&#xff01; 文章目录 nltk无法下载怎么办&#xff1f;什么是NLTK&#xff1f;为什么要用NLTK&#xff1f;如何下载&#xff1f; nltk无法下载怎么办&#xff1f; 什么是NLTK&#xff1f; NLTK是学习自然…

python项目实战——多协程下载美女图片

协程 文章目录 协程协程的优劣势什么是IO密集型任务特点示例与 CPU 密集型任务的对比处理 I/O 密集型任务的方式总结 创建并使用协程asyncio模块 创建协程函数运行协程函数asyncio.run(main())aiohttp模块调用aiohttp模块步骤 aiofiles————协程异步函数遇到的问题一 await …

代码随想录跟练21天——LeetCode332.重新安排行程, 51. N皇后,37. 解数独

332.重新安排行程 力扣题目链接(opens new window) 给定一个机票的字符串二维数组 [from, to]&#xff0c;子数组中的两个成员分别表示飞机出发和降落的机场地点&#xff0c;对该行程进行重新规划排序。所有这些机票都属于一个从 JFK&#xff08;肯尼迪国际机场&#xff09;出…

【Python可视化系列】一文教你绘制双Y轴的双折线图(案例+源码)

这是我的第369篇原创文章。 一、引言 在日常工作和学习中&#xff0c;我们会遇到将两个折线画在一张图上的情况&#xff0c;且这两个折线代表了两个特征&#xff0c;具有不同的涵义和量纲表示&#xff0c;这时候我们就需要绘制一个双Y轴折线图&#xff0c;一边代表一个特征&…

Redis 持久化 总结

前言 相关系列 《Redis & 目录》&#xff08;持续更新&#xff09;《Redis & 持久化 & 源码》&#xff08;学习过程/多有漏误/仅作参考/不再更新&#xff09;《Redis & 持久化 & 总结》&#xff08;学习总结/最新最准/持续更新&#xff09;《Redis & …

python进阶集锦

一、迭代器和生成器 区别 关于迭代器和生成器 迭代器与生成器的区别 迭代器&#xff08;Iterator&#xff09;和生成器&#xff08;Generator&#xff09;是Python中处理序列数据的两种不同概念。迭代器是遵循迭代协议的对象&#xff0c;而生成器是一种特殊类型的迭代器&am…

Vue学习笔记(八)

透传attribute "透传attribute"指的是传递给一个组件&#xff0c;却没有被改组件声明为props或emits的attribute或者v-on事件监听器。最常见的例子就是class、style和id。 当一个组件以单个元素为根作渲染时&#xff0c;透传的attribute会自动被添加到根元素上。 …

4个提取音频办法,轻松实现视频转音频!

在信息爆炸的时代&#xff0c;视频内容以其直观、生动的特点占据了互联网的大半江山。然而&#xff0c;在某些场景下&#xff0c;我们可能更倾向于只听取音频部分&#xff0c;无论是驾驶途中听讲座、跑步时享受音乐视频中的纯音乐的场景&#xff0c;还是为了节省流量和存储空间…

C++ 类与对象入门:基础知识与定义

引言&#xff1a; 本来打算用一篇介绍清楚C中的类与对象&#xff0c;再三考虑后觉得不妥&#xff1a;第一&#xff0c;知识点实在太多&#xff1b;第二&#xff0c;对于从刚学完C并打算过渡到C的朋友来说&#xff0c;学的太深较有难度… 总而言之&#xff0c;我打算用三到四篇文…