随机过程1

随机过程1

  • 概述
    • 1.参考书目
    • 2.主要内容
    • 3.概率论--基本概念回顾
      • 3.1对“不确定性”的认识
      • 3.2 应对“不确定性”应该怎么做
      • 3.3随机变量(Random Variable)
      • 3.4分布函数(Distribution Function)
      • 3.5概率密度(Density)
      • 3.6概率(Probability)
    • 4.随机过程
      • 4.1 联合分布
      • 4.2分布密度--观察两个变量之间的关联
      • 4.3 两种方法定性分析X,Y之间的关系
    • 5.总结

概述

本系列文章计划总结整理中国科学院大学《随机过程》课程相关知识,课程主讲老师:张颢

1.参考书目

  1. 《随机过程及其应用》–陆大金 张颢 ;
  2. 《Probability Random Variables and Stochastic Process》–Dapoulis,4th Edition;
  3. 《Stochastic Process》–S.Ross,2ed Edition ;
  4. 《Introduction to Stachastic Models》,7th Edition ;

2.主要内容

随机过程主要研究:多个随机变量之间的关联关系。关联关系有:

关联关系={LinearRelationship(Correlation)线性关系主要研究工具:相关Markovproperty研究连续和离散Martingale鞅,随机过程在金融中的应用(选讲)关联关系=\left\{ \begin{aligned} Linear Relationship(Correlation) &&线性关系 主要研究工具:相关 \\ Markov property && 研究连续和离散 \\ Martingale && 鞅,随机过程在金融中的应用(选讲) \end{aligned} \right. =LinearRelationship(Correlation)MarkovpropertyMartingale线,()

3.概率论–基本概念回顾

概率论主要研究:随机性/不确定性(Randomness<=>Uncertainty)。

3.1对“不确定性”的认识

对于一般人来说“某次抛硬币的结果”是不确定的。但是,如果一个人熟练的掌握抛硬币整个过程的物理特性,如“抛时的用力“,”空气动力学”等知识;那么他在硬币起抛后对结果是确定的。爱因斯坦曾经说过:“引入不确定性是对无知的妥协”。那么,我们该如何正确看待不确定性呢?对于一般人而言,必须明确区分<有没有必要/有没有能力 知道不确定性>。

3.2 应对“不确定性”应该怎么做

设计统计实验,统计实验事先不知道实验结果,一次实验会产生一个结果;将所有可能的结果放在一起,构成样本空间;研究每个统计结果可能出现的概率
StatisticalExperiment&lt;=&gt;SampleSpace(Ω)&lt;=&gt;Probability(Possibility)Statistical Experiment&lt;=&gt;Sample Space(\Omega)&lt;=&gt;Probability(Possibility) StatisticalExperiment<=>SampleSpace(Ω)<=>Probability(Possibility)
概率的重要特性:可数可加性

3.3随机变量(Random Variable)

随机变量是一个函数,具有确定的形式;是由样本空间->函数值的一个确定的映射。随机变量本身没有随机性,具有随机性的是:样本空间中的样本点。随机变量的作用是:对样本空间中的样本点起量化作用。因为,统计实验的结果没有数值意义。如抛硬币实验的结果是“正”、”负“,需要将结果进行数值化后,才能够进行数学计算。
X:Ω−&gt;R(Determined)X:\Omega-&gt;R(Determined) X:Ω>R(Determined)

3.4分布函数(Distribution Function)

FX=P(X≤x)=P({ω:X(ω)≤x})F_X=P(X\leq x)=P(\{\omega:X(\omega)\leq x\}) FX=P(Xx)=P({ω:X(ω)x})

3.5概率密度(Density)

概率密度函数为分布函数的导数,概率密度函数的两个特性:恒大于零、积分为1.
fX(x)=ddxFX(x)f_X(x)=\frac{d}{dx} F_X(x) fX(x)=dxdFX(x)

3.6概率(Probability)

P(A)=∑x∈AP({x})P(A)= \sum_{x \in A} P(\{ x\}) P(A)=xAP({x})
P(A)=∫AfX(x)dxP(A)= \int_A f_X(x)dx P(A)=AfX(x)dx

4.随机过程

研究多个随机变量之间的关系,以下以两个随机变量X,Y为例,简单说明。

4.1 联合分布

X,Y两个随机变量,基于同一个样本空间,研究两个随机变量的取值之间的相互影响程度。
X,Y:Ω−&gt;RX,Y:\Omega-&gt;R X,Y:Ω>R
P(X=x,Y=y)=Pxy=P({ω:X(ω)=x}∩{ω:Y(ω)=y})P(X=x,Y=y)=P_{xy}=P(\{\omega :X(\omega)=x\} \cap \{\omega :Y(\omega)=y\}) P(X=x,Y=y)=Pxy=P({ω:X(ω)=x}{ω:Y(ω)=y})

4.2分布密度–观察两个变量之间的关联

二元函数的分布函数为联合函数的混合偏导数。分布函数形式确定了两个随机变量之间的取值影响关系,下面展示三个简单的例子。
例子1
fXY(x,y)={14∣x∣≤1,∣y∣≤10otherwisef_{XY}(x,y)=\left\{ \begin{aligned} \frac{1}{4} &amp;&amp;|x|\leq1, |y|\leq 1\\ 0 &amp;&amp; otherwise \\ \end{aligned} \right. fXY(x,y)=410x1,y1otherwise
在这里插入图片描述
在这里插入图片描述
X在(-1,1) 之间任取一个确定的值时,Y的取值范围都是(-1,1);所以,不难看出X的取值不影响Y的取值。即两个随机变量之间没有任何关联。
例子2
fXY(x,y)={1πx2+y2≤10otherwisef_{XY}(x,y)=\left\{ \begin{aligned} \frac{1}{\pi} &amp;&amp;x^2+y^2\leq1\\ 0 &amp;&amp; otherwise \\ \end{aligned} \right. fXY(x,y)=π10x2+y21otherwise
在这里插入图片描述
X在(-1,1) 之间取一个确定的值时,Y的取值范是在变化的;所以,不难看出X的取值会影响Y的取值。即两个随机变量之间有某种关系。
例子3
下例不考虑概率密度的严格形式,图为概率等高线投影图。直观看来,此时X,Y之间的关系近似于线性。
在这里插入图片描述
三个例子小结:
概率密度投影(方->圆->椭圆),随机变量X,Y之间的关系趋向于线性。那么两者之间的关系可否写出例如y=αxy=\alpha xy=αx的形式?
在这里插入图片描述
y=αx=&gt;Y?=αX(Y(ω)?=αX(ω))y=\alpha x=&gt;Y?=\alpha X(Y(\omega)?=\alpha X(\omega)) y=αx=>Y?=αX(Y(ω)?=αX(ω))
有两种方法来研究此关系式。

4.3 两种方法定性分析X,Y之间的关系

4.3.1方法1:
步骤1: Metric 明确度量
步骤2: Optimization 优化
要考虑上述关系式子是否成立,首先要考虑”=“是否成立;其次比例系数α\alphaα是多少。用d(Y,αX)d(Y,\alpha X)d(Y,αX)表示Y,αXY,\alpha XY,αX之间的距离,则目标是将此距离控制在尽可能小的范围内。如果采用均方距离,目标函数为:
min⁡α(d(Y,αX))=min⁡α(E∣Y−αX∣2)\min_{\alpha}(d(Y,\alpha X))=\min_{\alpha}(E|Y-\alpha X|^2) αmin(d(Y,αX))=αmin(EYαX2)
g(α)=E∣Y−αX∣2g(\alpha)=E|Y-\alpha X|^2 g(α)=EYαX2
▽αg(α)=▽α(E∣Y∣2+α2E∣X∣2−2αE∣XY∣)=2αE∣X∣2−2E∣XY∣=0\bigtriangledown _\alpha g(\alpha)=\bigtriangledown _\alpha(E|Y|^2+\alpha ^2E|X|^2-2\alpha E|XY|)=2\alpha E|X|^2-2E|XY|=0 αg(α)=α(EY2+α2EX22αEXY)=2αEX22EXY=0
=&gt;α=E∣XY∣E∣X∣2=&gt;\alpha =\frac{E|XY|}{E|X|^2} =>α=EX2EXY
α\alphaα中的E(XY)表征了 随机变量XY之间的相关关系,E(XY)为二元函数H∗H−&gt;RH*H-&gt;RHH>R,具有:非负、对称、双线性三个性质(三个性质的展示缺失)。与此同时,以上三个性质符合内积的定义。所以E(XY)的几何含义为:
E(XY)=&lt;X,Y&gt;E(XY)=&lt;X,Y&gt; E(XY)=<X,Y>
仿照两向量间夹角公式:
cos⁡∠(x,y)=&lt;x,y&gt;&lt;x,x&gt;&lt;y,y&gt;=xTy∣∣x∣∣2∣∣y∣∣2\cos \angle(x,y)=\frac{&lt;x,y&gt;}{&lt;x,x&gt;&lt;y,y&gt;}=\frac{x^Ty}{||x||_2||y||_2} cos(x,y)=<x,x><y,y><x,y>=x2y2xTy
cos⁡∠(X,Y)=E(XY)E∣X∣2E∣Y∣2(CorrelationCoefficient)\cos \angle(X,Y)=\frac{E(XY)}{\sqrt{ E|X|^2E|Y|^2}}(Correlation Coefficient) cos(X,Y)=EX2EY2E(XY)(CorrelationCoefficient)
如果E(XY)=0
=&gt;cos⁡∠(X,Y)=π2=&gt;Orthogonality=&gt;\cos \angle(X,Y)=\frac{\pi}{2}=&gt;Orthogonality =>cos(X,Y)=2π=>Orthogonality
4.3.2 方法2
从几何的角度解释X,Y之间的关系:
在这里插入图片描述
变量Y拟合直线在水平坐标轴上的投影为:
l=∣∣Y∣∣cosα=∣∣Y∣∣&lt;X,Y&gt;∣∣X∣∣∣∣Y∣∣=&lt;X,Y&gt;∣∣X∣∣l=||Y||cos\alpha=||Y||\frac{&lt;X,Y&gt;}{||X||||Y||}=\frac{&lt;X,Y&gt;}{||X||} l=Ycosα=YXY<X,Y>=X<X,Y>
l⃗=lX∣∣X∣∣=&lt;X,Y&gt;∣∣X∣∣X∣∣X∣∣=&lt;X,Y&gt;∣∣X∣∣2X=E(X,Y)E∣X∣2X\vec l=l\frac{X}{||X||}=\frac{&lt;X,Y&gt;}{||X||}\frac{X}{||X||}=\frac{&lt;X,Y&gt;}{||X||^2}X=\frac{E(X,Y)}{E|X|^2}X l=lXX=X<X,Y>XX=X2<X,Y>X=EX2E(X,Y)X

5.总结

随机过程主要研究多个随机变量之间关系,通过各种方法表示这些关系。此文对随机过程的实际应用讨论缺失,希望能在此后的文章中填补此块空白。(6h)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/445391.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

数组基操三连(4)

题目一 给定一个长度为N的整型数组arr&#xff0c;其中有N个互不相等的自然数1~N 请实现arr的排序 但是不要把下标0~N-1位置上的数值通过直接赋值的方式替换成1~N。 要求&#xff1a;时间复杂度为O(N)&#xff0c;额外空间复杂度为O(1)。 思路&#xff1a;从左向右检查&…

Linux(1)-touch,mkdir,rm,mv,cp,ls,cd,cat

Linux1-实用终端命令1. touch, mkdir2. rm, mv, cp3. ls(通配符),cd(绝对/相对路径)4. cat, more/less文件内容浏览文件/目录-增删查改, 文件内容查看.1. touch, mkdir touch新文件 &#xff1a;在当前文件夹下&#xff0c;创建文件。文件不存在则创建新文件&#xff1b;文件存…

java常用类介绍及源码阅读(ArrayList)

java.util 类 ArrayList<E> 继承关系&#xff1a; java.lang.Objectjava.util.AbstractCollection<E>java.util.AbstractList<E>java.util.ArrayList<E>List 接口的动态数组的实现。 实现了所有可选列表操作&#xff0c;并允许包括 null 在内的所有…

tests1

ls,cd,tardone

数组精选题目三连(5)

子数组的最大累加和问题 输入一个整形数组&#xff0c;求数组中连续的子数组使其和最大。比如&#xff0c;数组x 应该返回 x[2..6]的和187. 这四个代码完成的功能都是求最大子数组&#xff08;注意用词准确&#xff0c;子数组连续&#xff0c;子序列可以不连续&#xff09;。…

大数据学习(1)-大数据概述

文章目录目录大数据产生背景大数据概念大数据影响大数据应用大数据关键技术大数据产业大数据&#xff0c;云计算&#xff0c;物联网关系云计算物联网大数据&#xff0c;物联网&#xff0c;云计算三者之间联系目录 大数据产生背景 三次信息化浪潮 根据IBM前首席执行官郭士纳福…

java常用类介绍及源码阅读(LinkedList)

java.util 类 LinkedList<E> java.lang.Objectjava.util.AbstractCollection<E>java.util.AbstractList<E>java.util.AbstractSequentialList<E>java.util.LinkedList<E> List 接口的链接列表实现。实现所有可选的列表操作&#xff0c;并且允…

矩阵论-集合与映射,线性空间及其性质

线性空间与线性变换综述1.1 线性空间1.1.1 集合与映射1.1.2 线性空间及其性质综述 本系列博文主要总结学习矩阵论的心得笔记&#xff0c;参考数目《矩阵论》–张凯院&#xff1b;整个文章的整理体系参照行书过程。 1.1 线性空间 1.1.1 集合与映射 1.集合&#xff1a;将很多…

机器学习知识总结系列-机器学习中的数学-概率与数理统计(1-3-1)

文章目录目录1.概率与统计1.1 机器学习与概率统计之间的关系1.2 重要的统计量1.2.1 期望1.2.2 方差1.2.3 协方差&#xff0c;相关系数协方差相关系数1.2.4 矩1.3 重要的定理与不等式1.4 用样本估计参数目录 1.概率与统计 1.1 机器学习与概率统计之间的关系 1.什么是概率问题…

redis——事件

redis服务器是一个事件驱动程序。 需要处理两类事件&#xff1a; 1&#xff09;文件事件&#xff1a;redis是通过套接字与客户端或者其他服务器连接的&#xff0c;而文件事件就是服务器对套接字操作的抽象。 2&#xff09;时间事件&#xff1a;服务器对一些定时操作的抽象。…

自然语言处理(1)-概述

自然语言处理-概述概述1.基本概念2.人类语言技术HLT发展简史3.HLT 研究内容4.基本问题和主要困难5.基本研究方法概述 本系列文章计划总结整理中国科学院大学宗成庆老师《自然语言处理》课程相关知识&#xff0c;参考数目《统计自然语言处理》-第二版&#xff0c;宗成庆。 1.基…

redis——客户端

redis服务器是典型的一对多服务器&#xff0c;通过使用由IO多路复用技术实现的文件事件处理器&#xff0c;redis服务器使用了单线程单进程的方式来处理请求。 客户端的属性 描述符 客户端状态的 fd 属性记录了客户端正在使用的套接字描述符&#xff1a; typedef struct red…

矩阵论-线性空间的基与坐标,基变换坐标变换

线性空间与线性变换综述1.1 线性空间1.1.3 线性空间的基与坐标1.1.4 基变换与坐标变换综述 本系列博文主要总结学习矩阵论的心得笔记&#xff0c;参考数目《矩阵论》–张凯院&#xff1b;整个文章的整理体系参照行书过程。 1.1 线性空间 1.1.3 线性空间的基与坐标 向量的坐…

大数据学习(2-1)-Hadoop安装教程-单机模式和伪分布模式(Ubuntu14.04LTS)

文章目录目录1.linxu的安装1.1安装Linux虚拟机1.2安装Linux和Windows双系统2.Hadoop的安装2.1 Hadoop安装前配置2.1.1 配置Hadoop用户2.1.2 安装 ssh , 配置ssh免密登录2.1.3 安装java环境2.2 Hadoop的安装3.Hadoop单机版配置4.Hadoop伪分布版配置目录 1.linxu的安装 1.1安装…

mysql——JDBC

概述 JDBC&#xff1a;java Data Base Connectivity ,java数据库连接&#xff0c;它是一种用于执行sql语句的java API&#xff0c;为多种关系数据库提供统一访问。 其实就是一组用java编写的类和接口。 JDBC API 提供两类主要接口&#xff1a; 1&#xff09;面向开发人员的…

数组精选题目三连(6)

题目一&#xff1a;调整有序的arr数组&#xff0c;使得左半部分有序且不重复&#xff0c;不用保证右边是否有序。 思路&#xff1a; u : 左边的最后位置&#xff0c;即0---u为答案 i : 从u到右遍历 当arr[i]和arr[u]不相等时&#…