随机过程1

概述
- 1.参考书目
- 2.主要内容
- 3.概率论--基本概念回顾
- - 3.1对“不确定性”的认识
  - 3.2 应对“不确定性”应该怎么做
  - 3.3随机变量（Random Variable）
  - 3.4分布函数（Distribution Function）
  - 3.5概率密度（Density）
  - 3.6概率（Probability）
- 4.随机过程
- - 4.1 联合分布
  - 4.2分布密度--观察两个变量之间的关联
  - 4.3 两种方法定性分析X,Y之间的关系
- 5.总结

概述

本系列文章计划总结整理中国科学院大学《随机过程》课程相关知识，课程主讲老师：张颢

1.参考书目

《随机过程及其应用》–陆大金张颢；
《Probability Random Variables and Stochastic Process》–Dapoulis,4th Edition；
《Stochastic Process》–S.Ross,2ed Edition ；
《Introduction to Stachastic Models》,7th Edition ；

2.主要内容

随机过程主要研究：多个随机变量之间的关联关系。关联关系有：

$关联关系={LinearRelationship(Correlation)线性关系主要研究工具：相关Markovproperty研究连续和离散Martingale鞅,随机过程在金融中的应用(选讲)关联关系=\left\{ \begin{aligned} Linear Relationship(Correlation) &&线性关系主要研究工具：相关 \\ Markov property && 研究连续和离散 \\ Martingale && 鞅,随机过程在金融中的应用(选讲) \end{aligned} \right.$

3.概率论–基本概念回顾

概率论主要研究：随机性/不确定性（Randomness<=>Uncertainty）。

3.1对“不确定性”的认识

对于一般人来说“某次抛硬币的结果”是不确定的。但是，如果一个人熟练的掌握抛硬币整个过程的物理特性，如“抛时的用力“，”空气动力学”等知识；那么他在硬币起抛后对结果是确定的。爱因斯坦曾经说过：“引入不确定性是对无知的妥协”。那么，我们该如何正确看待不确定性呢？对于一般人而言，必须明确区分<有没有必要/有没有能力知道不确定性>。

3.2 应对“不确定性”应该怎么做

设计统计实验，统计实验事先不知道实验结果，一次实验会产生一个结果；将所有可能的结果放在一起，构成样本空间；研究每个统计结果可能出现的概率。
$Space(\Omega)<=>Probability(Possibility)$
概率的重要特性：可数可加性

3.3随机变量（Random Variable）

随机变量是一个函数，具有确定的形式；是由样本空间->函数值的一个确定的映射。随机变量本身没有随机性，具有随机性的是：样本空间中的样本点。随机变量的作用是：对样本空间中的样本点起量化作用。因为，统计实验的结果没有数值意义。如抛硬币实验的结果是“正”、”负“，需要将结果进行数值化后，才能够进行数学计算。
$X:Ω−>R(Determined)X:\Omega->R(Determined)$

3.4分布函数（Distribution Function）

$FX=P(X≤x)=P({ω:X(ω)≤x})F_X=P(X\leq x)=P(\{\omega:X(\omega)\leq x\})$

3.5概率密度（Density）

概率密度函数为分布函数的导数，概率密度函数的两个特性：恒大于零、积分为1.
$fX(x)=ddxFX(x)f_X(x)=\frac{d}{dx} F_X(x)$

3.6概率（Probability）

$\sum_{x \in A} P(\{ x\})$
$\int_A f_X(x)dx$

4.随机过程

研究多个随机变量之间的关系，以下以两个随机变量X,Y为例，简单说明。

4.1 联合分布

X,Y两个随机变量，基于同一个样本空间，研究两个随机变量的取值之间的相互影响程度。
$X,Y:Ω−>RX,Y:\Omega->R$
$P(X=x,Y=y)=Pxy=P({ω:X(ω)=x}∩{ω:Y(ω)=y})P(X=x,Y=y)=P_{xy}=P(\{\omega :X(\omega)=x\} \cap \{\omega :Y(\omega)=y\})$

4.2分布密度–观察两个变量之间的关联

二元函数的分布函数为联合函数的混合偏导数。分布函数形式确定了两个随机变量之间的取值影响关系，下面展示三个简单的例子。
例子1
$fXY(x,y)={14∣x∣≤1,∣y∣≤10otherwisef_{XY}(x,y)=\left\{ \begin{aligned} \frac{1}{4} &&|x|\leq1, |y|\leq 1\\ 0 && otherwise \\ \end{aligned} \right.$
在这里插入图片描述

X在(-1,1) 之间任取一个确定的值时，Y的取值范围都是(-1,1)；所以，不难看出X的取值不影响Y的取值。即两个随机变量之间没有任何关联。
例子2
$fXY(x,y)={1πx2+y2≤10otherwisef_{XY}(x,y)=\left\{ \begin{aligned} \frac{1}{\pi} &&x^2+y^2\leq1\\ 0 && otherwise \\ \end{aligned} \right.$
在这里插入图片描述
X在(-1,1) 之间取一个确定的值时，Y的取值范是在变化的；所以，不难看出X的取值会影响Y的取值。即两个随机变量之间有某种关系。
例子3
下例不考虑概率密度的严格形式，图为概率等高线投影图。直观看来，此时X,Y之间的关系近似于线性。
在这里插入图片描述
三个例子小结：
概率密度投影（方->圆->椭圆），随机变量X,Y之间的关系趋向于线性。那么两者之间的关系可否写出例如 $y=αxy=\alpha x$ 的形式？

$y=αx=>Y?=αX(Y(ω)?=αX(ω))y=\alpha x=>Y?=\alpha X(Y(\omega)?=\alpha X(\omega))$
有两种方法来研究此关系式。

4.3 两种方法定性分析X,Y之间的关系

4.3.1方法1：
步骤1： Metric 明确度量
步骤2： Optimization 优化
要考虑上述关系式子是否成立，首先要考虑”=“是否成立；其次比例系数 $α\alpha$ 是多少。用 $d(Y,αX)d(Y,\alpha X)$ 表示 $Y,αXY,\alpha X$ 之间的距离，则目标是将此距离控制在尽可能小的范围内。如果采用均方距离，目标函数为:
$min⁡α(d(Y,αX))=min⁡α(E∣Y−αX∣2)\min_{\alpha}(d(Y,\alpha X))=\min_{\alpha}(E|Y-\alpha X|^2)$
$g(α)=E∣Y−αX∣2g(\alpha)=E|Y-\alpha X|^2$
$▽αg(α)=▽α(E∣Y∣2+α2E∣X∣2−2αE∣XY∣)=2αE∣X∣2−2E∣XY∣=0\bigtriangledown _\alpha g(\alpha)=\bigtriangledown _\alpha(E|Y|^2+\alpha ^2E|X|^2-2\alpha E|XY|)=2\alpha E|X|^2-2E|XY|=0$
$=>α=E∣XY∣E∣X∣2=>\alpha =\frac{E|XY|}{E|X|^2}$
$α\alpha$ 中的E(XY)表征了随机变量XY之间的相关关系，E(XY)为二元函数 $H * H - > R$ ,具有：非负、对称、双线性三个性质（三个性质的展示缺失）。与此同时，以上三个性质符合内积的定义。所以E(XY)的几何含义为：
$E (X Y) = < X, Y >$
仿照两向量间夹角公式:
$cos⁡∠(x,y)=<x,y><x,x><y,y>=xTy∣∣x∣∣2∣∣y∣∣2\cos \angle(x,y)=\frac{<x,y>}{<x,x><y,y>}=\frac{x^Ty}{||x||_2||y||_2}$
$cos⁡∠(X,Y)=E(XY)E∣X∣2E∣Y∣2(CorrelationCoefficient)\cos \angle(X,Y)=\frac{E(XY)}{\sqrt{ E|X|^2E|Y|^2}}(Correlation Coefficient)$
如果E(XY)=0
$=>cos⁡∠(X,Y)=π2=>Orthogonality=>\cos \angle(X,Y)=\frac{\pi}{2}=>Orthogonality$
4.3.2 方法2
从几何的角度解释X,Y之间的关系：
在这里插入图片描述
变量Y拟合直线在水平坐标轴上的投影为：
$l=∣∣Y∣∣cosα=∣∣Y∣∣<X,Y>∣∣X∣∣∣∣Y∣∣=<X,Y>∣∣X∣∣l=||Y||cos\alpha=||Y||\frac{<X,Y>}{||X||||Y||}=\frac{<X,Y>}{||X||}$
$l⃗=lX∣∣X∣∣=<X,Y>∣∣X∣∣X∣∣X∣∣=<X,Y>∣∣X∣∣2X=E(X,Y)E∣X∣2X\vec l=l\frac{X}{||X||}=\frac{<X,Y>}{||X||}\frac{X}{||X||}=\frac{<X,Y>}{||X||^2}X=\frac{E(X,Y)}{E|X|^2}X$