概述

本系列文章计划总结整理中国科学院大学《随机过程》课程相关知识，课程主讲老师：张颢

1.参考书目

1. 《随机过程及其应用》–陆大金 张颢 ；
2. 《Probability Random Variables and Stochastic Process》–Dapoulis,4th Edition；
3. 《Stochastic Process》–S.Ross,2ed Edition ；
4. 《Introduction to Stachastic Models》,7th Edition ；

2.主要内容

随机过程主要研究：多个随机变量之间的关联关系。关联关系有：

$$关联关系=\{\begin{array}{rlr}LinearRelationship(Correlation)& & 线性关系主要研究工具：相关\\ Markovproperty& & 研究连续和离散\\ Martingale& & 鞅,随机过程在金融中的应用(选讲)\end{array}$$

3.概率论–基本概念回顾

概率论主要研究：随机性/不确定性（Randomness<=>Uncertainty）。

3.1对“不确定性”的认识

对于一般人来说“某次抛硬币的结果”是不确定的。但是，如果一个人熟练的掌握抛硬币整个过程的物理特性，如“抛时的用力“，”空气动力学”等知识；那么他在硬币起抛后对结果是确定的。爱因斯坦曾经说过：“引入不确定性是对无知的妥协”。那么，我们该如何正确看待不确定性呢？对于一般人而言，必须明确区分<有没有必要/有没有能力 知道不确定性>。

3.2 应对“不确定性”应该怎么做

设计统计实验，统计实验事先不知道实验结果，一次实验会产生一个结果；将所有可能的结果放在一起，构成样本空间；研究每个统计结果可能出现的概率。
$$StatisticalExperiment<=>SampleSpace(\Omega )<=>Probability(Possibility)$$
概率的重要特性：可数可加性

3.3随机变量（Random Variable）

随机变量是一个函数，具有确定的形式；是由样本空间->函数值的一个确定的映射。随机变量本身没有随机性，具有随机性的是：样本空间中的样本点。随机变量的作用是：对样本空间中的样本点起量化作用。因为，统计实验的结果没有数值意义。如抛硬币实验的结果是“正”、”负“，需要将结果进行数值化后，才能够进行数学计算。
$$X:\Omega ->R(Determined)$$

3.4分布函数（Distribution Function）

FX=P(X≤x)=P({ω:X(ω)≤x})F_X=P(X\leq x)=P(\{\omega:X(\omega)\leq x\}) FX​=P(X≤x)=P({ω:X(ω)≤x})

3.5概率密度（Density）

概率密度函数为分布函数的导数，概率密度函数的两个特性：恒大于零、积分为1.
$$f_X(x)=\frac{d}{dx}{F}_X(x)$$

3.6概率（Probability）

P(A)=∑x∈AP({x})P(A)= \sum_{x \in A} P(\{ x\}) P(A)=x∈A∑​P({x})
$$P(A)={\int }_A{f}_X(x)dx$$

4.随机过程

研究多个随机变量之间的关系，以下以两个随机变量X,Y为例，简单说明。

4.1 联合分布

X,Y两个随机变量，基于同一个样本空间，研究两个随机变量的取值之间的相互影响程度。
$$X,Y:\Omega ->R$$
P(X=x,Y=y)=Pxy=P({ω:X(ω)=x}∩{ω:Y(ω)=y})P(X=x,Y=y)=P_{xy}=P(\{\omega :X(\omega)=x\} \cap \{\omega :Y(\omega)=y\}) P(X=x,Y=y)=Pxy​=P({ω:X(ω)=x}∩{ω:Y(ω)=y})

4.2分布密度–观察两个变量之间的关联

二元函数的分布函数为联合函数的混合偏导数。分布函数形式确定了两个随机变量之间的取值影响关系，下面展示三个简单的例子。
例子1
$$f_{XY}(x,y)=\{\begin{array}{rlr}\frac{1}{4}& & |x|\le 1,|y|\le 1\\ 0& & otherwise\end{array}$$


X在(-1,1) 之间任取一个确定的值时，Y的取值范围都是(-1,1)；所以，不难看出X的取值不影响Y的取值。即两个随机变量之间没有任何关联。
例子2
$$f_{XY}(x,y)=\{\begin{array}{rlr}\frac{1}{\pi }& & x^2+y^2\le 1\\ 0& & otherwise\end{array}$$

X在(-1,1) 之间取一个确定的值时，Y的取值范是在变化的；所以，不难看出X的取值会影响Y的取值。即两个随机变量之间有某种关系。
例子3
下例不考虑概率密度的严格形式，图为概率等高线投影图。直观看来，此时X,Y之间的关系近似于线性。

三个例子小结：
概率密度投影（方->圆->椭圆），随机变量X,Y之间的关系趋向于线性。那么两者之间的关系可否写出例如$y=\alpha x$的形式？

$$y=\alpha x=>Y?=\alpha X(Y(\omega )?=\alpha X(\omega ))$$
有两种方法来研究此关系式。

4.3 两种方法定性分析X,Y之间的关系

4.3.1方法1：
步骤1： Metric 明确度量
步骤2： Optimization 优化
要考虑上述关系式子是否成立，首先要考虑”=“是否成立；其次比例系数$\alpha$是多少。用$d(Y,\alpha X)$表示$Y,\alpha X$之间的距离，则目标是将此距离控制在尽可能小的范围内。如果采用均方距离，目标函数为:
$$\underset{\alpha }{\min }(d(Y,\alpha X))=\underset{\alpha }{\min }(E|Y-\alpha X{|}^2)$$
$$g(\alpha )=E|Y-\alpha X{|}^2$$
$${▽}_{\alpha }g(\alpha )={▽}_{\alpha }(E|Y{|}^2+{\alpha }^{2}E|X{|}^2-2\alpha E|XY|)=2\alpha E|X{|}^2-2E|XY|=0$$
$$=>\alpha =\frac{E|XY|}{E|X{|}^2}$$
$\alpha$中的E(XY)表征了 随机变量XY之间的相关关系，E(XY)为二元函数$H\ast H->R$,具有：非负、对称、双线性三个性质（三个性质的展示缺失）。与此同时，以上三个性质符合内积的定义。所以E(XY)的几何含义为：
$$E(XY)=<X,Y>$$
仿照两向量间夹角公式:
$$\cos \angle (x,y)=\frac{<x,y>}{<x,x><y,y>}=\frac{x^{T}y}{||x|{|}_2||y|{|}_2}$$
$$\cos \angle (X,Y)=\frac{E(XY)}{\sqrt{E|X{|}^{2}E|Y{|}^2}}(CorrelationCoefficient)$$
如果E(XY)=0
$$=>\cos \angle (X,Y)=\frac{\pi }{2}=>Orthogonality$$
4.3.2 方法2
从几何的角度解释X,Y之间的关系：

变量Y拟合直线在水平坐标轴上的投影为：
$$l=||Y||cos\alpha =||Y||\frac{<X,Y>}{||X||||Y||}=\frac{<X,Y>}{||X||}$$
$$\vec{l}=l\frac{X}{||X||}=\frac{<X,Y>}{||X||}\frac{X}{||X||}=\frac{<X,Y>}{||X|{|}^2}X=\frac{E(X,Y)}{E|X{|}^2}X$$

5.总结

随机过程主要研究多个随机变量之间关系，通过各种方法表示这些关系。此文对随机过程的实际应用讨论缺失，希望能在此后的文章中填补此块空白。（6h)