笔记主要基于中文版《应用随机过程 Introduction to Probability Models 》(Sheldon M. Ross)，只有非常少的一部分是我自己的注解。写这个笔记的目的是自己复习用，阅读需要一定的微积分和概率论基础。本人为初学者，且全部为自学，如果笔记中有错误，欢迎指正。
https://zhuanlan.zhihu.com/p/165909489
提示：概率论和指数分布作为本节的基础，我把一些重要公式写在开头，但是可以直接从泊松过程开始阅读，在泊松过程中用到相关知识点的时候再回头阅读。当然，从头读到尾也许理解得更好。

1. 概率论复习

随机过程是概率论的延申。因为我本科并没有系统学过概率论，所以有必要把一些概率论常用公式罗列在开头。
在这里插入图片描述

1.1 指数分布及其重要性质

在这里插入图片描述

1.2 泊松过程

要理解泊松过程，我们还有一些概念要理清楚。

首先，什么是随机过程？随机过程可以看成随机变量的集合 $X(t),t∈T{X(t),t\in T}$ ，或者说是一连串的随机变量，T是指标集，t可以理解为时间，也就是某个时刻有着对应的随机变量取值X(t)，X(t)称为状态(state)。一个系统，在不同的时刻可能会有不同的状态，这些状态是随机的，你按照时间顺序观察到的状态就是随机过程了。

具体一点，你可以想象一个黑盒子，黑盒子里面有个数字，你每隔一段时间打开黑盒子看一下，会看到不同的数字，你把看到的数字按照时间顺序记录下来，就是随机过程。随机过程就是假定你观察到的数字是有规律的，可以用概率论的模型去描述的。

在这里插入图片描述
平稳过程保证了随着时间变动，泊松过程产生的随机变量是同分布的，而独立增量过程则保证了随着时间变动前后过程的独立性，所以平稳独立增量就就可以理解成连续情形下的 i.i.d。在随机过程中，基于平稳独立增量过程的条件，我们往往可以通过类似在一个小区间 (t,t+h]中发生事件的个数，能够推出整个随机过程的信息。
在这里插入图片描述

2. 更新过程

Renewal theory is the branch of probability theory that generalizes the Poisson process for arbitrary holding times. Instead of exponentially distributed holding times, a renewal process may have any independent and identically distributed (IID) holding times that have finite mean. A renewal-reward process additionally has a random sequence of rewards incurred at each holding time, which are IID but need not be independent of the holding times.

A renewal process has asymptotic properties analogous to the strong law of large numbers and central limit theorem. The renewal function $m (t)$ (expected number of arrivals) and reward function $g (t)$ (expected reward value) are of key importance in renewal theory. The renewal function satisfies a recursive integral equation, the renewal equation. The key renewal equation gives the limiting value of the convolution of $m^{'} (t)$ with a suitable non-negative function. The superposition of renewal processes can be studied as a special case of Markov renewal processes.

Applications include calculating the best strategy for replacing worn-out machinery in a factory and comparing the long-term benefits of different insurance policies. The inspection paradox relates to the fact that observing a renewal interval at time t gives an interval with average value larger than that of an average renewal interval.

一个泊松过程可以分解成一系列 i.i.d 的指数分布随机变量相加，如果把指数分布换成其他 i.i.d 的分布就得到了更新过程。

更新过程本身是泊松过程的一种扩长，同时更新过程也可以发展出一套更新理论，包括更新方程等。

更新过程（renewal process）是一类随机过程，是描述元件或设备更新现象的一类随机过程。

在这里插入图片描述

设对某元件的工作进行观测。假定元件的使用寿命是一随机变量，当元件发生故障时就进行修理或换上新的同类元件，而且元件的更新是即时的(修理或更换元件所需的时间为零)。如果每次更新后元件的工作是相互独立且有相同的寿命分布，令N(t)为在区间(0，t]中的更新次数，则称计数过程{N(t)，t≥0}为更新过程。
在这里插入图片描述

2.1 N(t)的分布

在这里插入图片描述

2.2 更新过程分类

在数学上更新过程可简单地定义为相邻两个点事件(即更新)的间距是相互独立同分布(但从原点到第一次更新的间距T1可以有不同分布)的计数过程。
根据T1的分布情形更新过程分为以下三类：

普通更新过程
延迟更新过程
平衡更新过程

更新过程也可用过程的事件间距序列{Tn，n≥1}给定，这时N(t)和Tn有如下关系：

在这里插入图片描述
其中

是第n次更新时间(n≥1，再定义S0＝0)。

对于普通更新过程，Sn是n个相互独立同分布的非负随机变量之和，因此在数学上更新过程也可以看做是一类特殊的独立随机变量和。
在这里插入图片描述

2.2.1 普通更新过程（ordinary renewal process）

一类特殊的延迟更新过程。

指所有更新间距T1，T2，T3，…都具有相同分布的更新过程，有时也简称更新过程。

2.2.2 延迟更新过程（delayed renewal process）

亦称变形更新过程。一种更新过程，指允许第一个更新间距T1(即从原点到第一次更新的间距)的分布G和其后的更新间距T2，T3，…的(共同)分布F相异的更新过程。

这类过程产生的背景和得名的原因如下：设想对一个元件更新模型开始观测的时刻t=0并不恰好是一个新元件开始工作的时刻，因而过程第一个元件的寿命(从开始观测时算起)分布G和新元件的寿命分布F一般是不相同的。由于在上述模型中是当一个元件已经工作了一段时间才开始观测的，所以人们称之为延迟更新过程。因为普通更新过程和平衡更新过程都可看做延迟更新过程的特殊情形，故也有人把延迟更新过程称为一般更新过程。

2.2.3 平衡更新过程（equilibrium renewal process）

一类特殊的延迟更新过程。它的第一个更新间距T1有分布
在这里插入图片描述
这里A(t)和Y(t)分别是过程在时刻t的年龄和剩余寿命(参见“年龄”和“剩余寿命”)。

2.2.4 交替更新过程（alternating renewal process）

如果考虑更换时间，即考虑机器的开与关两种状态，称作交替更新过程。设系统最初是开的，持续时间是Z1，而后关闭，时间是Y1，之后再打开，时间为Z2，又关闭，时间为Y2……交替进行。假设（Zn，Yn）,n>=1是独立同分布的。

一类特殊的两状态马尔可夫更新过程。其特征是两类型的更新区间交替出现。确切地说，交替更新过程就是非负随机向量序列{(Zn，Yn)，n≥1}，其中各(Zn，Yn)是独立同分布的(因而随机变量序列{Zn}和{Yn}也各自是独立同分布的)，但Zn和Yn(对于任一正整数n)可以是相依的。在元件更新模型中，若更新时间不恒等于零而是一个随机变量，令Zn和Yn分别表示第n个元件的使用寿命和它的更新时间，人们就得到一个交替更新过程(参见“马尔可夫更新过程”)。

2.2.5 一些说明

所谓更新过程就是更新

间隔虽然是i.i.d 但是可以服从一般分布（包括指数分布）的泊松计数过程。
我们一般把更新过程的更新间隔的均值命名为 $μ\mu$ ，把更新过程的均值命名为更新函数m(t)。
$1/μ1/\mu$ 我们称为更新速率。

2.3 更新定理

2.3.1 更新基本定理：

更新数与时间之比趋近于更新速率。
另外更新函数与时间之比也趋近于更新速率。
这里的趋近是说当时间趋于无穷的时候。

2.3.2 关键更新定理：

一个黎曼可积的函数与更新函数的增量的卷积等于该函数在正区间的积分乘以更新速率。
定义：格点更新过程：更新只在一个正数的正整数（周期）的倍数时刻发生的更新过程。否则叫做非格点的更新过程。
非格点的更新过程有如下定理：
非格点的更新过程的差分与时间之比趋近于更新速率。
格点的更新过程有如下定理：
在极限时刻发生的更新数与周期之比趋近于更新速率。

所以可以看出更新过程的定理基本都是和更新基本定理类似的。
但是最有用的定理还是关键更新定理。

2.4 补充一些

更新函数是n个更新间隔的和的分布的（对n的）累加。

$d m (y)$ 是更新发生在 $(y, y + d y)$ 期间的概率。

$F (t - y) d y$ 是更新间隔大于t-y的概率。

所以 $d m (y) F (t - y) d y$ 就是 $dF_{S_{N(t)}}$ 的概率，也就是第N(t)个更新发生在t时刻的概率。

我们定义，在t时间内发生了 $N (t)$ 个更新，那么 $S_{N(t)}$ （即第N(t)个更新发生的时刻）与t的时间差叫做“零件”的年龄。把 $S_{N(t)+1}$ （即第 $N (t) + 1$ 个更新发生的时刻）与t的时间差叫做“零件”的剩余寿命。

“零件”的年龄和剩余寿命在时间趋于无穷大的时候有相同的分布，且都等于 $int0tF(y)dy/μint_{0}^{t}F(y)dy/\mu$

2.5 更新过程的推广

2.5.1 交错更新过程：

就是忙时和停时更替进行的一种更新过程，我们把一个忙时和紧接着的一个停时叫做一个循环。
则机器在时刻t是处于忙时的概率（随时间）趋近于

$E{Z_{n}}/(E{Z_{n}}+E{Y_{n}})=E{Z_{n}}/E{X_{n}}$

这里 $X_{n}$ 表示第n个循环的长度。 $Z_{n}$ 表示第n个忙时的长度。 $Y_{n}$ 表示第n个停时的长度。

2.5.2 延迟更新过程：

也称为一般更新过程，就是初次间隔并不和其后的间隔分布相同。
前面出现过的这个分布函数： $int_{0}^{t}F(y)dy/mu$ 称为平衡分布函数。

如果首次间隔分布服从平衡分布函数，则这样的一般更新过程，就称为平衡更新过程。

2.5.3 酬劳更新过程：

如果每次更新有一次酬劳（酬劳也可以是penalty，也就是说酬劳可以为负），那么这样的更新过程叫做酬劳更新过程。
每次的酬劳，我们记为R_{n}，并用R(t)记直到t时刻的所有酬劳之和。

那么有如下和基本更新定理类似的定理：
$R (t) / t$ （总酬劳的平均）趋近于平均一个更新间隔内的平均酬劳。
或者总酬劳的均值的平均趋近于平均一个更新间隔内的平均酬劳。
这里的趋近于都是时间上趋近无穷大的涵义下。

排队论可以说是最重要的定理：

更新过程的来到率：定义为更新间隔的均值的倒数也就是更新速率。记为 $λ\lambda$ 。

则排队论的重要定理可以叙述为：
系统中（按时间）的平均人数等于来到率（更新速率）乘以每个顾客在系统中度过的时间。
或者排队中（按时间）的平均人数等于来到率（更新速率）乘以每个顾客在排队中度过的时间。
因为来到率是更新间隔的倒数，所以，至少在单位上，是不成问题的。也比较容易理解。

2.6 再生过程(regenerative process)

再生过程是说，存在一个时刻，在这个时刻之后，系统又从0时刻开始重复。

系统可以处于很多状态上，两个时刻之间算一个循环。

与交错（交替）更新过程类似：
系统处于第j个状态上的概率（在时间上）趋近于在一个更新间隔（循环）的均值时间内，系统处于状态j的时间的均值。即处于状态j的时间的均值比一个更新间隔（循环）的均值。

2.7 平稳点过程：

顾名思义，平稳点过程就是一个具有平稳增量的计数过程。

平稳点过程的重要定理如下：
平稳点过程计数N(t)大于0的概率与时间（t）之比等于一个正数。
也就是说平稳点过程N(t)的期望均值等于时间（t）乘以更新速率。

3. 大数定律

在数学与统计学中，大数定律又称大数法则、大数律，是描述相当多次数重复实验的结果的定律。根据这个定律知道，样本数量越多，则其算术平均值就有越高的概率接近期望值。

大数定律很重要，因为它“说明”了一些随机事件的均值的长期稳定性。人们发现，在重复试验中，随着试验次数的增加，事件发生的频率趋于一个稳定值；人们同时也发现，在对物理量的测量实践中，测定值的算术平均也具有稳定性。比如，我们向上抛一枚硬币，硬币落下后哪一面朝上是偶然的，但当我们上抛硬币的次数足够多后，达到上万次甚至几十万几百万次以后，我们就会发现，硬币每一面向上的次数约占总次数的二分之一，亦即偶然之中包含着必然。

上述现象是切比雪夫不等式的一个特殊应用情况，辛钦定理和伯努利大数定律也都概括了这一现象，它们统称为大数定律。

大数定理简单来说，指得是某个随机事件在单次试验中可能发生也可能不发生，但在大量重复实验中往往呈现出明显的规律性，即该随机事件发生的频率会向某个常数值收敛，该常数值即为该事件发生的概率。

另一种表达方式为当样本数据无限大时，样本均值趋于总体均值。

因为现实生活中，我们无法进行无穷多次试验，也很难估计出总体的参数。

大数定律告诉我们能用频率近似代替概率；能用样本均值近似代替总体均值。

很好得解决了现实问题。

3.1 举例

例如，抛掷一颗均匀的6面的骰子，1，2，3，4，5，6应等概率出现，所以每次扔出骰子后，出现点数的期望值是
$1+2+3+4+5+66=3.5\frac{1+2+3+4+5+6}{6}=3.5$

根据大数定理，如果多次抛掷骰子，随着抛掷次数的增加，平均值（样本平均值）应该接近3.5，根据大数定理，在多次伯努利实验中，实验概率最后收敛于理论推断的概率值，对于伯努利随机变量，理论推断的成功概率就是期望值，而若对n个相互独立的随机变量的平均值，频率越多则相对越精准。

例如硬币投掷即伯努利实验，当投掷一枚均匀的硬币，理论上得出的正面向上的概率应是1/2。因此，根据大数定理，正面朝上的比例在相对“大”的数字下，“理应”接近为1/2，尤其是正面朝上的概率在n次实验（n接近无限大时）后应几近收敛到1/2。

即使正面朝上（或背面朝上）的比例接近1/2，几乎很自然的正面与负面朝上的绝对差值（absolute difference差值范围）应该相应随着抛掷次数的增加而增加。换句话说，绝对差值的概率应该是会随着抛掷次数而接近于0。直观的来看，绝对差值的期望会增加，只是慢于抛掷次数增加的速度。

3.2 表现形式

大数定律主要有两种表现形式：弱大数定律和强大数定律。

定律的两种形式都肯定无疑地表明，样本均值
在这里插入图片描述
相较于辛钦大数定律，切比雪夫大数定理并未要求同分布，更具一般性。

4. non-renewal

In real stochastic systems, the arrival and service processes may not be renewal processes. For example, in many telecommunication systems such as internet traffic where data traffic is bursty, the sequence of inter-arrival times and service times are often correlated and dependent. One way to model this non-renewal behavior is to use Markovian Arrival Processes (MAPs) and Markovian Service Processes (MSPs). MAPs and MSPs allow for inter-arrival and service times to be dependent, while providing the analytical tractability of simple Markov processes.

Young Myoung Ko & Jamol Pender (2018) Strong approximations for timevarying infinite-server queues with non-renewal arrival and service processes, Stochastic Models,
34:2, 186-206, DOI: 10.1080/15326349.2018.1425886

https://www.cnblogs.com/sddai/p/6094837.html
https://zhuanlan.zhihu.com/p/59876036
https://wenku.baidu.com/view/199c386cb84ae45c3b358c8a.html
https://zh.wikipedia.org/wiki/%E5%A4%A7%E6%95%B0%E5%AE%9A%E5%BE%8B
https://zhuanlan.zhihu.com/p/77312635