概率论与随机过程教程

这份笔记面向已经学过高等数学、线性代数基础的人。目标不是只背公式，而是理解概率模型为什么这样定义、常见公式怎样推导、随机过程如何从“一个随机变量”扩展到“一族随时间变化的随机变量”。

0. 学习路线

概率论可以看成三层：

1. 事件层：样本空间、事件、概率、条件概率、独立性。
2. 随机变量层：随机变量、分布函数、密度/质量函数、期望、方差、矩母函数、特征函数、多维分布。
3. 极限与过程层：大数定律、中心极限定理、马尔可夫链、泊松过程、布朗运动、平稳过程。

随机过程的核心是：

随机过程不是一个随机数，而是一族随机变量 $\{X_t:t\in T\}$。每个固定的 $t$ 给出一个随机变量；每个固定的样本点 $\omega$ 给出一条样本路径 $t\mapsto X_t(\omega )$。

---

1. 概率空间

1.1 样本空间与事件

随机试验所有可能结果构成样本空间 $\Omega$。事件是 $\Omega$ 的子集，例如掷骰子时：

$$\Omega =\{1,2,3,4,5,6\},A=\{2,4,6\}$$

$A$ 表示“点数为偶数”。

为了避免无限样本空间中的集合悖论，严格概率论使用三元组：

$$(\Omega ,\mathcal{F},P)$$

其中：

• $\Omega$：样本空间。
• $\mathcal{F}$：事件集合族，也叫 $\sigma$-代数。
• $P$：概率测度。

$\sigma$-代数满足：

1. $\Omega \in \mathcal{F}$。
2. 若 $A\in \mathcal{F}$，则 $A^c\in \mathcal{F}$。
3. 若 $A_1,A_2,\cdots \in \mathcal{F}$，则 ${\bigcup }_{n=1}^{\infty }{A}_n\in \mathcal{F}$。

这保证事件可以进行补集、可数并、可数交等操作。

1.2 概率公理

概率函数 $P$ 满足 Kolmogorov 三公理：

1. 非负性：$P(A)\ge 0$。
2. 规范性：$P(\Omega )=1$。
3. 可列可加性：如果 $A_i$ 两两互斥，则

$$P\left(\bigcup _{i=1}^{\infty }{A}_i\right)=\sum _{i=1}^{\infty }P(A_i)$$

1.3 常用概率公式推导

补事件公式

因为 $A$ 与 $A^c$ 互斥，且 $A\cup A^c=\Omega$，所以

$$1=P(\Omega )=P(A\cup A^c)=P(A)+P(A^c)$$

因此

$$P(A^c)=1-P(A)$$

加法公式

对任意事件 $A,B$，把 $A\cup B$ 拆成互斥部分：

$$A\cup B=A\cup (B\setminus A)$$

所以

$$P(A\cup B)=P(A)+P(B\setminus A)$$

又因为

$$B=(B\setminus A)\cup (A\cap B)$$

且二者互斥，所以

$$P(B)=P(B\setminus A)+P(A\cap B)$$

于是

$$P(B\setminus A)=P(B)-P(A\cap B)$$

代回得到

$$P(A\cup B)=P(A)+P(B)-P(A\cap B)$$

这个公式的直觉是：$P(A)+P(B)$ 把交集 $A\cap B$ 算了两次，所以要减掉一次。

---

2. 条件概率、全概率公式与 Bayes 公式

2.1 条件概率

在 $P(B)>0$ 时，事件 $A$ 在事件 $B$ 已发生条件下的概率定义为：

$$P(A\mid B)=\frac{P(A\cap B)}{P(B)}$$

推导视角：已知 $B$ 发生以后，样本空间从 $\Omega$ 缩小为 $B$。在新的样本空间里，$A$ 发生等价于 $A\cap B$ 发生，因此要用 $P(A\cap B)$ 除以 $P(B)$ 做归一化。

由定义立刻得到乘法公式：

$$P(A\cap B)=P(A\mid B)P(B)=P(B\mid A)P(A)$$

2.2 全概率公式

设 $B_1,B_2,\dots ,B_n$ 构成样本空间的一个划分：

$$B_i\cap B_j=\varnothing (i\ne j),\bigcup _{i=1}^n{B}_i=\Omega ,P(B_i)>0$$

则任意事件 $A$ 可以拆成互斥并：

$$A=(A\cap B_1)\cup (A\cap B_2)\cup \cdots \cup (A\cap B_n)$$

由可加性：

$$P(A)=\sum _{i=1}^{n}P(A\cap B_i)$$

再用乘法公式：

$$P(A\cap B_i)=P(A\mid B_i)P(B_i)$$

得到全概率公式：

$$P(A)=\sum _{i=1}^{n}P(A\mid B_i)P(B_i)$$

2.3 Bayes 公式

Bayes 公式回答“看到结果以后，反推原因”的问题。

由条件概率定义：

$$P(B_j\mid A)=\frac{P(A\cap B_j)}{P(A)}$$

分子用乘法公式：

$$P(A\cap B_j)=P(A\mid B_j)P(B_j)$$

分母用全概率公式：

$$P(A)=\sum _{i}P(A\mid B_i)P(B_i)$$

所以：

$$P(B_j\mid A)=\frac{P(A\mid B_j)P(B_j)}{{\sum }_{i}P(A\mid B_i)P(B_i)}$$

解释：

• $P(B_j)$ 是先验概率。
• $P(A\mid B_j)$ 是似然。
• $P(B_j\mid A)$ 是后验概率。
• 分母负责归一化，使所有后验概率相加为 $1$。

2.4 独立性

事件 $A,B$ 独立定义为：

$$P(A\cap B)=P(A)P(B)$$

若 $P(B)>0$，这等价于：

$$P(A\mid B)=P(A)$$

也就是说，知道 $B$ 是否发生，不改变我们对 $A$ 的概率判断。

注意：互斥与独立通常不是一回事。若 $A,B$ 互斥且 $P(A),P(B)>0$，则 $P(A\cap B)=0$，但 $P(A)P(B)>0$，所以它们不独立。

---

3. 随机变量与分布

3.1 随机变量

随机变量是从样本空间到实数的函数：

$$X:\Omega \to \mathbb{R}$$

它把随机试验结果数值化。例如掷两枚硬币，令 $X$ 表示正面个数，则 $X\in \{0,1,2\}$。

3.2 分布函数

随机变量 $X$ 的分布函数定义为：

$$F_X(x)=P(X\le x)$$

分布函数有三个基本性质：

1. 单调不减。
2. 右连续。
3. ${\lim }_{x\to -\infty }{F}_X(x)=0$，${\lim }_{x\to \infty }{F}_X(x)=1$。

3.3 离散型随机变量

若 $X$ 只取可数个值 $x_1,x_2,\dots$，则概率质量函数为：

$$p_X(x_i)=P(X=x_i)$$

并且

$$\sum _i{p}_X(x_i)=1$$

期望：

$$E[X]=\sum _i{x}_i{p}_X(x_i)$$

方差：

$$\mathrm{Var}(X)=E[(X-E[X]{)}^2]$$

常用等价形式推导：

令 $\mu =E[X]$，则

$$\mathrm{Var}(X)=E[(X-\mu {)}^2]$$

展开：

$$E[(X-\mu {)}^2]=E[X^2-2\mu X+{\mu }^2]$$

利用期望线性性：

$$=E[X^2]-2\mu E[X]+{\mu }^2$$

因为 $E[X]=\mu$，所以

$$\mathrm{Var}(X)=E[X^2]-{\mu }^2=E[X^2]-(E[X]{)}^2$$

3.4 连续型随机变量

若存在非负函数 $f_X(x)$，使得

$$F_X(x)={\int }_{-\infty }^x{f}_X(t)dt$$

则 $X$ 是连续型随机变量，$f_X$ 是概率密度函数。

密度满足：

$$f_X(x)\ge 0,{\int }_{-\infty }^{\infty }{f}_X(x)dx=1$$

区间概率：

$$P(a<X\le b)=F_X(b)-F_X(a)={\int }_a^b{f}_X(x)dx$$

连续型随机变量满足 $P(X=a)=0$，但这不代表 $X=a$ 不可能发生；它表示单点概率质量为零。

期望：

$$E[X]={\int }_{-\infty }^{\infty }x{f}_X(x)dx$$

方差：

$$\mathrm{Var}(X)={\int }_{-\infty }^{\infty }(x-E[X]{)}^2{f}_X(x)dx$$

---

4. 常见分布与关键推导

4.1 Bernoulli 分布

一次成功/失败试验：

$$X\sim \mathrm{Bernoulli}(p),P(X=1)=p,P(X=0)=1-p$$

期望：

$$E[X]=1\cdot p+0\cdot (1-p)=p$$

二阶矩：

$$E[X^2]=1^2\cdot p+0^2\cdot (1-p)=p$$

方差：

$$\mathrm{Var}(X)=E[X^2]-(E[X]{)}^2=p-p^2=p(1-p)$$

4.2 二项分布

$n$ 次独立 Bernoulli 试验中成功次数：

$$X\sim \mathrm{Binomial}(n,p)$$

概率质量函数：

$$P(X=k)=\left(\genfrac{}{}{0ex}{}{n}{k}\right)p^k(1-p{)}^{n-k},k=0,1,\dots ,n$$

推导：恰有 $k$ 次成功时，某一个固定顺序的概率为

$$p^k(1-p{)}^{n-k}$$

而成功位置可以从 $n$ 个位置中选 $k$ 个，共 $\left(\genfrac{}{}{0ex}{}{n}{k}\right)$ 种，所以乘上组合数。

期望推导：令 $X_i$ 表示第 $i$ 次试验是否成功，则

$$X=X_1+X_2+\cdots +X_n$$

其中 $X_i\sim \mathrm{Bernoulli}(p)$。由期望线性性：

$$E[X]=\sum _{i=1}^{n}E[X_i]=np$$

若试验相互独立，则方差可加：

$$\mathrm{Var}(X)=\sum _{i=1}^n\mathrm{Var}(X_i)=np(1-p)$$

4.3 几何分布

若 $X$ 表示第一次成功所需试验次数，则

$P(X=k)=(1-p{)}^{k-1}p,k=1,2,\dots$

归一化验证：

$$\sum _{k=1}^{\infty }(1-p{)}^{k-1}p=p\sum _{j=0}^{\infty }(1-p{)}^j=p\cdot \frac{1}{p}=1$$

期望推导：

$$E[X]=\sum _{k=1}^{\infty }k(1-p{)}^{k-1}p$$

利用幂级数

$$\sum _{k=1}^{\infty }k{r}^{k-1}=\frac{1}{(1-r{)}^2},|r|<1$$

令 $r=1-p$，得

$$E[X]=p\cdot \frac{1}{p^2}=\frac{1}{p}$$

几何分布具有无记忆性：

$$P(X>s+t\mid X>s)=P(X>t)$$

推导：

$$P(X>s+t\mid X>s)=\frac{P(X>s+t)}{P(X>s)}$$

而 $P(X>m)=(1-p{)}^m$，所以

$$\frac{(1-p{)}^{s+t}}{(1-p{)}^s}=(1-p{)}^t=P(X>t)$$

4.4 Poisson 分布

Poisson 分布常用于单位时间/空间内稀有事件次数：

$$X\sim \mathrm{Poisson}(\lambda ),P(X=k)=e^{-\lambda }\frac{{\lambda }^k}{k!},k=0,1,2,\dots$$

归一化验证：

$$\sum _{k=0}^{\infty }{e}^{-\lambda }\frac{{\lambda }^k}{k!}=e^{-\lambda }\sum _{k=0}^{\infty }\frac{{\lambda }^k}{k!}=e^{-\lambda }{e}^{\lambda }=1$$

期望推导：

$$E[X]=\sum _{k=0}^{\infty }k{e}^{-\lambda }\frac{{\lambda }^k}{k!}$$

$k=0$ 项为 $0$，从 $k=1$ 开始：

$$E[X]=e^{-\lambda }\sum _{k=1}^{\infty }k\frac{{\lambda }^k}{k!}=e^{-\lambda }\sum _{k=1}^{\infty }\frac{{\lambda }^k}{(k-1)!}$$

提出一个 $\lambda$，令 $j=k-1$：

$$E[X]=\lambda e^{-\lambda }\sum _{j=0}^{\infty }\frac{{\lambda }^j}{j!}=\lambda$$

方差可用二阶阶乘矩推导。先算：

$$E[X(X-1)]=\sum _{k=0}^{\infty }k(k-1)e^{-\lambda }\frac{{\lambda }^k}{k!}$$

从 $k=2$ 开始：

$$E[X(X-1)]=e^{-\lambda }\sum _{k=2}^{\infty }\frac{{\lambda }^k}{(k-2)!}={\lambda }^2{e}^{-\lambda }\sum _{j=0}^{\infty }\frac{{\lambda }^j}{j!}={\lambda }^2$$

又因为

$$X^2=X(X-1)+X$$

所以

$$E[X^2]={\lambda }^2+\lambda$$

方差为：

$$\mathrm{Var}(X)=E[X^2]-(E[X]{)}^2=\lambda$$

4.5 指数分布

指数分布常描述等待时间：

$$X\sim \mathrm{Exp}(\lambda ),f(x)=\lambda e^{-\lambda x},x\ge 0$$

归一化：

$${\int }_0^{\infty }\lambda e^{-\lambda x}dx={\left[-e^{-\lambda x}\right]}_0^{\infty }=1$$

分布函数：

$$F(x)=P(X\le x)={\int }_0^x\lambda e^{-\lambda t}dt=1-e^{-\lambda x}$$

尾概率：

$$P(X>x)=e^{-\lambda x}$$

无记忆性推导：

$$P(X>s+t\mid X>s)=\frac{P(X>s+t)}{P(X>s)}=\frac{e^{-\lambda (s+t)}}{e^{-\lambda s}}=e^{-\lambda t}=P(X>t)$$

期望推导，使用分部积分：

$$E[X]={\int }_0^{\infty }x\lambda e^{-\lambda x}dx$$

令 $u=x$，$dv=\lambda e^{-\lambda x}dx$，则 $du=dx$，$v=-e^{-\lambda x}$：

$$E[X]={\left[-x{e}^{-\lambda x}\right]}_0^{\infty }+{\int }_0^{\infty }{e}^{-\lambda x}dx=\frac{1}{\lambda }$$

4.6 正态分布

正态分布：

$$X\sim N(\mu ,{\sigma }^2),f(x)=\frac{1}{\sqrt{2\pi }\sigma }\exp \left(-\frac{(x-\mu {)}^2}{2{\sigma }^2}\right)$$

标准化：

$$Z=\frac{X-\mu }{\sigma }\sim N(0,1)$$

标准正态密度：

$$\phi (z)=\frac{1}{\sqrt{2\pi }}{e}^{-z^2/2}$$

标准正态归一化推导的关键是高斯积分：

$$I={\int }_{-\infty }^{\infty }{e}^{-x^2/2}dx$$

平方后转成二维积分：

$$I^2={\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }{e}^{-(x^2+y^2)/2}dxdy$$

用极坐标 $x=r\cos \theta ,y=r\sin \theta$，Jacobian 为 $r$：

$$I^2={\int }_0^{2\pi }{\int }_0^{\infty }{e}^{-r^2/2}rdrd\theta$$

内层令 $u=r^2/2$，$du=rdr$：

$$I^2=2\pi {\int }_0^{\infty }{e}^{-u}du=2\pi$$

所以

$$I=\sqrt{2\pi }$$

因此 $\phi (z)$ 前面的系数必须是 $1/\sqrt{2\pi }$。

---

5. 多维随机变量

5.1 联合分布

二维随机变量 $(X,Y)$ 的联合分布函数：

$$F_{X,Y}(x,y)=P(X\le x,Y\le y)$$

离散情形联合质量函数：

$$p_{X,Y}(x,y)=P(X=x,Y=y)$$

连续情形联合密度：

$$P((X,Y)\in A)={\iint }_A{f}_{X,Y}(x,y)dxdy$$

5.2 边缘分布

离散情形：

$$p_X(x)=\sum _y{p}_{X,Y}(x,y),p_Y(y)=\sum _x{p}_{X,Y}(x,y)$$

连续情形：

$$f_X(x)={\int }_{-\infty }^{\infty }{f}_{X,Y}(x,y)dy$$ $$f_Y(y)={\int }_{-\infty }^{\infty }{f}_{X,Y}(x,y)dx$$

边缘化的本质是“把不关心的变量积分或求和掉”。

5.3 条件分布

离散情形：

$$P(X=x\mid Y=y)=\frac{P(X=x,Y=y)}{P(Y=y)}$$

连续情形的条件密度：

$$f_{X\mid Y}(x\mid y)=\frac{f_{X,Y}(x,y)}{f_Y(y)},f_Y(y)>0$$

5.4 独立随机变量

$X,Y$ 独立等价于：

$$F_{X,Y}(x,y)=F_X(x)F_Y(y)$$

若有密度，也等价于：

$$f_{X,Y}(x,y)=f_X(x)f_Y(y)$$

独立时，函数也独立：若 $X,Y$ 独立，则 $g(X)$ 与 $h(Y)$ 独立。

5.5 协方差与相关系数

协方差定义：

$$\mathrm{Cov}(X,Y)=E[(X-E[X])(Y-E[Y])]$$

展开推导：

令 ${\mu }_X=E[X]$，${\mu }_Y=E[Y]$：

$$\mathrm{Cov}(X,Y)=E[XY-X{\mu }_Y-Y{\mu }_X+{\mu }_X{\mu }_Y]$$

利用期望线性性：

$$=E[XY]-{\mu }_{Y}E[X]-{\mu }_{X}E[Y]+{\mu }_X{\mu }_Y$$

代入 $E[X]={\mu }_X,E[Y]={\mu }_Y$：

$$\mathrm{Cov}(X,Y)=E[XY]-E[X]E[Y]$$

相关系数：

$${\rho }_{X,Y}=\frac{\mathrm{Cov}(X,Y)}{\sqrt{\mathrm{Var}(X)\mathrm{Var}(Y)}}$$

若 $X,Y$ 独立，则 $E[XY]=E[X]E[Y]$，所以 $\mathrm{Cov}(X,Y)=0$。反过来不一定成立；零相关只表示线性关系为零，不表示独立。

5.6 方差和公式

对两个随机变量：

$$\mathrm{Var}(X+Y)=\mathrm{Var}(X)+\mathrm{Var}(Y)+2\mathrm{Cov}(X,Y)$$

推导：

$$\mathrm{Var}(X+Y)=E[((X-{\mu }_X)+(Y-{\mu }_Y){)}^2]$$

展开：

$$=E[(X-{\mu }_X{)}^2]+E[(Y-{\mu }_Y{)}^2]+2E[(X-{\mu }_X)(Y-{\mu }_Y)]$$

所以得到公式。若 $X,Y$ 独立，则协方差为零，方差可加。

---

6. 随机变量变换

6.1 一维连续变换

若 $Y=g(X)$，且 $g$ 严格单调可微，反函数 $x=g^{-1}(y)$ 存在，则

$$f_Y(y)=f_X(g^{-1}(y))\left|\frac{d}{dy}{g}^{-1}(y)\right|$$

推导以单调递增为例：

$$F_Y(y)=P(Y\le y)=P(g(X)\le y)=P(X\le g^{-1}(y))=F_X(g^{-1}(y))$$

两边对 $y$ 求导：

$$f_Y(y)=f_X(g^{-1}(y))\frac{d}{dy}{g}^{-1}(y)$$

若单调递减，导数为负，需要取绝对值保证密度非负。

6.2 多维变换与 Jacobian

若 $(U,V)=g(X,Y)$ 是一一可微变换，反变换为 $(X,Y)=h(U,V)$，则

$$f_{U,V}(u,v)=f_{X,Y}(x(u,v),y(u,v))\left|\frac{\partial (x,y)}{\partial (u,v)}\right|$$

其中

$$\frac{\partial (x,y)}{\partial (u,v)}=\left|\begin{array}{cc}\frac{\partial x}{\partial u}& \frac{\partial x}{\partial v}\\ \frac{\partial y}{\partial u}& \frac{\partial y}{\partial v}\end{array}\right|$$

Jacobian 的作用是面积缩放因子：变量变换后，小区域面积会被拉伸或压缩。

---

7. 条件期望

7.1 条件期望定义

离散情形：

$$E[X\mid Y=y]=\sum _{x}xP(X=x\mid Y=y)$$

连续情形：

$$E[X\mid Y=y]={\int }_{-\infty }^{\infty }x{f}_{X\mid Y}(x\mid y)dx$$

$E[X\mid Y]$ 本身是 $Y$ 的函数，也是一个随机变量。

7.2 全期望公式

离散情形推导：

$$E[E[X\mid Y]]=\sum _{y}E[X\mid Y=y]P(Y=y)$$

代入条件期望：

$$=\sum _y\left(\sum _{x}xP(X=x\mid Y=y)\right)P(Y=y)$$

交换求和：

$$=\sum _{x}x\sum _{y}P(X=x\mid Y=y)P(Y=y)$$

由全概率公式：

$$\sum _{y}P(X=x\mid Y=y)P(Y=y)=P(X=x)$$

所以

$$E[E[X\mid Y]]=\sum _{x}xP(X=x)=E[X]$$

这就是全期望公式：

$$E[X]=E[E[X\mid Y]]$$

7.3 全方差公式

全方差公式：

$$\mathrm{Var}(X)=E[\mathrm{Var}(X\mid Y)]+\mathrm{Var}(E[X\mid Y])$$

推导设 $m(Y)=E[X\mid Y]$。把 $X-E[X]$ 分解为：

$$X-E[X]=(X-m(Y))+(m(Y)-E[X])$$

平方取期望：

$$\mathrm{Var}(X)=E[(X-m(Y){)}^2]+E[(m(Y)-E[X]{)}^2]+2E[(X-m(Y))(m(Y)-E[X])]$$

第一项是：

$$E[\mathrm{Var}(X\mid Y)]$$

第二项是：

$$\mathrm{Var}(E[X\mid Y])$$

交叉项为零，因为

$$E[X-m(Y)\mid Y]=E[X\mid Y]-m(Y)=0$$

所以全方差公式成立。

直觉：总体不确定性 = 条件内部平均不确定性 + 条件均值之间的不确定性。

---

8. 矩母函数与特征函数

8.1 矩母函数

矩母函数定义：

$$M_X(t)=E[e^{tX}]$$

若在 $t=0$ 附近存在，则可以生成各阶矩：

$$M_X^{(n)}(0)=E[X^n]$$

推导：

$$\frac{d^n}{d{t}^n}{e}^{tX}=X^n{e}^{tX}$$

在适当条件下可交换求导与期望：

$$M_X^{(n)}(t)=E[X^n{e}^{tX}]$$

令 $t=0$，得到

$$M_X^{(n)}(0)=E[X^n]$$

8.2 特征函数

特征函数定义：

$${\varphi }_X(t)=E[e^{itX}]$$

特征函数总是存在，因为 $|e^{itX}|=1$。它能唯一决定分布，是证明中心极限定理的重要工具。

若 $X,Y$ 独立，则 $X+Y$ 的特征函数为：

$${\varphi }_{X+Y}(t)=E[e^{it(X+Y)}]=E[e^{itX}{e}^{itY}]$$

独立性给出乘积期望分解：

$${\varphi }_{X+Y}(t)=E[e^{itX}]E[e^{itY}]={\varphi }_X(t){\varphi }_Y(t)$$

---

9. 大数定律与中心极限定理

9.1 Markov 不等式

若 $X\ge 0$，则对 $a>0$：

$$P(X\ge a)\le \frac{E[X]}{a}$$

推导：

因为当 $X\ge a$ 时有 $X\ge a{1}_{\{X\ge a\}}$，当 $X<a$ 时右边为 $0$，也有 $X\ge 0$，所以总体上：

$$X\ge a{1}_{\{X\ge a\}}$$

取期望：

$$E[X]\ge aP(X\ge a)$$

移项得到结论。

9.2 Chebyshev 不等式

对任意随机变量 $X$，若方差存在，则

$$P(|X-E[X]|\ge \epsilon )\le \frac{\mathrm{Var}(X)}{{\epsilon }^2}$$

推导：令 $Y=(X-E[X]{)}^2\ge 0$，用 Markov 不等式：

$$P(Y\ge {\epsilon }^2)\le \frac{E[Y]}{{\epsilon }^2}=\frac{\mathrm{Var}(X)}{{\epsilon }^2}$$

而 $Y\ge {\epsilon }^2$ 等价于 $|X-E[X]|\ge \epsilon$。

9.3 弱大数定律

设 $X_1,X_2,\dots$ 独立同分布，$E[X_i]=\mu$，$\mathrm{Var}(X_i)={\sigma }^2<\infty$。样本均值

$${\bar{X}}_n=\frac{1}{n}\sum _{i=1}^n{X}_i$$

则对任意 $\epsilon >0$：

$$P(|{\bar{X}}_n-\mu |\ge \epsilon )\to 0$$

推导：

$$E[{\bar{X}}_n]=\mu$$

由于独立，方差可加：

$$\mathrm{Var}({\bar{X}}_n)=\mathrm{Var}\left(\frac{1}{n}\sum _{i=1}^n{X}_i\right)=\frac{1}{n^2}\sum _{i=1}^n{\sigma }^2=\frac{{\sigma }^2}{n}$$

用 Chebyshev 不等式：

$$P(|{\bar{X}}_n-\mu |\ge \epsilon )\le \frac{{\sigma }^2}{n{\epsilon }^2}\to 0$$

这说明：大量独立重复观测的平均值会稳定到真实均值。

9.4 中心极限定理

设 $X_1,X_2,\dots$ 独立同分布，均值 $\mu$、方差 ${\sigma }^2$ 有限且 $\sigma >0$，则

$$\frac{{\sum }_{i=1}^n{X}_i-n\mu }{\sigma \sqrt{n}}\stackrel{d}{\to }N(0,1)$$

等价地：

$$\frac{{\bar{X}}_n-\mu }{\sigma /\sqrt{n}}\stackrel{d}{\to }N(0,1)$$

直觉：很多小的、独立的随机扰动相加，标准化后趋向正态分布。

用特征函数看推导骨架

令

$$Y_i=\frac{X_i-\mu }{\sigma }$$

则 $E[Y_i]=0$，$\mathrm{Var}(Y_i)=1$。要研究

$$S_n=\frac{1}{\sqrt{n}}\sum _{i=1}^n{Y}_i$$

设 $Y_i$ 的特征函数为 $\varphi (t)$。由于 $E[Y_i]=0,E[Y_i^2]=1$，在 $0$ 附近有 Taylor 展开：

$$\varphi (t)=E[e^{itY}]=1-\frac{t^2}{2}+o(t^2)$$

$S_n$ 的特征函数为：

$${\varphi }_{S_n}(t)=E\left[e^{it\frac{1}{\sqrt{n}}\sum Y_i}\right]$$

独立性使其分解为：

$${\varphi }_{S_n}(t)=\prod _{i=1}^{n}E\left[e^{i(t/\sqrt{n})Y_i}\right]={\left[\varphi \left(\frac{t}{\sqrt{n}}\right)\right]}^n$$

用展开：

$$\varphi \left(\frac{t}{\sqrt{n}}\right)=1-\frac{t^2}{2n}+o\left(\frac{1}{n}\right)$$

于是

$${\left[1-\frac{t^2}{2n}+o\left(\frac{1}{n}\right)\right]}^n\to e^{-t^2/2}$$

而 $e^{-t^2/2}$ 是标准正态分布 $N(0,1)$ 的特征函数，因此 $S_n$ 依分布收敛到标准正态。

---

10. 随机过程基础

10.1 定义

随机过程是一族随机变量：

$$\{X_t:t\in T\}$$

$T$ 是指标集合，通常表示时间。

• 若 $T=\{0,1,2,\dots \}$，称为离散时间随机过程。
• 若 $T=[0,\infty )$，称为连续时间随机过程。
• 若 $X_t$ 取值有限或可数，称为离散状态过程。
• 若 $X_t$ 取值连续，称为连续状态过程。

两个重要视角：

1. 固定 $t$：$X_t$ 是随机变量。
2. 固定 $\omega$：$X_t(\omega )$ 是一条随时间变化的样本路径。

10.2 有限维分布

随机过程的概率结构由任意有限个时间点的联合分布描述：

$$P(X_{t_1}\le x_1,\dots ,X_{t_n}\le x_n)$$

这些称为有限维分布。理论上，所有有限维分布加上相容性条件可以刻画一个随机过程。

10.3 均值函数与协方差函数

均值函数：

$$m_X(t)=E[X_t]$$

自协方差函数：

$$R_X(s,t)=\mathrm{Cov}(X_s,X_t)=E[(X_s-m_X(s))(X_t-m_X(t))]$$

自相关函数有时定义为：

$$C_X(s,t)=E[X_s{X}_t]$$

注意有些教材把 $R_X$ 用作自相关函数，需要看上下文。

10.4 平稳性

严平稳

若对任意 $n$、任意时间点 $t_1,\dots ,t_n$ 和任意平移 $h$，有

$$(X_{t_1},\dots ,X_{t_n})\stackrel{d}{=}(X_{t_1+h},\dots ,X_{t_n+h})$$

则称过程严平稳。

严平稳要求所有有限维分布在时间平移下不变。

宽平稳

若满足：

1. $E[X_t]=\mu$ 是常数。
2. $\mathrm{Cov}(X_s,X_t)$ 只依赖时间差 $t-s$。

则称过程宽平稳或二阶平稳。

宽平稳只关心一阶矩和二阶矩，比严平稳弱。若过程是高斯过程，则宽平稳通常足以推出严平稳，因为高斯过程由均值和协方差完全决定。

---

11. 离散时间马尔可夫链

11.1 Markov 性

离散时间随机过程 $\{X_n:n=0,1,2,\dots \}$ 若满足：

$$P(X_{n+1}=j\mid X_n=i,X_{n-1}=i_{n-1},\dots ,X_0=i_0)=P(X_{n+1}=j\mid X_n=i)$$

则称为马尔可夫链。

直觉：给定现在，未来与过去无关。

若转移概率不随时间变化：

$$P(X_{n+1}=j\mid X_n=i)=p_{ij}$$

则称为齐次马尔可夫链。

11.2 转移矩阵

把 $p_{ij}$ 组成矩阵：

$$P=\left(\begin{array}{ccc}{p}_{11}& p_{12}& \cdots \\ p_{21}& p_{22}& \cdots \\ ⋮& ⋮& \ddots \end{array}\right)$$

每行和为 $1$：

$$\sum _j{p}_{ij}=1$$

若初始分布为行向量 ${\pi }^{(0)}$，则一步后的分布为：

$${\pi }^{(1)}={\pi }^{(0)}P$$

$n$ 步后：

$${\pi }^{(n)}={\pi }^{(0)}{P}^n$$

11.3 Chapman-Kolmogorov 方程推导

$n+m$ 步从 $i$ 到 $j$，可以按中间状态 $k$ 分解：

$$p_{ij}^{(n+m)}=P(X_{n+m}=j\mid X_0=i)$$

插入第 $n$ 步状态：

$$p_{ij}^{(n+m)}=\sum _{k}P(X_{n+m}=j,X_n=k\mid X_0=i)$$

用条件概率：

$$=\sum _{k}P(X_{n+m}=j\mid X_n=k,X_0=i)P(X_n=k\mid X_0=i)$$

由 Markov 性和齐次性：

$$P(X_{n+m}=j\mid X_n=k,X_0=i)=P(X_m=j\mid X_0=k)=p_{kj}^{(m)}$$

所以

$$p_{ij}^{(n+m)}=\sum _k{p}_{ik}^{(n)}{p}_{kj}^{(m)}$$

矩阵形式：

$$P^{n+m}=P^n{P}^m$$

11.4 平稳分布

分布 $\pi$ 若满足：

$$\pi =\pi P,\sum _i{\pi }_i=1,{\pi }_i\ge 0$$

则称为平稳分布。

含义：如果 $X_0\sim \pi$，则

$$P(X_1=j)=\sum _{i}P(X_0=i)p_{ij}=\sum _i{\pi }_i{p}_{ij}={\pi }_j$$

所以 $X_1\sim \pi$。进一步地，所有时刻分布都保持为 $\pi$。

11.5 二状态马尔可夫链例子

设状态为 $0,1$，转移矩阵：

$$P=\left(\begin{array}{cc}1-a& a\\ b& 1-b\end{array}\right)$$

平稳分布 $\pi =({\pi }_0,{\pi }_1)$ 满足：

$${\pi }_0={\pi }_0(1-a)+{\pi }_{1}b$$ $${\pi }_1={\pi }_{0}a+{\pi }_1(1-b)$$

加上 ${\pi }_0+{\pi }_1=1$。由第一式：

$${\pi }_{0}a={\pi }_{1}b$$

所以

$$\frac{{\pi }_1}{{\pi }_0}=\frac{a}{b}$$

结合归一化：

$${\pi }_0=\frac{b}{a+b},{\pi }_1=\frac{a}{a+b}$$

---

12. Poisson 过程

12.1 定义

计数过程 $\{N(t):t\ge 0\}$ 若满足：

1. $N(0)=0$。
2. 独立增量：不相交时间区间内事件数相互独立。
3. 平稳增量：$N(t+s)-N(s)$ 的分布只依赖 $t$。
4. 小时间内一次事件概率约为 $\lambda h$，多次事件概率为 $o(h)$：

$$P(N(h)=1)=\lambda h+o(h),P(N(h)\ge 2)=o(h)$$

则称 $N(t)$ 是强度为 $\lambda$ 的 Poisson 过程。

12.2 推导 $N(t)\sim \mathrm{Poisson}(\lambda t)$

记

$$p_k(t)=P(N(t)=k)$$

考虑 $t$ 到 $t+h$ 的变化。由独立平稳增量：

$$p_0(t+h)=p_0(t)P(N(h)=0)+o(h)$$

因为

$$P(N(h)=0)=1-\lambda h+o(h)$$

所以

$$p_0(t+h)=p_0(t)(1-\lambda h+o(h))$$

整理：

$$\frac{p_0(t+h)-p_0(t)}{h}=-\lambda p_0(t)+o(1)$$

令 $h\to 0$：

$$p_0^{\prime }(t)=-\lambda p_0(t),p_0(0)=1$$

解得：

$$p_0(t)=e^{-\lambda t}$$

对 $k\ge 1$，在 $t+h$ 时有 $k$ 个事件，主要来自两种互斥情况：

• $t$ 时已有 $k$ 个，$(t,t+h]$ 中没有新事件。
• $t$ 时已有 $k-1$ 个，$(t,t+h]$ 中有一个新事件。

多于一个新事件是 $o(h)$。所以：

$$p_k(t+h)=p_k(t)(1-\lambda h)+p_{k-1}(t)\lambda h+o(h)$$

整理得微分方程：

$$p_k^{\prime }(t)=-\lambda p_k(t)+\lambda p_{k-1}(t)$$

可以递推解出：

$$p_k(t)=e^{-\lambda t}\frac{(\lambda t{)}^k}{k!}$$

因此：

$$N(t)\sim \mathrm{Poisson}(\lambda t)$$

12.3 到达间隔服从指数分布

令 $T_1$ 为第一次事件到达时间。则：

$$P(T_1>t)=P(N(t)=0)=e^{-\lambda t}$$

因此：

$$F_{T_1}(t)=1-e^{-\lambda t}$$

所以

$$T_1\sim \mathrm{Exp}(\lambda )$$

类似地，Poisson 过程的相邻到达间隔 $S_1,S_2,\dots$ 独立同分布，均为 $\mathrm{Exp}(\lambda )$。这来自独立增量和无记忆性。

12.4 到达时间分布

第 $n$ 次到达时间：

$$T_n=S_1+S_2+\cdots +S_n$$

其中 $S_i\stackrel{iid}{\sim }\mathrm{Exp}(\lambda )$。所以 $T_n$ 服从 Erlang/Gamma 分布：

$$f_{T_n}(t)=\frac{{\lambda }^n{t}^{n-1}{e}^{-\lambda t}}{(n-1)!},t\ge 0$$

也可由事件计数推导：

$$P(T_n\le t)=P(N(t)\ge n)$$

因此

$$P(T_n>t)=P(N(t)\le n-1)=\sum _{k=0}^{n-1}{e}^{-\lambda t}\frac{(\lambda t{)}^k}{k!}$$

对 $t$ 求导即可得到密度。

---

13. 连续时间马尔可夫链

连续时间马尔可夫链 $\{X(t):t\ge 0\}$ 满足连续时间版本的 Markov 性：

$$P(X(t+s)=j\mid X(s)=i,\text{过去历史})=P(X(t+s)=j\mid X(s)=i)$$

它由生成矩阵 $Q=(q_{ij})$ 描述，其中：

• $q_{ij}\ge 0$，$i\ne j$。
• $q_{ii}=-{\sum }_{j\ne i}{q}_{ij}$。
• 每行和为 $0$。

小时间转移近似：

$$P(X(t+h)=j\mid X(t)=i)=q_{ij}h+o(h),i\ne j$$ $$P(X(t+h)=i\mid X(t)=i)=1+q_{ii}h+o(h)$$

转移矩阵函数 $P(t)$ 满足 Kolmogorov 前向方程：

$$P^{\prime }(t)=P(t)Q$$

若初始分布为 $\pi (0)$，则

$${\pi }^{\prime }(t)=\pi (t)Q$$

平稳分布满足：

$$\pi Q=0,\sum _i{\pi }_i=1$$

这与离散时间的 $\pi =\pi P$ 对应：连续时间中，平稳表示分布不再随时间变化，所以导数为零。

---

14. 更新过程

Poisson 过程可以看作指数间隔的更新过程。更一般地，若事件间隔

$$S_1,S_2,\dots$$

独立同分布且非负，定义到达时间

$$T_n=S_1+\cdots +S_n$$

计数过程

$$N(t)=\max \{n:T_n\le t\}$$

称为更新过程。

若 $E[S_1]=\mu$，长期平均到达率为：

$$\frac{N(t)}{t}\to \frac{1}{\mu }$$

直觉：每次更新平均花 $\mu$ 时间，所以单位时间约发生 $1/\mu$ 次。

Poisson 过程是特殊情况，因为 $S_i\sim \mathrm{Exp}(\lambda )$，于是 $\mu =1/\lambda$，长期速率为 $\lambda$。

---

15. Brownian Motion 布朗运动

15.1 定义

标准布朗运动 $\{B(t):t\ge 0\}$ 满足：

1. $B(0)=0$。
2. 独立增量：不相交区间上的增量相互独立。
3. 平稳正态增量：

$$B(t)-B(s)\sim N(0,t-s),0\le s<t$$

4. 样本路径连续。

15.2 均值与方差

因为 $B(t)-B(0)\sim N(0,t)$，且 $B(0)=0$，所以

$$B(t)\sim N(0,t)$$

于是

$$E[B(t)]=0,\mathrm{Var}(B(t))=t$$

15.3 协方差函数推导

对 $0\le s\le t$，有

$$B(t)=B(s)+(B(t)-B(s))$$

其中 $B(s)$ 与 $B(t)-B(s)$ 独立，且均值为零。于是

$$E[B(s)B(t)]=E[B(s)(B(s)+B(t)-B(s))]$$

展开：

$$=E[B(s{)}^2]+E[B(s)(B(t)-B(s))]$$

独立且均值为零给出第二项为零：

$$E[B(s)(B(t)-B(s))]=E[B(s)]E[B(t)-B(s)]=0$$

所以

$$E[B(s)B(t)]=E[B(s{)}^2]=\mathrm{Var}(B(s))=s$$

因此

$$\mathrm{Cov}(B(s),B(t))=\min (s,t)$$

15.4 布朗运动不是平稳过程

$B(t)\sim N(0,t)$，方差随 $t$ 增大，因此 $B(t)$ 的分布依赖时间，不是严平稳，也不是宽平稳。

但布朗运动的增量是平稳的，因为

$$B(t+h)-B(t)\sim N(0,h)$$

只依赖区间长度 $h$。

15.5 二次变差

把 $[0,t]$ 分成 $n$ 份：

$$0=t_0<t_1<\cdots <t_n=t$$

考虑平方增量和：

$$\sum _{i=1}^n(B(t_i)-B(t_{i-1}){)}^2$$

当划分越来越细时，它收敛到 $t$。这叫布朗运动的二次变差：

$$[B{]}_t=t$$

这说明布朗运动路径虽然连续，但非常粗糙，通常处处不可导。普通微积分不能直接套用，因此需要 Itô 积分和随机微积分。

---

16. 高斯过程

随机过程 $\{X_t:t\in T\}$ 若任意有限维向量

$$(X_{t_1},\dots ,X_{t_n})$$

都服从多元正态分布，则称为高斯过程。

高斯过程完全由均值函数和协方差函数决定：

$$m(t)=E[X_t]$$ $$K(s,t)=\mathrm{Cov}(X_s,X_t)$$

布朗运动是高斯过程，因为任意有限个时间点的联合分布是多元正态。

常见协方差核：

1. 线性核：$K(s,t)=st$。
2. 平方指数核：$K(s,t)={\sigma }^2\exp \left(-\frac{(s-t{)}^2}{2{\ell }^2}\right)$。
3. Ornstein-Uhlenbeck 核：$K(s,t)=\frac{{\sigma }^2}{2\theta }{e}^{-\theta |t-s|}$。

协方差核必须半正定：对任意 $t_1,\dots ,t_n$ 和任意实数 $a_1,\dots ,a_n$，

$$\sum _{i=1}^n\sum _{j=1}^n{a}_i{a}_{j}K(t_i,t_j)\ge 0$$

原因是：

$$\sum _{i,j}{a}_i{a}_{j}K(t_i,t_j)=\mathrm{Var}\left(\sum _i{a}_i{X}_{t_i}\right)\ge 0$$

---

17. 随机微积分入门

这一节只给核心直觉与最常用公式。

17.1 Itô 过程

常见随机微分方程写作：

$$d{X}_t=a(t,X_t)dt+b(t,X_t)d{B}_t$$

其中：

• $a(t,X_t)$ 是漂移项，描述确定性趋势。
• $b(t,X_t)$ 是扩散项，描述随机扰动强度。
• $d{B}_t$ 是布朗运动增量。

积分形式是：

$$X_t=X_0+{\int }_0^{t}a(s,X_s)ds+{\int }_0^{t}b(s,X_s)d{B}_s$$

第二个积分是 Itô 积分。

17.2 Itô 公式

若

$$d{X}_t=a_{t}dt+b_{t}d{B}_t$$

且 $f(t,x)$ 足够光滑，则

$$df(t,X_t)=\left(\frac{\partial f}{\partial t}+a_t\frac{\partial f}{\partial x}+\frac{1}{2}{b}_t^2\frac{{\partial }^{2}f}{\partial x^2}\right)dt+b_t\frac{\partial f}{\partial x}d{B}_t$$

为什么多出二阶项？因为布朗运动的二次变差满足：

$$(d{B}_t{)}^2\approx dt$$

普通微积分中二阶小量会忽略，但随机微积分中 $(d{B}_t{)}^2$ 是一阶量级的 $dt$。

17.3 几何布朗运动

金融中常见模型：

$$d{S}_t=\mu S_{t}dt+\sigma S_{t}d{B}_t$$

求解时令 $Y_t=\ln S_t$。用 Itô 公式，$f(x)=\ln x$，有

$$f^{\prime }(x)=\frac{1}{x},f^{\prime \prime }(x)=-\frac{1}{x^2}$$

代入：

$$d\ln S_t=\frac{1}{S_t}d{S}_t+\frac{1}{2}\left(-\frac{1}{S_t^2}\right)({\sigma }^2{S}_t^2)dt$$

因为 $d{S}_t=\mu S_{t}dt+\sigma S_{t}d{B}_t$，所以

$$d\ln S_t=\mu dt+\sigma d{B}_t-\frac{1}{2}{\sigma }^{2}dt$$

即

$$d\ln S_t=\left(\mu -\frac{1}{2}{\sigma }^2\right)dt+\sigma d{B}_t$$

积分得到：

$$\ln S_t=\ln S_0+\left(\mu -\frac{1}{2}{\sigma }^2\right)t+\sigma B_t$$

因此

$$S_t=S_0\exp \left[\left(\mu -\frac{1}{2}{\sigma }^2\right)t+\sigma B_t\right]$$

---

18. 常见题型与解题模板

18.1 求概率

常用步骤：

1. 明确样本空间与事件。
2. 判断是否能用条件概率、全概率或 Bayes。
3. 若涉及多个随机变量，写联合分布，再边缘化或条件化。
4. 若连续型，画积分区域，再积分。

18.2 求期望

常用方法：

1. 直接按定义求和或积分。
2. 利用期望线性性。
3. 用指示变量分解。
4. 用全期望公式。
5. 对非负变量使用尾和公式：

离散非负整数变量：

$$E[X]=\sum _{k=1}^{\infty }P(X\ge k)$$

连续非负变量：

$$E[X]={\int }_0^{\infty }P(X>t)dt$$

连续版本推导：

$$E[X]={\int }_0^{\infty }xf(x)dx$$

注意

$$x={\int }_0^{x}dt$$

所以

$$E[X]={\int }_0^{\infty }{\int }_0^{x}f(x)dtdx$$

交换积分次序：

$$={\int }_0^{\infty }{\int }_t^{\infty }f(x)dxdt$$

内层就是 $P(X>t)$，因此

$$E[X]={\int }_0^{\infty }P(X>t)dt$$

18.3 求随机过程分布

常用步骤：

1. 固定时间 $t$，先求 $X_t$ 的边缘分布。
2. 若要研究多个时间点，写联合分布或增量分解。
3. 检查是否有独立增量、平稳增量、Markov 性。
4. 对计数过程优先考虑 Poisson 过程。
5. 对连续正态扰动优先考虑 Brownian motion 或高斯过程。

18.4 判断平稳性

步骤：

1. 看 $E[X_t]$ 是否与 $t$ 无关。
2. 看 $\mathrm{Var}(X_t)$ 是否与 $t$ 无关。
3. 看 $\mathrm{Cov}(X_s,X_t)$ 是否只依赖 $t-s$。
4. 若过程是高斯过程，二阶结构通常足以判断严平稳。
5. 若不是高斯过程，需要检查所有有限维分布。

---

19. 一页速查

概率公式

$$P(A\cup B)=P(A)+P(B)-P(A\cap B)$$ $$P(A\mid B)=\frac{P(A\cap B)}{P(B)}$$ $$P(A)=\sum _{i}P(A\mid B_i)P(B_i)$$ $$P(B_j\mid A)=\frac{P(A\mid B_j)P(B_j)}{{\sum }_{i}P(A\mid B_i)P(B_i)}$$

期望与方差

$$\mathrm{Var}(X)=E[X^2]-(E[X]{)}^2$$ $$\mathrm{Cov}(X,Y)=E[XY]-E[X]E[Y]$$ $$\mathrm{Var}(X+Y)=\mathrm{Var}(X)+\mathrm{Var}(Y)+2\mathrm{Cov}(X,Y)$$ $$E[X]=E[E[X\mid Y]]$$ $$\mathrm{Var}(X)=E[\mathrm{Var}(X\mid Y)]+\mathrm{Var}(E[X\mid Y])$$

常见分布

$$\mathrm{Bernoulli}(p):E[X]=p,\mathrm{Var}(X)=p(1-p)$$ $$\mathrm{Binomial}(n,p):E[X]=np,\mathrm{Var}(X)=np(1-p)$$ $$\mathrm{Poisson}(\lambda ):P(X=k)=e^{-\lambda }\frac{{\lambda }^k}{k!},E[X]=\mathrm{Var}(X)=\lambda$$ $$\mathrm{Exp}(\lambda ):f(x)=\lambda e^{-\lambda x},E[X]=\frac{1}{\lambda },\mathrm{Var}(X)=\frac{1}{{\lambda }^2}$$ $$N(\mu ,{\sigma }^2):f(x)=\frac{1}{\sqrt{2\pi }\sigma }\exp \left(-\frac{(x-\mu {)}^2}{2{\sigma }^2}\right)$$

随机过程

$$m_X(t)=E[X_t]$$ $$R_X(s,t)=\mathrm{Cov}(X_s,X_t)$$

马尔可夫链：

$$P(X_{n+1}=j\mid X_n=i,\text{past})=P(X_{n+1}=j\mid X_n=i)$$

平稳分布：

$$\pi =\pi P$$

Poisson 过程：

$$N(t)\sim \mathrm{Poisson}(\lambda t)$$

布朗运动：

$$B(t)-B(s)\sim N(0,t-s)$$ $$\mathrm{Cov}(B(s),B(t))=\min (s,t)$$

---

20. 推荐练习顺序

1. 用条件概率和 Bayes 公式做疾病检测、抽球、通信误码题。
2. 用指示变量求组合计数期望，例如生日问题、随机图边数。
3. 手推二项、Poisson、指数、正态的期望和方差。
4. 练习二维密度积分区域，尤其是变量变换和 Jacobian。
5. 用 Chebyshev 不等式证明弱大数定律。
6. 用特征函数理解中心极限定理。
7. 给定转移矩阵，求马尔可夫链的 $n$ 步转移概率和平稳分布。
8. 从 Poisson 过程定义推导 $N(t)$ 分布和到达间隔分布。
9. 推导布朗运动的协方差函数，判断它是否平稳。
10. 用 Itô 公式解几何布朗运动。

---

21. 学习建议

概率论最容易卡住的地方不是公式多，而是“条件”与“随机对象”层级容易混。建议每做一道题都问三件事：

1. 当前的随机对象是什么？事件、随机变量，还是随机过程？
2. 已知条件改变了哪个样本空间或哪个条件分布？
3. 独立性是否真的成立？如果成立，是事件独立、随机变量独立，还是增量独立？

随机过程部分尤其要区分：

• $X_t$ 的边缘分布。
• $(X_{t_1},\dots ,X_{t_n})$ 的联合分布。
• 一条样本路径的性质。
• 增量 $X_t-X_s$ 的性质。

把这四件事分清，马尔可夫链、Poisson 过程和布朗运动会清楚很多。