概率空间

2.概率空间

2.1 基本定义和简单性质

定义2.1.1【概率空间定义】 对$\Omega$上事件域$\mathscr{F}$到实数空间上的映射$\mathbb{P}$满足如下条件：

1. 非负性
   $\forall A \in \mathscr{F},\mathbb{P}(A) \geq 0;$

2. 规范性 $\mathbb{P}(\Omega)=1;$

3. 可列可加性 :对于两两不相容的集列$\{A_n\} \subset \mathscr{F} 有$
   $$\mathbb{P}(\bigcup_{n=1}^{\infty}A_n)=\sum_{n=1}^{\infty}\mathbb{P}(A_n),$$
   则称$\mathbb{P}$为$\mathscr{F}$上的概率测度，简称为概率；称$(\Omega,\mathscr{F},\mathbb{P})$为概率空间.

定理 2.1.1【概率空间性质】

设 $(\Omega, \mathcal{F}, \mathbb{P})$ 为概率空间，如下结论成立：

1. 空集的概率：
   $$\mathbb{P}(\emptyset) = 0.$$

2. 有限可加性：任意两两不相容的事件 $A_1, A_2, \dots, A_n \in \mathscr{F}$，有
   $$\mathbb{P}\left(\bigcup_{i=1}^n A_i\right) = \sum_{i=1}^n \mathbb{P}(A_i).$$

3. 可减性：对于任意事件 $A \subset B$，有
   $$\mathbb{P}(B - A) = \mathbb{P}(B) - \mathbb{P}(A).$$

4. 单调性：对于任意事件 $A \subset B$，有
   $$\mathbb{P}(A) \leq \mathbb{P}(B).$$

5. 补事件：对于任意事件 $A$，有
   $$\mathbb{P}(\overline{A}) = 1 - \mathbb{P}(A).$$

6. 下连续性：若事件 $A_n \subset A_{n+1}, n \geq 1$，则
   $$\mathbb{P}\left(\bigcup_{n=1}^\infty A_n\right) = \lim_{n \to \infty} \mathbb{P}(A_n).$$

7. 上连续性：若事件 $A_n \supset A_{n+1}, n \geq 1$，则
   $$\mathbb{P}\left(\bigcap_{n=1}^\infty A_n\right) = \lim_{n \to \infty} \mathbb{P}(A_n).$$

8. 次可加性：对于事件 $A_n \in \mathscr{F}, n \geq 1$，有
   $$\mathbb{P}\left(\bigcup_{n=1}^\infty A_n\right) \leq \sum_{n=1}^\infty \mathbb{P}(A_n).$$

9. 加法定理：对于任意事件 $A_1, A_2, \dots, A_n \in \mathscr{F}$，有
   $$\mathbb{P}\left(\bigcup_{i=1}^n A_i\right) = \sum_{k=1}^n (-1)^{k-1} \sum_{1 \leq i_1 < i_2 < \cdots < i_k \leq n} \mathbb{P}(A_{i_1} \cap A_{i_2} \cap \cdots \cap A_{i_k}).$$

2.2 四种概率空间

有限概率空间

定义

设 $\Omega = \{w_1, w_2, \dots, w_n\}$，为由有限个元素构成的样本空间，$\mathcal{F}$ 是其所有子集的集合，$\mathbb{P}$ 为定义在 $\mathcal{F}$ 上的概率测度，满足以下条件：

1. $\mathbb{P}(A) \geq 0, \, \forall A \in \mathcal{F}$；
2. $\mathbb{P}(\Omega) = 1$；
3. 若 $A_1, A_2, \dots$ 为两两不相容的事件，则
   $$\mathbb{P}\left(\bigcup_{i=1}^\infty A_i\right) = \sum_{i=1}^\infty \mathbb{P}(A_i).$$

其中，若 $P_i = \mathbb{P}(\{w_i\})$，则有
$$\sum_{i=1}^n P_i = 1.$$
$(\Omega, \mathcal{F}, \mathbb{P})$ 为有限概率空间。

---

古典概率空间

若 $\Omega$ 为有限集合，且 $\Omega$ 中所有样本点 $\omega \in \Omega$ 的概率相等，即
$$\mathbb{P}(\{w\}) = \frac{1}{n}, \quad w \in \Omega,$$
称 $(\Omega, \mathcal{F}, \mathbb{P})$ 为古典概率空间。

---

几何概率空间

设 $\mathcal{C}$ 表示 $\mathbb{R}^n$ 中所有可体积测子集全体，$m(A)$ 表示 $A \in \mathcal{C}$ 的体积。

若满足以下条件：

1. $\Omega \in \mathcal{C}，且 0 < m(\Omega) < \infty$；

定义：

1. $\mathcal{F} = \mathcal{C} \cap \Omega \triangleq \{B \cap \Omega : B \in \mathcal{C}\}$；
2. 概率函数：
   $
   P(A) \triangleq \frac{m(A)}{m(\Omega)}, \quad \forall A \in \mathcal{F}.
   $

则 $(\Omega, \mathcal{F}, P)$ 为概率空间，称为 $\Omega$ 上的几何概率空间。

---

条件概率空间

定义

设 $(\Omega, \mathcal{F}, \mathbb{P})$ 为概率空间，$B \in \mathcal{F}$ 且 $\mathbb{P}(B) > 0$，定义事件 $A$ 在 $B$ 条件下的条件概率为
$$\mathbb{P}(A \mid B) = \frac{\mathbb{P}(A \cap B)}{\mathbb{P}(B)}, \quad A \in \mathcal{F}.$$

定义：条件概率

在概率空间 $(\Omega, \mathcal{F}, P)$ 中，$B \in \mathcal{F}, P(B) > 0$，定义条件概率为：
$$P(A|B) = \frac{P(A \cap B)}{P(B)}, \quad \forall A \in \mathcal{F}.$$

条件概率空间

1. 在条件概率的定义下， $$(\Omega', \mathcal{F'}, P')$$ 是条件概率空间，其中：
   • $\Omega' = \Omega \cap B$；
   • $\mathcal{F}' = \{A \cap B : A \in \mathcal{F}\}$；
   • $P'(A) = P(A|B)$。

---

2.3 三个常用概率公式

乘法公式

定理 2.2.1 【乘法公式】

设 $(\Omega, \mathcal{F}, P)$ 为概率空间，$A_i \in \mathcal{F}$，其中 $1 \leq i \leq n$。如果 $P(A_1 A_2 \cdots A_{n-1}) > 0$，则

$$P(A_1 A_2 \cdots A_n) = P(A_1) \times P(A_2 \mid A_1) \times \cdots \times P(A_n \mid A_1 A_2 \cdots A_{n-1})\tag{2.7}$$

即式 (2.7) 称为 概率乘法公式，简称为 乘法公式。

全概率公式

通过分割样本空间，全概率公式可以简化概率的计算。以下引入相关定义和概念：

• 事件类 ${B_n}$ 表示所有事件之并，且仅有有限或可数个事件，$\bigcup_{n} B_n$ 为这些事件的联合。
• $\sum_{n} P(B_n)$ 表示这些事件概率的总和。

定义 2.2.2【分割】

设 $(\Omega, \mathcal{F}, P)$ 为概率空间。如果两两不相容的事件列 ${B_n}$ 满足条件 $\bigcup_{n} B_n = \Omega$，那么称 ${B_n}$ 为 $\Omega$ 的一个分割。

---

定理 2.2.2 【全概率公式】

设 $(\Omega, \mathcal{F}, P)$ 为概率空间，${B_n}$ 为 $\Omega$ 的一个分割，且 $P(B_n) > 0$，则对任意事件 $A \in \mathcal{F}$，有：</span>

$$P(A) = \sum_{n} P(B_n) P(A \mid B_n), \quad \forall A \in \mathcal{F}\tag{2.9}$$

并称公式 (2.9) 为 全概率公式。

---

贝叶斯公式

定理 2.2.3【贝叶斯公式】

设 $(\Omega, \mathcal{F}, P)$ 为概率空间，$\{B_n\}$ 为 $\Omega$ 的一个分割。对于任意 $A \in \mathcal{F}$，如果 $P(A) > 0$，则对于任意 $1 \leq k \leq n$ 有：

$$P(B_k \mid A) = \frac{P(B_k) P(A \mid B_k)}{\sum_{n=1}^{\infty} P(B_n) P(A \mid B_n)}\tag{2.12}$$

并称公式 (2.12) 为 贝叶斯公式。

---

2.4 独立性

定义 2.3.1【两事件相互独立】

设 $(\Omega, \mathcal{F}, P)$ 为概率空间。若

$$P(AB) = P(A)P(B),$$

则称事件 $A$ 和 $B$ 相互独立，简称为独立。

定义 2.3.2【多事件相互独立】

设 $(\Omega, \mathcal{F}, P)$ 为概率空间，$A_1, A_2, \dots, A_n \in \mathcal{F}$。若对于任意正数 $s \leq n$ 有

$$P\left(\bigcap_{k=1}^s A_{i_k}\right) = \prod_{k=1}^s P(A_{i_k}), \quad \forall 1 \leq i_1 < \cdots < i_s \leq n,$$

则称事件 $A_1, A_2, \dots, A_n$ 相互独立，简称为独立。

定义 2.3.3【两两独立】

设 $(\Omega, \mathcal{F}, \mathbb{P})$ 为概率空间，若对于任意正整数 $1 \leq s < t \leq n$，事件 $A_s$ 与 $A_t$ 相互独立，则称事件 $A_1, A_2, \dots, A_n$ 两两独立。

定义 2.3.4【独立事件族&独立事件域】

设 $(\Omega, \mathcal{F}, \mathbb{P})$ 为概率空间，$T$ 为一指标集。对于事件族 $\{A_t: t \in T\} \subseteq \mathcal{F}$，

若对任意 $\{t_1, t_2, \dots, t_n\} \subseteq T$，事件 $A_{t_1}, A_{t_2}, \dots, A_{t_n}$ 都相互独立，则称 $\{A_t: t \in T\}$ 为独立事件族。

进一步，若事件列 $\{A_n\}$ 为独立事件族，就称 $\{A_n\}$ 为独立事件列。

定义 2.3.5【乘积样本空间与乘积事件】

• 乘积样本空间：两个实验的样本空间 $\Omega_1$ 和 $\Omega_2$ 的笛卡尔积，定义为：
  $$\Omega_1 \times \Omega_2 \triangleq \{(\omega_1, \omega_2) : \omega_1 \in \Omega_1, \omega_2 \in \Omega_2\}.$$

• 乘积事件：分别来自两个实验样本空间中的事件 $A_1 \subset \Omega_1$ 和 $A_2 \subset \Omega_2$，定义其乘积事件为：
  $$A_1 \times A_2 \triangleq \{(\omega_1, \omega_2) : \omega_1 \in A_1 \text{ 且 } \omega_2 \in A_2\}.$$

• 乘积事件域：两个事件域 $\mathcal{F}_1$ 和 $\mathcal{F}_2$ 的乘积事件域，定义为：
  $$\mathcal{F}_1 \times \mathcal{F}_2 \triangleq \sigma(\mathcal{C}),$$
  其中 $\mathcal{C} = \{A_1 \times A_2 : A_1 \in \mathcal{F}_1, A_2 \in \mathcal{F}_2\}$。

• 乘积概率：若对乘积样本空间 $(\Omega_1 \times \Omega_2, \mathcal{F}_1 \times \mathcal{F}_2)$ 定义概率满足：
  $$\mathbb{P}(A \times B) = \mathbb{P}_1(A) \mathbb{P}_2(B), \quad \forall A \in \mathcal{F}_1, B \in \mathcal{F}_2,$$
  则称 $\mathbb{P} = \mathbb{P}_1 \times \mathbb{P}_2$ 为乘积概率。

• 乘积概率空间：定义乘积样本空间、乘积事件域与乘积概率构成的三元组 $(\Omega_1 \times \Omega_2, \mathcal{F}_1 \times \mathcal{F}_2, \mathbb{P}_1 \times \mathbb{P}_2)$ 为乘积概率空间。

定义 2.3.6 【随机实验的乘积空间】

• 乘积样本空间：
  给定 $n$ 个随机实验，每个实验的样本空间为 $(\Omega_i, \mathcal{F}_i, \mathbb{P}_i)$，定义 $n$ 个实验的乘积样本空间为：
  $$\prod_{k=1}^n \Omega_k \triangleq \{(x_1, x_2, \cdots, x_n) : x_k \in \Omega_k, \forall k \in \{1, 2, \cdots, n\}\}.$$

• 乘积事件类：
  乘积事件类为：
  $$\sigma\left(\prod_{k=1}^n \mathcal{F}_k\right) \triangleq \sigma\left\{\prod_{k=1}^n A_k : A_k \in \mathcal{F}_k, \forall k \in \{1, 2, \cdots, n\}\right\}.$$

• 乘积概率：
  若乘积事件 $A_1 \times A_2 \times \cdots \times A_n$ 满足：
  $$\mathbb{P}\left(\prod_{k=1}^n A_k\right) = \prod_{k=1}^n \mathbb{P}_k(A_k), \quad A_k \in \mathcal{F}_k,$$
  则称 $\mathbb{P}$ 为 $\mathbb{P}_1, \mathbb{P}_2, \cdots, \mathbb{P}_n$ 的乘积概率。

• 乘积概率空间：
  由乘积样本空间、乘积事件类和乘积概率构成的三元组：
  $$\left(\prod_{k=1}^n \Omega_k, \prod_{k=1}^n \mathcal{F}_k, \prod_{k=1}^n \mathbb{P}_k\right),$$
  称为 $n$ 个随机实验的乘积概率空间。

• 独立重复实验：
  若每个随机实验的样本空间为 $(\Omega, \mathcal{F}, \mathbb{P})$ 且彼此相互独立，则构成独立重复实验，其乘积概率空间表示为：
  $$\left(\Omega^n, \mathcal{F}^n, \mathbb{P}^n\right),$$
  其中：
  $$\Omega^n = \prod_{k=1}^n \Omega, \quad \mathcal{F}^n = \prod_{k=1}^n \mathcal{F}, \quad \mathbb{P}^n = \prod_{k=1}^n \mathbb{P}.$$

---

定理2.3.1 【补事件的独立性】

如果事件A与B相互独立,则A与$\bar{B}$相互独立,$\bar{A}$与$\bar{B}$相互独
立,$\bar{A}$与B相互独立.

定理 2.3.2【多事件相互独立的充要条件】

事件 $A_1, A_2, \dots, A_n$ 相互独立的充要条件为

$$P\left(\bigcap_{k=1}^n B_k\right) = \prod_{k=1}^n P(B_k), \quad \forall 1 \leq k \leq n, \, B_k \in \{A_k, \overline{A_k}\}.$$

定理 2.3.3【独立性与事件域】

若 $A_1, A_2, \dots, A_{m+n}$ 相互独立，

$$B \in \sigma(\{A_1, A_2, \dots, A_m\}), \quad C \in \sigma(\{A_{m+1}, A_{m+2}, \dots, A_{m+n}\}),$$

则 $B$ 与 $C$ 相互独立。

定理 2.3.4

若 $A_1, A_2, \dots, A_n$ 相互独立，则乘法公式可以简化为

$$\mathbb{P}(A_1 A_2 \cdots A_n) = \mathbb{P}(A_1) \mathbb{P}(A_2) \cdots \mathbb{P}(A_n), \tag{2.16}$$

加法公式可以简化为

$$\mathbb{P}\left( \bigcup_{i=1}^n A_i \right) = 1 - \prod_{i=1}^n \left( 1 - \mathbb{P}(A_i) \right). \tag{2.17}$$