数学期望

注意：本篇md文件在编译的时候出现了较多未知错误，输出结果缺少了一部分公式…

4.1 数学期望

4.1.1数学期望的基本定义

定义

定义 4.1.1【简单随机变量】

对于简单随机变量 $\xi$，称：
$$\mathbb{E}(\xi) \triangleq \sum_{x \in \xi(\Omega)} x \mathbb{P}(\xi = x) \tag{4.1}$$
为 $\xi$ 的数学期望，简称为数学期望。

定义 4.1.2【非负随机变量】

对于任意随机变量 $\xi \geq 0$，称：
$$\mathbb{E}(\xi) \triangleq \lim_{n \to \infty} \left( \sum_{k=1}^{n2^n} \frac{k-1}{2^n} \mathbb{P}\left(\frac{k-1}{2^n} < \xi \leq \frac{k}{2^n}\right) + n \mathbb{P}(\xi > n) \right) \tag{4.3}$$
为随机变量 $\xi$ 的数学期望或均值。

定义 4.1.3【任意随机变量】

对于任意随机变量 $\xi$，若 $\mathbb{E}(\xi^+) < \infty$ 或 $\mathbb{E}(\xi^-) < \infty$，则称：
$$\mathbb{E}(\xi) \triangleq \mathbb{E}(\xi^+) - \mathbb{E}(\xi^-) \tag{4.4}$$
为 $\xi$ 的数学期望或 $\xi$ 的均值；若 $\mathbb{E}(\xi^+) = \infty$ 且 $\mathbb{E}(\xi^-) = \infty$，则称 $\xi$ 的数学期望不存在。

---

定理

定理 4.1.1

条件：

1. $\xi$ 和 $\eta$ 为简单随机变量
2. $\xi \leq \eta$

则：
$$\mathbb{E}(\xi) \leq \mathbb{E}(\eta). \tag{4.2}$$

---

相关证明

定理 4.1.1

证明：

显然，当 $x > y$ 时有：
$$\mathbb{P}(\xi = x, \eta = y, \xi \leq \eta) = 0,$$
再由 $\xi(\Omega)$ 和 $\eta(\Omega)$ 均为有限实数集，概率的有限可加性，以及 $\{\xi \leq \eta\} = \Omega$ 得：
$$\mathbb{E}(\xi) = \sum_{x \in \xi(\Omega)} x \mathbb{P}(\xi = x) = \sum_{x \in \xi(\Omega)} \sum_{y \in \eta(\Omega)} x \mathbb{P}(\xi = x, \eta = y),$$
$$= \sum_{x \in \xi(\Omega)} \sum_{y \in \eta(\Omega)} x \mathbb{P}(\xi = x, \eta = y, \xi \leq \eta) \leq \sum_{x \in \xi(\Omega)} \sum_{y \in \eta(\Omega)} y \mathbb{P}(\xi = x, \eta = y, \xi \leq \eta),$$
$$= \sum_{y \in \eta(\Omega)} \sum_{x \in \xi(\Omega)} y \mathbb{P}(\xi = x, \eta = y) = \sum_{y \in \eta(\Omega)} y \mathbb{P}(\eta = y) = \mathbb{E}(\eta).$$

即 (3.29) 成立。

思考：尝试转换 $\xi \leq \eta$
为
$x \leq y$
以便利于使用不等关系用来证明对应的定理。

---

4.1.2数学期望的性质

准备工作：

记：
$$f_n(x) = \sum_{k=1}^{n2^n} \frac{k-1}{2^n} \mathbb{1}\left(\frac{k-1}{2^n} < x \leq \frac{k}{2^n}\right) + n\mathbb{1}_{(n, \infty)}(x), \tag{4.5}$$
其中 $n$ 为正整数。

显然 $f_n$ 为增函数，且 $f_n \leq f_{n+1}$。进一步，可以借助 $f_n$ 将 (3.9) 简化表达为：
$$\xi_n = f_n(\xi), \tag{4.6}$$
将 (4.3) 简化表达为：
$$\mathbb{E}(\xi) = \lim_{n \to \infty} \mathbb{E}(f_n(\xi)), \tag{4.7}$$
将 (4.4) 简化表达为：
$$\mathbb{E}(\xi) = \lim_{n \to \infty} \left(\mathbb{E}(f_n(\xi^+)) - \mathbb{E}(f_n(\xi^-))\right). \tag{4.8}$$

---

个人思考：便于用简单随机变量逼近随机变量，从而利用简单随机变量的性质推出相对复杂随机变量的性质。

---

定理 4.1.2【数学期望的性质】

条件：

1. $a$ 为实数
2. 随机变量 $\xi$ 和 $\eta$ 的数学期望都存在

则如下性质成立：

1° $\mathbb{E}(a) = a$.

2° 若 $\xi \geq 0$，则 $\mathbb{E}(\xi) \geq 0$.

3° 单调性：若 $\xi \leq \eta$，则 $\mathbb{E}(\xi) \leq \mathbb{E}(\eta)$.

定理 4.1.3 【单调收敛定理】

条件：

1. $\xi_n$ 为非负随机变量
2. $\xi_n \uparrow \xi$

则：
$$\lim_{n \to \infty} \mathbb{E}(\xi_n) = \mathbb{E}(\xi).$$

定理 4.1.3+ 【条件减弱】

条件：
存在数学期望为实数的随机变量 $\eta$，使得：
$$\eta \leq \xi_n \uparrow \xi. \tag{4.11}$$
则：
$$\lim_{n \to \infty} \mathbb{E}(\xi_n) = \mathbb{E}(\xi).$$

定理 4.1.4 【数学期望的线性性性质】

条件：

1. $a$ 和 $b$ 为实数
2. 随机变量 $\xi$ 和 $\eta$ 的数学期望都存在
3. $\mathbb{E}(\xi)$ 和 $\mathbb{E}(\eta)$ 中至少有一个为实数

则：
$$\mathbb{E}(a\xi + b\eta) = a\mathbb{E}(\xi) + b\mathbb{E}(\eta),$$
并称之为数学期望的线性性质。

定理 4.1.5【独立性/乘积】

条件：

1. $\xi, \eta$ 相互独立
2. 它们的均值及 $\xi \eta$ 的均值均为实数

则：
$$\mathbb{E}(\xi \eta) = \mathbb{E}(\xi) \mathbb{E}(\eta). \tag{4.12}$$

---

由单调收敛定理，可以证明著名的法图（Fatou）引理和控制收敛定理。

单调收敛定理、法图引理和控制收敛定理是概率论研究的十分重要的基础知识。

---

定理 4.1.6 【法图引理】

条件：

1. 设 $\{\xi_n\}$ 为随机变量列
2. 若 $\eta \leq \xi_n$，且 $\eta$ 的数学期望为实数

则：
$$\mathbb{E}\left(\liminf_{n \to \infty} \xi_n\right) \leq \liminf_{n \to \infty} \mathbb{E}(\xi_n). \tag{4.13}$$

定理 4.1.7 【控制收敛定理】

条件：

1. $\{\xi_n\}$ 为收敛于 $\xi$ 的随机变量序列
2. 若存在随机变量 $\eta$，使得 $\xi_n \leq |\eta|$
3. 且 $\eta$ 的数学期望为实数

则：
$$\mathbb{E}(\xi) = \lim_{n \to \infty} \mathbb{E}(\xi_n). \tag{4.14}$$

定理 4.1.8

条件：

1. 假设 $A$ 为离散型随机变量 $\xi$ 的概率支撑集
2. $f(x)$ 为波莱尔函数
3. 且 $f(\xi)$ 的数学期望存在

则：
$$\mathbb{E}(f(\xi)) = \sum_{x \in A} f(x) \mathbb{P}(\xi = x). \tag{4.16}$$

定理 4.1.8+【推广至离散型随机向量情形】

条件：

1. 若 $A$ 为 $n$ 维离散型随机向量 $\xi$ 的概率支撑集
2. $f$ 为波莱尔函数
3. $f(\xi)$ 的数学期望存在

则：
$$\mathbb{E}(f(\xi)) = \sum_{\vec{x} \in A} f(\vec{x}) \mathbb{P}(\xi = \vec{x}). \tag{4.18}$$

定理 4.1.9

条件：

1. 假设 $p(x)$ 为连续型随机变量 $\xi$ 的密度函数
2. $f(x)$ 为波莱尔函数
3. 且 $f(\xi)$ 的数学期望存在

则：
$$\mathbb{E}(f(\xi)) = \int_{-\infty}^\infty f(x)p(x)dx. \tag{4.19}$$

定理 4.1.9+【推广至连续型随机向量情形】

条件：

1. 已知 $p(x)$ 为 $n$ 维连续型随机向量 $\xi$ 的密度函数
2. $f$ 为波莱尔函数
3. $f(\xi)$ 的数学期望存在

则：
$$\mathbb{E}(f(\xi)) = \int_{\mathbb{R}^n} f(x)p(x)dx_1 \cdots dx_n. \tag{4.23}$$

这里 $x = (x_1, x_2, \cdots, x_n)$。

定理 4.1.10

条件：

1. 若离散型随机变量 $\xi$ 的数学期望存在，其密度矩阵为：

$$\begin{pmatrix} x_1 & x_2 & \cdots & x_n \\ p_1 & p_2 & \cdots & p_n \end{pmatrix},$$

则：

$$\mathbb{E}(\xi) = \sum_{k=1}^n x_k p_k. \tag{4.24}$$

---

在很多概率论教科书中，对离散型随机变量和连续型随机变量分别定义数学期望。特别对于离散型随机变量 $\xi$，在它满足条件：
$$\sum_{k=1}^\infty |x_k| p_k < \infty \tag{4.25}$$
的情况下才用 (4.24) 定义其数学期望，以保证数学期望为实数。本书的数学期望的定义稍广一些，容许其值为无穷。

---

定理 4.1.11

条件：

1. 若连续型随机变量 $\xi$ 的密度函数为 $p(x)$，且其数学期望存在，则：
   $$\mathbb{E}(\xi) = \int_{-\infty}^\infty x p(x) dx. \tag{4.26}$$

---

在很多《概率论》教材中，当：
$$\int_{-\infty}^\infty |x| p(x) dx < \infty \tag{4.27}$$
时，将 (4.26) 作为连续型随机变量的数学期望的定义，这保证了数学期望为实数。本教材的数学期望的定义稍广一些，容许其值为无穷。

---

相关证明

4.1.2证明
显然，$a = a 1_\Omega$ 为简单随机变量，由定义 4.1.1 知性质 1° 成立。
性质 2° 是定义 4.1.2 的直接结果。

下面证明单调性。由 $\xi \leq \eta$ 知 $\xi^+ \leq \eta^+$，$\xi^- \geq \eta^-$，再注意到 (4.5) 中的 $f_n$ 为增函数，有：
$$f_n(\xi^+) \leq f_n(\eta^+), \quad f_n(\xi^-) \geq f_n(\eta^-),$$
因此由 (4.8) 得：
$$\mathbb{E}(\xi) = \lim_{n \to \infty} \mathbb{E}(f_n(\xi^+)) - \lim_{n \to \infty} \mathbb{E}(f_n(\xi^-)) \geq \lim_{n \to \infty} \mathbb{E}(f_n(\eta^+)) - \lim_{n \to \infty} \mathbb{E}(f_n(\eta^-)) = \mathbb{E}(\eta),$$
即性质 3° 成立。

---

4.1.3证明
由数学期望的单调性知：只需证明：
$$\lim_{m \to \infty} \mathbb{E}(\xi_m) \geq \mathbb{E}(\xi). \tag{4.9}$$

实际上，由 (4.5) 知 $f_n(\xi) \leq \xi$，因此对于任意 $a \in (0, 1)$：
$$\lim_{m \to \infty} \{\xi_m > a f_n(\xi)\} = \bigcup_{m=1}^\infty \{\xi_m > a f_n(\xi)\} = \Omega. \tag{4.10}$$

再由数学期望的单调性、(4.5) 和数学期望的定义 4.1.1 得：

$$= na \mathbb{P}(\xi > n, \xi_m > a f_n(\xi)) + \sum_{k=1}^{n2^n} \frac{k-1}{2^n} a \mathbb{P}\left(\frac{k-1}{2^n} < \xi \leq \frac{k}{2^n}, \xi_m > a f_n(\xi)\right).$$

令 $m \to \infty$，利用 (4.10)、概率的下连续性和定义 4.1.1 得：
$$\lim_{m \to \infty} \mathbb{E}(\xi_m) \geq na \mathbb{P}(\xi > n) + \sum_{k=1}^{n2^n} \frac{k-1}{2^n} a \mathbb{P}\left(\frac{k-1}{2^n} < \xi \leq \frac{k}{2^n}\right) = a \mathbb{E}(f_n(\xi)).$$

令 $a \uparrow 1$，再令 $n \to \infty$，由 (4.7) 得 (4.9)，即单调收敛定理成立。

---

1，由单调性可知不等式的一边，于是尝试用双不等式来证明等式。

2，构造$af_n(\xi)$实现对$f_n(\xi)$的变小，然后考虑 $af_n(\xi)$期望更小，最后利用其对a的“上确界”，还原回 $f_n(\xi)$实现不等式的证明。

3，关于中间不等式的证明需要熟悉定义并借助我们一开始构造的$f_n(\xi)$的性质进行证明。

---

4.1.4证明
显然，当 $\xi$ 和 $\eta$ 为简单随机变量时，线性性质成立。借助于单调收敛定理可证线性性质对于非负随机变量 $\xi$ 和 $\eta$ 成立。再由定义 4.1.3 知线性性质成立。

---

4.1.5证明
当 $\xi$ 和 $\eta$ 为简单随机变量时，结论显然成立

当 $\xi$ 和 $\eta$ 为非负随机变量时，存在简单随机变量列 $\{\xi_n\}$ 和 $\{\eta_n\}$，使得 $\xi_n \uparrow \xi, \eta_n \uparrow \eta$，则简单随机变量 $\xi_n \eta_n \uparrow \xi \eta$。由单调收敛定理 4.1.3 得：
$$\mathbb{E}(\xi \eta) = \lim_{n \to \infty} \mathbb{E}(\xi_n \eta_n) = \lim_{n \to \infty} \mathbb{E}(\xi_n) \mathbb{E}(\eta_n) = \mathbb{E}(\xi) \mathbb{E}(\eta).$$

因此对于一般随机变量有：
$$\mathbb{E}(\xi \eta) = \mathbb{E}(\xi^+ \eta^+ - \xi^+ \eta^- - \xi^- \eta^+ + \xi^- \eta^-)$$
$$= \mathbb{E}(\xi^+ \eta^+) - \mathbb{E}(\xi^+ \eta^-) - \mathbb{E}(\xi^- \eta^+) + \mathbb{E}(\xi^- \eta^-)$$
$$= \mathbb{E}(\xi^+) \mathbb{E}(\eta^+) - \mathbb{E}(\xi^+) \mathbb{E}(\eta^-) - \mathbb{E}(\xi^-) \mathbb{E}(\eta^+) + \mathbb{E}(\xi^-) \mathbb{E}(\eta^-)$$
$$= (\mathbb{E}(\xi^+) - \mathbb{E}(\xi^-)) (\mathbb{E}(\eta^+) - \mathbb{E}(\eta^-)) = \mathbb{E}(\xi) \mathbb{E}(\eta).$$

---

个人思考：从简单随机变量到非负随机变量，再到任意随机变量，层层推进环环相扣！

---

4.1.6证明
记 $\eta_n = \inf_{k \geq n} \xi_k$，则：
$$\eta \leq \eta_n \uparrow \lim_{n \to \infty} \inf_{k \geq n}\xi_n, \quad \mathbb{E}(\eta_n) \leq \inf_{k \geq n}\mathbb{E}(\xi_k) ,$$
令 $n \to \infty$，由单调收敛定理得：
$$\mathbb{E}\left(\liminf_{n \to \infty} \xi_n\right) = \lim_{n \to \infty} \mathbb{E}(\eta_n) \leq \lim_{n \to \infty} \inf_{k \geq n} \mathbb{E}(\xi_k) = \liminf_{n \to \infty} \mathbb{E}(\xi_n),$$
即 (4.13) 成立。

---

个人思考：利用上下界构造了$\eta_n$有单调性，方便利用单调收敛定理，同时有找到了不等式中间的桥梁。

---

4.1.7证明
由于 $-\eta \leq \xi_n \leq \eta$，应用法图引理得：
$$\mathbb{E}(\xi) = \mathbb{E}\left(\liminf_{n \to \infty} \xi_n\right) \leq \liminf_{n \to \infty} \mathbb{E}(\xi_n) \leq \limsup_{n \to \infty} \mathbb{E}(\xi_n),$$
因此只需证明：
$$\limsup_{n \to \infty} \mathbb{E}(\xi_n) \leq \mathbb{E}(\xi). \tag{4.15}$$

实际上，再一次应用法图引理得：
$$\mathbb{E}(\eta - \xi) = \mathbb{E}\left(\lim_{n \to \infty} (\eta - \xi_n)\right) \leq \lim_{n \to \infty} \mathbb{E}(\eta - \xi_n) = \mathbb{E}(\eta) - \limsup_{n \to \infty} \mathbb{E}(\xi_n),$$
两边减去 $\mathbb{E}(\eta)$ 后乘以 $-1$ 得：
$$\limsup_{n \to \infty} \mathbb{E}(\xi_n) \leq \mathbb{E}(\xi).$$

结合 (4.15)，即 (4.14) 成立。

---

个人思考：1，极限证明转化为上下极限证明。2，证明两次不等式得到等式。3，灵活运用法图引理。

---

4.1.8证明
不妨假设 $A = \{x_k : k \geq 1\}$，则仅需证明：
$$\mathbb{E}(f(\xi)) = \sum_{k=1}^\infty f(x_k) \mathbb{P}(\xi = x_k). \tag{4.17}$$

记 $f^-(x) = -\min\{f(x), 0\}$，类似可得：
$$\mathbb{E}(f^-(\xi)) = \sum_{k=1}^\infty f^-(x_k) \mathbb{P}(\xi = x_k).$$

因此：
$$\mathbb{E}(f(\xi)) = \mathbb{E}(f^+(\xi)) - \mathbb{E}(f^-(\xi)),$$
$$= \sum_{k=1}^\infty \left(f^+(x_k) - f^-(x_k)\right) \mathbb{P}(\xi = x_k) = \sum_{k=1}^\infty f(x_k) \mathbb{P}(\xi = x_k),$$
即 (4.17) 成立。

---

4.1.9证明
不妨设 $f \geq 0$。显然：
$$\sum_{k=1}^\infty \frac{k-1}{n} 1\left(\frac{k-1}{n} < f(x) \leq \frac{k}{n}\right) \leq f(x) \leq \sum_{k=1}^\infty \frac{k}{n} 1\left(\frac{k-1}{n} < f(x) \leq \frac{k}{n}\right),$$
因此：
$$\int_{-\infty}^\infty \sum_{k=1}^\infty \frac{k-1}{n} 1\left(\frac{k-1}{n} < f(x) \leq \frac{k}{n}\right)p(x)dx \leq \int_{-\infty}^\infty f(x)p(x)dx \leq \int_{-\infty}^\infty \sum_{k=1}^\infty \frac{k}{n} 1\left(\frac{k-1}{n} <> f(x) \leq \frac{k}{n}\right)p(x)dx. \tag{4.20}$$

另外，由分布计算公式 (3.27) 知：
$$\int_{-\infty}^\infty 1\left(\frac{k-1}{n} \leq f(x) < \frac{k}{n}\right)p(x)dx = \mathbb{P}\left(\xi \in f^{-1}\left(\left[\frac{k-1}{n}, \frac{k}{n}\right)\right)\right),$$
$$= \mathbb{P}\left(f(\xi) \in \left[\frac{k-1}{n}, \frac{k}{n}\right)\right) = \mathbb{E}\left(1\left(\frac{k-1}{n} \leq f(\xi) < \frac{k}{n}\right)\right).$$

再由单调收敛定理 4.1.3 得：
$$\int_{-\infty}^\infty \left(\sum_{k=1}^\infty \frac{k-1}{n} 1\left(\frac{k-1}{n} \leq f(x) < \frac{k}{n}\right)\right) p(x) dx,$$
$$= \sum_{k=1}^\infty \int_{-\infty}^\infty \frac{k-1}{n} 1\left(\frac{k-1}{n} \leq f(x) < \frac{k}{n}\right) p(x) dx,$$
$$= \sum_{k=1}^\infty \frac{k-1}{n} \mathbb{E}\left(1\left(\frac{k-1}{n} \leq f(\xi) < \frac{k}{n}\right)\right),$$
$$= \mathbb{E}\left(\sum_{k=1}^\infty \frac{k-1}{n} 1\left(\frac{k-1}{n} \leq f(\xi) < \frac{k}{n}\right)\right),$$
$$\geq \mathbb{E}\left(f(\xi) - \frac{1}{n}\right),$$
$$= \mathbb{E}(f(\xi)) - \frac{1}{n}. \tag{4.21}$$

类似地：
$$\int_{-\infty}^\infty \sum_{k=1}^\infty \frac{k}{n} 1\left(\frac{k-1}{n} \leq f(x) < \frac{k}{n}\right)p(x)dx \leq \mathbb{E}(f(\xi)) + \frac{1}{n}. \tag{4.22}$$

由 (4.20)、(4.21) 和 (4.22) 知：
$$\mathbb{E}(f(\xi)) - \frac{1}{n} \leq \int_{-\infty}^\infty f(x)p(x)dx \leq \mathbb{E}(f(\xi)) + \frac{1}{n}.$$
令 $n \to \infty$，得 (4.19)。

---

4.1.10证明
在定理 4.1.8 中取 $f(x) = x$ 得结论。

---

4.1.11证明
由 (4.19) 得结论。