Motivation

例题：在圆上“随机”选一段弧，问弧长大于圆周的 $ \frac{1}{3} $ 的概率？（Bertrand paradox）

至少三种自然的“均匀化”模型会给出不同答案：

  1. 对弧长参数均匀（在 $ [0, 2\pi) $ 上均匀取长度，再随机起点）。
  2. 对端点在圆上独立均匀（等价于随机两点确定弧，需指定取较短或较长弧）。
  3. 对中心角或几何构造的中间量均匀（如均匀选角度后裁剪）。

核心问题：如何定义“随机”？不同“随机化”方案导致不同答案。

讨论概率问题必须先明确概率空间（样本空间、事件族与概率测度），否则“概率”无从谈起。

Probability Space

  • 一个概率空间由三元组 $ (\Omega, \mathcal{F}, \mathbb{P}) $ 构成：

    • $ \Omega $：样本空间（一次随机试验所有可能结果）。
    • $ \mathcal{F} \subseteq 2^{\Omega} $：事件族（允许讨论与运算的集合）。
    • $ \mathbb{P} : \mathcal{F} \to [0,1] $：概率测度（赋予事件概率）。

  • 记号说明：

    • $ \Omega $：样本空间。
    • $ 2^{\Omega} $：$ \Omega $ 的幂集（所有子集的集合）。

  • 为什么 $ \mathbb{P} $ 要定义在 $ \mathcal{F} $ 上而非直接在 $ \Omega $ 上？

    • 离散可数时，取 $ \mathcal{F} = 2^{\Omega} $ 可行，且对单点赋值即可确定所有事件的概率。
    • 连续时不同：单点的概率通常为 $ 0 $，但不可数并可有正概率；且 $ 2^{\Omega} $ 中存在不可测集合，无法一致赋值（见下文 Vitali set 与 Axiom of Choice）。因此需选择一个足够大又可控的 $ \sigma $- 代数作为事件族。

Sigma-Algebra

  • 要求 $ \mathcal{F} $ 构成一个 $ \sigma $- 代数（域）：

    1. $ \emptyset \in \mathcal{F},\ \Omega \in \mathcal{F} $。
    2. 若 $ A \in \mathcal{F} $，则其补集 $ A^{c} \in \mathcal{F} $。
    3. 若 $ A_{1}, A_{2}, \dots \in \mathcal{F} $，则可数并 $ \bigcup_{n \ge 1} A_{n} \in \mathcal{F} $。

  • 注：由德摩根律得可数交封闭。 “$ \sigma $”表示对可数并封闭。

  • 直觉：这些封闭性保证我们做常见的事件运算不“跑出”可测范围。

Probability Measure

  • 概率测度 $ \mathbb{P} : \mathcal{F} \to [0,1] $ 满足：
    1. 规范化：$ \mathbb{P}(\emptyset) = 0,\ \mathbb{P}(\Omega) = 1 $。
    2. 补集关系：对任意 $ A \in \mathcal{F} $，$ \mathbb{P}(A) = 1 - \mathbb{P}(A^{c}) $。
    3. 可数可加性（对两两不交）：若 $ A_{i} \cap A_{j} = \emptyset $（$ i \neq j $），则 $$ \mathbb{P}\Big( \bigcup_{n \ge 1} A_{n} \Big) = \sum_{n \ge 1} \mathbb{P}(A_{n}) $$

若 $ \Omega $ 可数且 $ \mathcal{F} = 2^{\Omega} $，记 $ p_{\omega} := \mathbb{P}(\{\omega\}) $，则任意 $ A \subseteq \Omega $ 满足 $$ \mathbb{P}(A) = \sum_{\omega \in A} p_{\omega} $$

Set Operations and Event Semantics

  • 集合—事件对应：

    • $ A $：事件 $ A $ 发生。
    • $ A \cup B $：至少一个发生。
    • $ A \cap B $：同时发生。
    • $ A \setminus B $：$ A $ 且不 $ B $。
    • $ A \subseteq B $：$ A $ 蕴含 $ B $。
    • $ A \cap B = \emptyset $：不能同时发生。
    • $ A \cup B = \Omega $：必有一个发生。

  • 这些操作在 $ \mathcal{F} $ 内封闭（由 $ \sigma $- 代数性质和德摩根律）。

Inclusion–Exclusion and Union Bound

  • 单调性：若 $ A \subseteq B $，则 $ \mathbb{P}(A) \le \mathbb{P}(B) $。 证：写 $ B = A \cup (B \setminus A) $，并为不交，故 $ \mathbb{P}(B) = \mathbb{P}(A) + \mathbb{P}(B \setminus A) \ge \mathbb{P}(A) $.

  • 二集合容斥： $$ \mathbb{P}(A \cup B) = \mathbb{P}(A) + \mathbb{P}(B) - \mathbb{P}(A \cap B) $$

  • 并界（union bound, Boole 不等式）： $$ \mathbb{P}\Big( \bigcup_{n} A_{n} \Big) \le \sum_{n} \mathbb{P}(A_{n}) $$

Limits of Events

  • 集合序列的极限：
    • 若 $ A_{1} \subseteq A_{2} \subseteq \cdots $，则 $$ \lim_{n \to \infty} A_{n} = \bigcup_{n \ge 1} A_{n} $$
    • 若 $ A_{1} \supseteq A_{2} \supseteq \cdots $，则 $$ \lim_{n \to \infty} A_{n} = \bigcap_{n \ge 1} A_{n} $$
  • 测度的“连续性”（极限与测度交换）：
    • 若 $ A_{n} \uparrow $，则 $ \mathbb{P}(\lim A_{n}) = \lim\limits_{n \to \infty} \mathbb{P}(A_{n}) $。
    • 若 $ A_{n} \downarrow $，则 $ \mathbb{P}(\lim A_{n}) = \lim\limits_{n \to \infty} \mathbb{P}(A_{n}) $。
    • 递增情形用不交分解与可数可加性；递减情形用德摩根律转化。

证：

只证明递增（非降）的情形。

使用极限的定义，有（类比裂项） $$ \mathbb{P}(\lim_{ n \to \infty } A_{n}) = \mathbb{P}\left( \bigcup_{n\geq 1}A_{n} \right) = \mathbb{P}\left( A_{1} \cup \bigcup_{n\geq 2}(A_{n}\setminus A_{n-1}) \right) $$ 于是就把 $ \lim_{ n \to \infty }A_{n} $ 写成了一堆不交集合的并，那么根据 $ \mathbb{P} $ 的第三条公理，可以得到 $$ \mathbb{P}(\lim_{ n \to \infty } A_{n}) = \mathbb{P}(A_{1}) + \sum_{n\geq 2}\mathbb{P}(A_{n}\setminus A_{n-1}) = \mathbb{P}(A_{1}) + \lim_{ N \to \infty } \sum_{n=2}^{N} (\mathbb{P}(A_{n})- \mathbb{P}(A_{n-1})) = \lim_{ n \to \infty } \mathbb{P}(A_{n}) $$

Why Not Take All Subsets?

关于前面提到的为什么事件集 $ \mathcal{F} $ 不能直接等于 $ 2^{\Omega} $ 的问题，在这里给出一个证明。

考虑问题，如何在 $ \Omega = [0,1) $ 上定义“均匀分布” $ \mathbb{P} $ ？

  • 直觉要求：

    1. 长度一致性：对区间 $ (a,b) \subset [0,1) $，$ \mathbb{P}((a,b)) = b - a $。
    2. 平移不变性：对任意 $ I \subset [0,1) $ 与 $ r \in [0,1) $，有 $ \mathbb{P}(I) = \mathbb{P}(I + r) $，其中 $ I + r = \{ (x + r) \bmod 1 : x \in I \} $。

  • Vitali set（使用 Axiom of Choice）表明：若令 $ \mathcal{F} = 2^{[0,1)} $，并要求上面两条与 $ \sigma $- 可加性，则产生矛盾：（证明用到有理数集的什么性质？为什么一定要通过有理数？）

    1. 定义等价关系 $ x \sim y \iff x - y \in \mathbb{Q} $，将 $ [0,1) $ 划分为等价类。
    2. 用 Axiom of Choice 从每个等价类选一代表，得集合 $ N $。
    3. 对每个 $ r \in \mathbb{Q} \cap [0,1) $，令 $ N_{r} := N + r = \{ (x+r) \bmod 1: x \in N\} $，可证 $ \{ N_{r} \} $ 两两不交（反证法）且并为 $ [0,1) $ 的平移副本覆盖。
    4. 可数可加性与平移不变性给出 $$ 1 = \mathbb{P}([0,1)) = \sum_{r} \mathbb{P}(N_{r}) = \sum_{r} \mathbb{P}(N) $$ 若 $ \mathbb{P}(N) = 0 $，右端为 $ 0 $；若 $ \mathbb{P}(N) > 0 $，右端为 $ +\infty $，均矛盾。 结论：$ 2^{[0,1)} $ 中存在不可测集合，无法一致赋予概率。

  • 正确做法：取最小且足够的 $ \sigma $- 代数（Borel $ \sigma $- 代数）

    • 令 $ \mathcal{F} $ 为包含所有开区间的最小 $ \sigma $- 代数（Borel）。
    • 在该 $ \mathcal{F} $ 上存在与长度一致且平移不变的测度（勒贝格测度在 $ [0,1) $ 的限制），从而得到期望的“均匀分布”。

Discrete vs Continuous

  • 离散可数：
    • 可取 $ \mathcal{F} = 2^{\Omega} $，对单点赋值（质量函数）即可决定所有事件的概率。
  • 连续不可数：
    • 单点概率常为 $ 0 $，但不可数并可得正概率；不可测集合阻止我们将 $ \mathcal{F} $ 取为 $ 2^{\Omega} $。必须选取如 Borel（或其完备化）这样的“可测”结构。

Summary

  • 概率论以 $ (\Omega, \mathcal{F}, \mathbb{P}) $ 为基础对象。“随机”的语义由此三元组精确定义。
  • $ \sigma $- 代数的可数封闭性与测度的可数可加性是技术与直觉的统一；它们保证常见事件运算与极限操作的可用性。
  • 并界与容斥是估算复杂事件概率的常用工具。
  • 在不可数空间，Axiom of Choice 导致不可测集合的存在，解释了为何不能取 $ \mathcal{F} = 2^{\Omega} $.