Problem 1
(1)
根据题设条件，我们知道最多抽取 $ m $ 个黑球，最少抽取 $ 0 $ 个黑球。设随机变量 $ X $ 表示抽到黑球的个数，根据组合意义，我们得到 $ X $ 的概率质量函数为 $$ \mathbb{P}(X=x) = \dfrac{\binom{ m }{ x } \binom{ n-m }{ k-x } }{\binom{ n }{ k } },\quad x = 0,1,\dots,m $$ (2)
矩生成函数定义为 $ M_{X}(\theta) = \mathbb{E}[e^{ \theta X }] $。我们带入得到 $$ \begin{align*} M_{X}(\theta) & = \sum_{x}e^{ \theta x }\mathbb{P}(X=x) \\ & = \sum_{x=0}^{m} e^{ \theta x } \dfrac{\binom{ m }{ x } \binom{ n-m }{ k-x } }{\binom{ n }{ k } } \\ & = \dfrac{1}{\binom{ n }{ k } }\sum_{x=0}^{m} e^{ \theta x }\binom{ m }{ x } \binom{ n-m }{ k-x } \end{align*} $$ (3)
首先计算 $ \mathbb{E}[X] $。 $$ \begin{align*} \mathbb{E}[X] & = M'_{X}(0) = \dfrac{\mathrm{d} }{\mathrm{d}\theta} \left( \sum_{x}e^{ \theta x }\mathbb{P}(X=x) \right)\bigg|_{\theta=0} \\ & = \sum_{x=0}^{m} x\mathbb{P}(X=x) \\ & = \dfrac{1}{\binom{ n }{ k }} \sum_{x=0}^{m} x\binom{ m }{ x } \binom{ n-m }{ k-x } \\ & = \dfrac{1}{\binom{ n }{ k } }\sum_{x=0}^{m} m\binom{ m-1 }{ x-1 } \binom{ n-m }{ k-x } \\ & = \dfrac{m}{\binom{ n }{ k } } \sum_{y=0}^{m-1} \binom{ m-1 }{ y } \binom{ n-m }{ k-y-1 } \\ & = \dfrac{m}{\binom{ n }{ k } }\binom{ n-m+m-1 }{ k-1 } = \dfrac{m}{\binom{ n }{ k } }\binom{ n-1 }{ k-1 } \\ & = \dfrac{mk}{n} \end{align*} $$ 接着计算 $ \mathbb{E}[X^{2}] $。由于 $ \mathbb{E}[X^{2}] $ 的表达式化简较为困难，我们考虑求解 $ \mathbb{E}[X(X-1)] $。根据 LOTUS，我们有 $$ \begin{align*} \mathbb{E}[X(X-1)] & = \sum_{x=0}^{m} x(x-1)\mathbb{P}(X=x) \\ & = \dfrac{1}{\binom{ n }{ k } }\sum_{x=0}^{m} x(x-1)\binom{ m }{ x } \binom{ n-m }{ k-x } \\ & = \dfrac{m}{\binom{ n }{ k } }\sum_{x=0}^{m} (x-1)\binom{ m-1 }{ x-1 } \binom{ n-m }{ k-x } \\ & = \dfrac{m(m-1)}{\binom{ m }{ k } }\sum_{x=0}^{m} \binom{ m-2 }{ x-2 } \binom{ n-m }{ k-x } \\ & = \dfrac{m(m-1)}{\binom{ m }{ k } }\binom{ n-2 }{ k-2 } \\ & = \dfrac{m(m-1)k(k-1)}{n(n-1)} \end{align*} $$ 从而带入方差公式得到 $$ \begin{align*} \text{Var}[X] & = \mathbb{E}[X^{2}]-(\mathbb{E}[X])^{2} \\ & = \mathbb{E}[X(X-1)] + \mathbb{E}[X] - (\mathbb{E}[X])^{2} \\ & = \dfrac{m(m-1)k(k-1)}{n(n-1)} + \dfrac{mk}{n} - \left( \dfrac{mk}{n} \right)^{2} \\ & = \dfrac{mk}{n}\left[ \dfrac{(m-1)(k-1)}{n-1}+1 - \dfrac{mk}{n}\right] \\ & = \dfrac{mk}{n}\cdot \dfrac{n-m}{n}\cdot \dfrac{n-k}{n-1} \end{align*} $$ 综上得到 $$ \mathbb{E}[X] = \dfrac{mk}{n},\quad \text{Var}[X] = \dfrac{mk}{n}\cdot \dfrac{n-m}{n}\cdot \dfrac{n-k}{n-1} $$
Problem 2
(1)
首先我们计算 $ X $ 的 pdf，记为 $ f_{X}(x) $，那么 $$ f_{X}(x) = \prod_{i=1}^{n} f_{X_{i}}(x_{i}) = \prod_{i=1}^{n} \dfrac{1}{\sqrt{ 2\pi }}e^{ -x_{i}^{2} / 2 } = \dfrac{1}{(2\pi)^{n / 2}}e^{ - \frac{1}{2}\sum_{i=1}^{n} x_{i}^{2} } $$ 由于 $ \| x \|^{2}=x^{T}x = \sum_{i=1}^{n}x_{i}^{2} $，我们可以化简为 $$ f_{X}(x) = \dfrac{1}{(2\pi)^{n / 2}}e^{ - \frac{1}{2} x^{T}x } $$
根据题设，我们知道 $$ y = Qx \implies x = Q^{T}y $$ 从而计算该变换雅可比行列式的绝对值，有 $$ J = \left| \det\left( \dfrac{ \partial x }{ \partial y } \right) \right| = \left| \det(Q^{T}) \right| $$ 根据正定矩阵的性质，我们知道 $ \det Q^{T}=\det Q=\pm 1 $，因此 $ J=1 $。
于是根据变量代换公式，我们得到 $$ f_{Y}(y) = f_{X}(x(y))\cdot J = f_{X}(Q^{T}y)\cdot 1 $$ 带入 $ Q^{T}y $，其中 $ x^{T}x $ 变为 $ y^{T}Q Q^{T}y=y^{T}y $ 即可得到 $$ f_{Y}(y) = \dfrac{1}{(2\pi)^{n/2}}\exp\left( -\dfrac{1}{2}y^{T} y\right) $$ 从而 $ x $ 与 $ y $ 的分布一致。
(2)
对于单位球面上的两个向量 $ z_{1} $ 和 $ z_{2} $，利用线性代数可以证明存在正交矩阵 $ Q $ 使得 $$ z_{2}=Qz_{1} $$ 我们考虑变换后的随机变量 $ QZ $，得到 $$ QZ = Q\left( \dfrac{X}{\| X \| } \right)= \dfrac{QX}{\| X \| } \xlongequal{\| QX \| = \| X \| } \dfrac{QX}{\| QX \| } $$ 我们令 $ Y=QX $，就有 $ QZ=\dfrac{Y}{\| Y \|} $。利用 $ (1) $ 的结论，我们知道 $ X $ 和 $ Y $ 是同分布的，从而 $ Z $ 和 $ QZ $ 是同分布的。这就说明了 $ Z $ 具有旋转不变性，也就有 $ Z $ 在球面上取 $ z_{1} $ 附近的概率密度，必须等于取 $ z_{2}=Qz_{1} $ 附近的概率密度，也就是 $$ f_{Z}(z) = f_{Z}(Qz) $$ 我们可以找到 $ Q $ 将球面上的任意点 $ z_{1} $ 映射到球面上的任意点 $ z_{2} $，从而说明了 $$ \forall z_{1},z_{2}\in S^{n-1},\quad f_{Z}(z_{1})=f_{Z}(z_{2}) $$
Problem 3
(1)
根据题设我们有 $$ \begin{cases} u = xy \\ v = \dfrac{x}{y} \end{cases} $$ 从而得到 $ x=\sqrt{ uv },y=\sqrt{ u / v } $。我们计算变换的 Jacobi 行列式 $$ J = \det\left( \dfrac{ \partial (x,y) }{ \partial (u,v) } \right) = \det \begin{pmatrix} \dfrac{1}{2}\sqrt{ \dfrac{v}{u} } & \dfrac{1}{2}\sqrt{ \dfrac{u}{v} } \\ \dfrac{1}{2\sqrt{ uv }} & -\dfrac{1}{2v}\sqrt{ \dfrac{u}{v} } \end{pmatrix} = - \dfrac{1}{2v} $$ 从而 $ \left| J \right|= \dfrac{1}{2v} $。
于是我们就得到了联合密度函数为 $$ f_{UV}(u,v) = f_{XY}(\sqrt{ uv },\sqrt{ u / v }) \cdot \left| J \right| = 1 \cdot\dfrac{1}{2v} = \dfrac{1}{2v} $$ (2)
我们需要分区域讨论。将区域 $ [0,1]^{2} $ 沿对角线分成两个区域 $$ D_{1} = \{ (x,y)\mid 0\leq x < y\leq 1 \},\quad D_{2} = [0,1]^{2}\setminus D_{1} $$ 我们知道在 $ D_{1} $ 上有 $ U=X,V=Y $，在 $ D_{2} $ 上有 $ U=Y,V=X $。
对于目标区域 $ 0\leq u\leq v\leq 1 $，我们分别考虑来着 $ D_{1} $ 和 $ D_{2} $ 的贡献。来自 $ D_{1} $ 的映射满足 $ (x,y)=(u,v) $，从而 Jacobi 行列式为 $ \left| J_{1} \right|=1 $，产生的贡献为 $ f_{XY}(u,v)\cdot 1=1 $。来自 $ D_{2} $ 的映射满足 $ (x,y)=(v,u) $，对应的 Jacobi 行列式为 $ \left| J_{2} \right|=1 $，产生的贡献为 $ f_{XY}(u,v)\cdot 1=1 $。
我们将两部分贡献相加，就得到了 $$ f_{UV}(u,v)=1+1=2 $$ (3)
我们需要证明 $ f_{UV}(u,v) $ 是各分支逆映射密度函数乘以 Jacobi 行列式后的叠加。
设 $ A $ 是 $ UV $ 平面上任意的 Borel 可测集。我们需要计算 $ \mathbb{P}((U,V)\in A) $。根据全概率公式，将事件分解到两个不相交的区域 $ D_{g} $ 和 $ D_{h} $ 上，有 $$ \begin{align*} \mathbb{P}((U,V)\in A) & = \mathbb{P}((X,Y)\in D_{g},g(X,Y)\in A) +\mathbb{P}((X,Y)\in D_{h},h(X,Y)\in A) \\ & = \underset{ \{ (x,y)\in D_{g}\mid g(x,y)\in A \} }{ \iint } f_{XY}(x,y)\mathrm{d}x\mathrm{d}y + \underset{ \{ (x,y)\in D_{h}\mid h(x,y)\in A \} }{ \iint } f_{XY}(x,y)\mathrm{d}x\mathrm{d}y \end{align*} $$ 对于第一个积分进行变量代换，令 $ (u,v)=g(x,y) $，则 $ (x,y)=g^{-1}(u,v) $。此时积分区域变为 $ A\cap I_{g} $，面积元变为 $ \left| J_{g^{-1}} \right|\mathrm{d}u\mathrm{d}v $。同理对于第二个积分，令 $ (u,v)=h(x,y) $，那么积分区域变为 $ A\cap I_{h} $，面积元变为 $ \left| J_{^{-1}h} \right|\mathrm{d}u\mathrm{d}v $。带入就得到了 $$ \underset{ A\cap I_{g} }{ \iint } f_{XY}(g^{-1}(u,v))\left| J_{g^{-1}} \right| \mathrm{d}u\mathrm{d}v + \underset{ A\cap I_{h} }{ \iint } f_{XY}(h^{-1}(u,v))\left| J_{h^{-1}} \right| \mathrm{d}u\mathrm{d}v $$ 利用指示函数将积分区域统一为 $ A $，就有 $$ \mathbb{P}((U,V)\in A) = \underset{ A }{ \iint } [f_{XY}(g^{-1}(u,v))\left| J_{g^{-1}} \right|\cdot \mathbb{I}_{(u,v)\in I_{g}} + f_{XY}(h^{-1}(u,v))\left| J_{h^{-1}} \right|\cdot \mathbb{I}_{(u,v)\in I_{h}}] \mathrm{d}u\mathrm{d}v $$ 根据 pdf 的定义，被积函数即为 $ f_{UV}(u,v) $，从而得证。
(4)
由题设，$ X\sim U[0,1],Y\sim U[0,2] $，并且两者独立。我们知道 $ f_{XY}(x,y)=f_{X}\cdot f_{Y}=\frac{1}{2} $。
将矩形区域 $ R=[0,2]\times[0,1] $ 按照直线 $ y=x $ 切割成两部分，分别为 $ D_{g} $ 满足 $ X< Y $，$ D_{h} $ 满足 $ X>Y $。
其中 $ D_{g} $ 区域 $ \left| J_{1} \right|=1 $，满足 $ u=x,v=y $，贡献 $ f_{XY}(u,v)=\frac{1}{2} $，需要 $ 0\leq u< v\leq 1 $。$ D_{h} $ 区域 $ \left| J_{2} \right|=1 $，满足 $ u=y,v=x $，贡献 $ f_{XY}(v,u)= \frac{1}{2} $,需要 $ 0\leq u< v\leq 1 $ 或者 $ 0\leq u\leq 1 $ 并且 $ 1< v\leq 2 $。我们考虑叠加两个区域的贡献，需要分两种情况，在 $ 0\leq u\leq v\leq 1 $ 时同时被 $ D_{g} $ 和 $ D_{h} $ 覆盖，在 $ 0\leq u\leq 1< v\leq 2 $ 时只被 $ D_{h} $ 覆盖，因此 $$ f_{UV}(u,v) = \begin{cases} 1, & 0\leq u\leq v\leq 1 \\ 0.5, & 0\leq u\leq 1< v\leq 2 \\ 0, & \text{o.w.} \end{cases} $$
Problem 4
(1)
由于 $ q\in(0,1) $，因此事件 $ \{ Y=t \} $ 等价于 $ (0,1)\times \{ t \} $，所以 $$ \mathbb{P}(Y=t)=\binom{ T }{ t } \int_{0}^{1} q^{t}(1-q)^{T-t} \mathrm{d}q = \binom{ T }{ t } \cdot \dfrac{t!(T-t)!}{(T+1)!} = \dfrac{1}{T+1} $$ 说明 $$ \mathbb{P}(Y=t)=\dfrac{1}{T+1},\quad t\in[T]\cup \{ 0 \} $$ 这说明在先验分布均匀的情况下，正面次数也均匀分布。
(2)
为了计算 $ Q $ 的概率密度，我们考虑 $ \mathbb{P}(Q\in[a,b]) $。根据全概率公式，我们知道 $$ \begin{align*} \mathbb{P}(Q\in[a,b]) & = \sum_{t=0}^{T} \mathbb{P}(Q\in[a,b]\mid Y=t) \\ & = \sum_{t=0}^{T} \int_{a}^{b} \binom{ T }{ t } q^{t}(1-q)^{T-t} \mathrm{d}q \\ & = \int_{a}^{b} \sum_{t=0}^{T} q^{t}(1-q)^{T-t} \mathrm{d}q \\ & = \int_{a}^{b} 1 \mathrm{d}q \\ & = b-a \end{align*} $$ 从而说明这是一个均匀分布。因此 $$ p_{Q} = \begin{cases} 1, & q\in(0,1) \\ 0, & \text{o.w.} \end{cases} $$ 也就是 $ Q\sim U(0,1) $。
下面我们计算条件概率密度函数。根据定义，我们先计算 $$ \mathbb{P}(Q\in[q,q+h],Y=t) = \int_{q}^{q+h} \binom{ T }{ t } u^{t}(1-u)^{T-t} \mathrm{d}u $$ 根据微积分基本定理，我们知道 $$ \lim_{ h \to 0 } \dfrac{1}{h}\cdot \mathbb{P}(Q\in[q,q+h],Y=t) = \binom{ T }{ t } q^{t}(1-q)^{T-t} $$ 再根据第一问 $ \mathbb{P}(Y=t)= \frac{1}{T+1} $，我们知道 $$ \begin{align*} p_{Q|Y}(q|t) & = \binom{ T }{ t } q^{t}(1-q)^{T-t}\cdot \dfrac{1}{1 / (T+1)} \\ & = \dfrac{(T+1)!}{t!(T-t)!}q^{t}(1-q)^{T-t} \end{align*} $$ (3)
根据定义，有 $$ M_{X}(\theta) = \mathbb{E}\left[ 1 + \sum_{n=1}^{\infty} \dfrac{\theta^{n}}{n!}X^{n} \right] = 1+\sum_{n=1}^{\infty} \dfrac{\theta^{n}}{n!}\mathbb{E}[X^{n}] $$ 我们考虑计算 $ \mathbb{E}[X^{n}] $。
根据 $ (1) $ 式，我们得到 $$ \begin{align*} \mathbb{E}[X^{n}] & = \int_{0}^{1} x^{n}p_{X}(x) \mathrm{d}x \\ & = \int_{0}^{1} x^{n} \dfrac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}x^{\alpha-1}(1-x)^{\beta-1} \mathrm{d}x \\ & = \dfrac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)} \int_{0}^{1} x^{(n+\alpha)-1}(1-x)^{\beta-1} \mathrm{d}x \\ & = \dfrac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)} \cdot \dfrac{\Gamma(n+\alpha)\Gamma(\beta)}{\Gamma(n+\alpha+\beta)} \\ & = \dfrac{\Gamma(n+\alpha)}{\Gamma(\alpha)}\cdot \dfrac{\Gamma(\alpha+\beta)}{\Gamma(n+\alpha+\beta)} \\ & = \prod_{k=0}^{n-1} \dfrac{\alpha+k}{\alpha+\beta+k} \end{align*} $$ 其中最后一行利用了 $ \Gamma $ 函数递推的性质。
带入就得到了 $$ M_{X}(\theta) = 1 + \sum_{n=1}^{\infty} \dfrac{\theta^{n}}{n!}\cdot \left( \prod_{k=0}^{n-1} \dfrac{\alpha+k}{\alpha+\beta+k} \right) $$
Problem 5
(1)
设随机变量 $ X\sim\text{Exp}(\lambda) $，它的 pdf 和 cdf 分别为 $$ f(x) = \lambda e^{ -\lambda x }(x\geq 0),\quad F(x) = \int_{0}^{x} \lambda e^{ -\lambda x } \mathrm{d}x =1 - e^{ -\lambda x } $$ 若 $ Y $ 是一个随机变量， CDF 为 $ F_{Y} $。那么利用 CDF 的单调性与定义可知，变换后的变量小于 $ u $ 的概率 $ P(F_Y(Y) \le u) $ 等价于 $ P(Y \le F_Y^{-1}(u)) $，而这恰好等于 $ F_Y(F_Y^{-1}(u)) = u $，这完全符合均匀分布的定义，因此我们知道 $ F_{Y}(Y) $ 服从 $ [0,1] $ 上的均匀分布。
因此我们有 $ F(X)\sim U[0,1] $，设 $ F(X)=U\sim U[0,1] $，我们就可以得到 $ X=F^{-1}(U) $，从而 $$ \begin{align*} 1 - e^{ -\lambda X } & = U \\ e^{ -\lambda X } & = 1-U \\ \implies X & = - \dfrac{1}{\lambda}\ln(1-U) \end{align*} $$ 由于 $ 1-U $ 也服从 $ U[0,1] $，因此我们就得到了采样公式为 $$ X = -\dfrac{1}{\lambda}\ln U $$ (2)
根据题设，有 $$ \begin{align*} f_{X}(x) & = \dfrac{1}{\Gamma(\alpha)}x^{\alpha-1}e^{ -x },\quad x>0 \\ f_{Y}(y) & = \dfrac{1}{\Gamma(\beta)}y^{\beta-1}e^{ -y },\quad y>0 \end{align*} $$ 我们用 $ S,T $ 表示 $ X,Y $，得到 $$ X = ST, \quad Y = S(1-T) $$ 从而 Jacobi 行列式为 $$ J = \begin{vmatrix} t & s \\ 1-t & -s \end{vmatrix} = -s \implies \left| J \right| = s\quad (S>0) $$ 于是得到 $$ f_{ST}(s,t) = f_{XY}(x(s,t),y(s,t))\cdot \left| J \right| = f_{XY}(st,s-st)\cdot s $$ 其中由于 $ X,Y $ 独立 $$ f_{XY}(x,y) = f_{X}(x)\cdot f_{Y}(y) = \dfrac{1}{\Gamma(\alpha)\Gamma(\beta)}x^{\alpha-1}y^{\beta-1}e^{ -(x+y) } $$
带入就得到了 $$ f_{ST}(s,t) = \dfrac{1}{\Gamma(\alpha)\Gamma(\beta)} s ^{\alpha+\beta - 1}e^{ -s }t ^{\alpha-1}(1-t)^{\beta-1} $$ 定义域为 $ s>0,0< t< 1 $。
(3)
观察 $ f_{ST} $，发现可以拆分成关于 $ s $ 和关于 $ t $ 的函数的乘积： $$ \begin{align*} f_{ST}(s,t) & = \dfrac{1}{\Gamma(\alpha)\Gamma(\beta)}(s^{\alpha+\beta-1}e^{ -s })(t ^{\alpha-1}(1-t)^{\beta-1}) \\ & = \underbrace{ \left( \dfrac{1}{\Gamma(\alpha+\beta)}s ^{(\alpha+\beta)-1}e^{ -s } \right) }_{ g(s) }\underbrace{ \left( \dfrac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}t ^{\alpha-1}(1-t)^{\beta-1} \right) }_{ h(t) } \end{align*} $$ 从而 $ f_{ST}(s,t)=g(s)h(t) $，并且 $ s $ 和 $ t $ 的范围相互不依赖，从而 $ S $ 和 $ T $ 相互独立。
我们接着讨论 $ T $ 的分布。根据上面的拆分，我们知道 $$ f_{T}(t)=h(t) = \dfrac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}t ^{\alpha-1}(1-t)^{\beta-1} $$ 这正是 $ T\sim\text{Beta}(\alpha,\beta) $ 的定义。
Problem 6
(1)
令 $ Z=X_{0} / \sigma $，于是 $$ \mathbb{E}[Z] = \mathbb{E}\left[ \dfrac{X_{0}}{\sigma} \right] = \dfrac{\mathbb{E}[X_{0}]}{\sigma} = \dfrac{1}{\sigma}\cdot 0 = 0 $$ 以及 $$ \text{Var}[Z] = \text{Var}\left[ \dfrac{X_{0}}{\sigma} \right] = \dfrac{\text{Var}[X_{0}]}{\sigma^{2}} = 1 $$ 并且由于 $ X_{0} $ 符合正态分布，因此经过线性变换得到 $ Z $ 以后依旧符合正态分布。
因此 $ Z $ 服从期望为 $ 0 $，方差为 $ 1 $ 的正态分布，即 $ Z\sim \mathcal{N}(0,1) $。
(2)
我们展开 $ \sum_{i=1}^{n}(X_{i}-\hat{X}_{n})^{2} $，得到 $$ \begin{align*} \sum_{i=1}^{n} (X_{i}-\hat{X}_{n})^{2} & = \sum_{i=1}^{n} X_{i}^{2} - 2\hat{X}_{n}\sum_{i=1}^{n} X_{i} + n\hat{X}_{n}^{2} \\ & = \sum_{i=1}^{n} X_{i}^{2} - n\hat{X}_{n}^{2} \end{align*} $$ 因此我们需要计算 $ \mathbb{E}[\sum_{i=1}^{n} X_{i}^{2} - n\hat{X}_{n}^{2}] $。
对于 $ \mathbb{E}[X_{i}^{2}] $ 项，我们利用方差公式，得到 $$ \mathbb{E}[X_{i}^{2}] = \text{Var}[X_{i}] + (\mathbb{E}[X_{i}])^{2} = \sigma^{2} + 0 = \sigma^{2} $$ 所以 $ \mathbb{E}\left[ \sum_{i=1}^{n}X_{i}^{2} \right]=\sum_{i=1}^{n}\mathbb{E}[X_{i}^{2}]=n\sigma^{2} $。
对于 $ \mathbb{E}[\hat{X}_{n}^{2}] $，我们先计算 $ \mathbb{E}[\hat{X}_{n}] $ 和 $ \text{Var}[\hat{X}_{n}] $，得到 $$ \mathbb{E}[\hat{X}_{n}]=0,\quad \text{Var}[\hat{X}_{n}] = \text{Var}\left[ \dfrac{1}{n}\sum X_{i} \right] = \dfrac{\sigma^{2}}{n} $$ 从而 $$ \mathbb{E}[\hat{X}_{n}^{2}] = \mathbb{E}[\hat{X}_{n}] + \text{Var}[\hat{X}_{n}] = \dfrac{\sigma^{2}}{n} $$ 于是 $$ \mathbb{E}\left[ \sum_{i=1}^{n} (X_{i}-\hat{X}_{n})^{2} \right] = n\sigma^{2} - n\left( \dfrac{\sigma^{2}}{n} \right) = (n-1)\sigma^{2} $$ 这样就算出了 $$ \mathbb{E}[S_{n}^{2}] = \mathbb{E}\left[ \dfrac{\sum_{i=1}^{n} (X_{i}-\hat{X}_{n})^{2}}{n-1} \right] = \sigma^{2} $$ (3)
按照定义， $$ \hat{X}_{2} = \dfrac{X_{1}+X_{2}}{2}\implies S_{2}^{2}=\dfrac{1}{2-1}\sum_{i=1}^{2} (X_{i}-\hat{X}_{2})^{2} = \dfrac{(X_{1}-X_{2})^{2}}{2} $$ 从而得到 $$ S_{2} = \dfrac{\left| X_{1}-X_{2} \right| }{\sqrt{ 2 }} $$ 进而得到 $$ Y_{2} = \dfrac{X_{0}}{S_{2}} = \dfrac{\sqrt{ 2 }X_{0}}{\left| X_{1}-X_{2} \right| } $$ 我们直到 $ X_{0}\sim \mathcal{N}(0,\sigma^{2}) $。令 $ D=X_{1}-X_{2} $，由于 $ X_{1},X_{2} $ 独立且均服从 $ \mathcal{N}(0,\sigma^{2}) $ 分布，因此 $ D\sim \mathcal{N}(0,\sigma^{2}+\sigma^{2})=\mathcal{N}(0,2\sigma^{2}) $。我们将它们写成标准正态分布，就有 $ \dfrac{X_{0}}{\sigma}=U\sim \mathcal{N}(0,1) $ 以及 $ \dfrac{D}{\sqrt{ 2 }\sigma}=V\sim \mathcal{N}(0,1) $。带入就有 $$ Y_{2} = \dfrac{\sqrt{ 2 }(\sigma U)}{\left| \sqrt{ 2\sigma V } \right| } = \dfrac{U}{\left| V \right| } $$ 我们设 $ W=\left| V \right| $，那么 $ W $ 服从分布 $$ p_{W}(w) = \dfrac{2}{\sqrt{ 2\pi }}e^{ -w^{2} / 2 },\quad w>0 $$ 带入 $ Y=U / W $，计算 Jacobi 行列式并带入即可得到 $$ \begin{align*} p_{Y_{2}}(y) & = \int_{-\infty}^{\infty} p_{UW}(yw,w)\cdot \left| w \right| \mathrm{d}w \\ & = \int_{0}^{\infty} w\cdot p_{U}(yw)\cdot p_{W}(w) \mathrm{d}w \\ & = \int_{0}^{\infty} w\cdot\left( \dfrac{1}{\sqrt{ 2\pi }}e^{ -(yw)^{2}/2 } \right)\cdot\left( \dfrac{2}{\sqrt{ 2\pi }}e^{ -\omega^{2}/2 } \right) \mathrm{d}w \\ & = \dfrac{1}{\pi}\int_{0}^{\infty} we^{ -w^{2}(y^{2}+1)/2 } \mathrm{d}w \\ & = \dfrac{1}{\pi(1+y^{2})}[e^{ -(y^{2}+1)w^{2}/2 }]_{0}^{\infty} \\ & = \dfrac{1}{\pi(1+y^{2})} \end{align*} $$ 说明了 pdf 为 $ p_{Y_{2}}(y)=1 / \pi(y^{2}+1) $，就是标准柯西分布的 pdf。
(4)
我们需要证明在 $ \theta\neq 0 $ 时 $ \mathbb{E}[e^{ \theta Y_{2} }] $ 发散。根据定义，我们有 $$ \begin{align*} \mathbb{E}[e^{ \theta Y_{2} }] & = \int_{-\infty}^{\infty} e^{ \theta y }\cdot p_{Y_{2}}(y) \mathrm{d}y \\ & = \dfrac{1}{\pi}\int_{-\infty}^{\infty} \dfrac{e^{ \theta y }}{1+y^{2}} \mathrm{d}y \\ & > \dfrac{1}{\pi}\int_{0}^{\infty} \dfrac{e^{ \theta y }}{1+y^{2}} \mathrm{d}y \end{align*} $$ 对于任意 $ \theta>0 $，显然存在 $ M>0 $ 使得当 $ y>M $ 时有 $$ e^{ \theta y }>1+y^{2} $$ 从而 $$ \begin{align*} \int_{0}^{\infty} \dfrac{e^{ \theta y }}{1+y^{2}} \mathrm{d}y & > \int_{M}^{\infty} \dfrac{e^{ \theta y }}{1+y^{2}} \mathrm{d}y \\ & > \int_{M}^{\infty} 1\cdot \mathrm{d}y \\ & = \infty \end{align*} $$ 从而得到了 $ \mathbb{E}[e^{ \theta Y_{2} }] $ 发散。这意味着 $ Y_{2} $ 的矩生成函数对于任意 $ \theta\neq 0 $ 均不存在。