Exercise 1
注意到 $$ \begin{aligned} \left\| \sum_{i=1}^k c_i w_i \right\|^2 &= \left\langle \sum_{i=1}^k c_i w_i, \sum_{j=1}^k c_j w_j \right\rangle \\ &= \sum_{i=1}^k \sum_{j=1}^k c_i c_j \langle w_i, w_j \rangle \end{aligned} $$ 根据题设，我们知道当 $ i \neq j $ 时 $ \langle w_i, w_j \rangle = 0 $，当 $ i = j $ 时 $ \langle w_i, w_j \rangle = 1 $。因此，上述双重求和中仅保留 $ i=j $ 的项 $$ \sum_{i=1}^k c_i^2 \cdot 1 = \sum_{i=1}^k c_i^2 $$ 得证。
Exercise 2
根据定义，我们有 $$ \sum_{i=1}^{m} \| a_{i} \| ^{2} = \mathrm{tr}(AA^{T}) = \mathrm{tr}(A^{T}A) $$ 由于 $ A^T A $ 是对称半正定矩阵，其非零特征值恰好是 $ A $ 的奇异值的平方，即 $ \lambda_j(A^T A) = \sigma_j^2 $，那么 $$ \text{tr}(A^T A) = \sum_{j=1}^r \lambda_j(A^T A) = \sum_{j=1}^r \sigma_j^2 $$ 证毕。
Exercise 3
设 $ A $ 的 SVD 分解为 $ A=U\Sigma V^{T} $，其中 $ \Sigma=\text{diag}(\sigma_{1},\dots,\sigma_{n}) $ 且 $ \sigma_{i}>0 $。那么 $ A $ 的逆矩阵为 $$ A^{-1} = (U\Sigma V^{T})^{-1} = (V^{T})^{-1}\Sigma ^{-1}U^{-1} = V\Sigma ^{-1}U^{T} $$ 其中根据对角矩阵的性质 $ A^{-1}=\text{diag}(1 / \sigma_{1},\dots,1 / \sigma_{n}) $。从而 $ A^{-1} $ 的奇异值是 $ A $ 的奇异值的倒数。
Exercise 4
由于 $ R $ 是 $ \mathbb{R}^m $ 的基矩阵，它是可逆的。我们有 $$ A = R (R^{-1} A) $$ 由于 $ A $ 的每个列向量都属于 $ \text{Col}(A)=\text{span}\{ r_{1},\dots,r_{r} \} $，在基地 $ R $ 的坐标中只有前 $ r $ 个分量非零，因此 $ R^{-1}A $ 必然是 $ \left[ B\atop 0 \right] $ 的形式，其中 $ B $ 为 $ r \times n $ 的矩阵。
因为 $ \text{rank}(A)=r $ 且 $ R $ 可逆，所以 $ \text{rank}(B)=r $。我们可以将 $ B $ 的 $ r $ 个行向量扩充为 $ \mathbb{R}^n $ 的一组基，从而构造一个 $ n \times n $ 的可逆矩阵 $$ C = \begin{bmatrix} B \\ Y \end{bmatrix} $$ 我们计算 $ R\Sigma C $ 为 $$ R \Sigma C = R \begin{bmatrix} I_r & 0 \\ 0 & 0 \end{bmatrix} \begin{bmatrix} B \\ Y \end{bmatrix} = R \begin{bmatrix} B \\ 0 \end{bmatrix} = R (R^{-1} A) = A $$ 设 $ c_k^T $ 为矩阵 $ C $ 的第 $ k $ 行。利用矩阵乘法的行列展开 $$ A = R \begin{bmatrix} c_1^T \\ \vdots \\ c_r^T \\ 0 \end{bmatrix} = \sum_{k=1}^r r_k c_k^T $$ 由于 $ C $ 是满秩矩阵，其行向量 $ c_1, \dots, c_r $ 必然线性无关。证毕。