Exercise 1
不唯一。只有奇异值 $ \Sigma $ 是唯一的，而 $ U,V $ 通常不唯一。首先我们改变 $ U,V $ 中对应列的符号不会产生影响；其次相同的奇异值对应的奇异向量可以在保持正交的情况下任意变换，也不会对 SVD 分解产生影响；并且如果存在零奇异值，也可以任意选择。
Exercise 2
我们需要证明对于所有 $ k\in \{ r+1,\dots, m\} $ 满足 $ AA^{T}u_{k}=\mathbf{0} $。
首先根据正交矩阵，因此对于任意 $ j\in [r] $ 和 $ k\in \{ r+1,\dots,m \} $，有 $ u_{j}^{T}u_{k}=0 $。我们考虑 $ A $ 的列空间，显然 $ \{ u_{j} \}_{j=1}^{r} $ 是 $ AA^{T} $ 的非零特征值对应的特征向量，构成了 $ \text{Col}(A) $ 的一组正交基，从而 $ \{ u_{k} \}_{k=r+1}^{m} $ 属于 $ \text{Col}(A) $ 的正交补空间，也就属于 $ A^{T} $ 的零空间，因此 $$ A^{T}u_{k} = \mathbf{0},\quad k=r+1,\dots,m $$ 带入就有 $ AA^{T}u_{k}=\mathbf{0} $，证毕。
Exercise 3
由于一般情况下的 SVD 分解满足 $ Av_{j}=\sigma_{j}u_{j} $，因此和题设对比，得到 $ \sigma_{j}=1 $。从而 $ \Sigma=I $。带入就得到了 $$ A = UV^{T} $$ 验证有 $$ Av_{j}=(UV^{T})v_{j}=U(V^{T}v_{j})=Ue_{j} = u_{j} $$
Exercise 4
设 $ v_1, \dots, v_n $ 是 $ A^TA $ 的特征向量，它们构成 $ \mathbb{R}^n $ 的一组标准正交基。 任意向量 $ x $ 可以表示为 $ x = c_1 v_1 + \dots + c_n v_n $。 那么 $ ||x||^2 = \sum_{i=1}^n c_i^2 $。
那么根据 SVD 的性质，有 $$ \begin{align*} Ax & =\sum_{i=1}^{n} c_i A v_i \\ & = \sum_{i=1}^{n} c_{i}\sigma_{i}u_{i} \\ \implies \| Ax \| ^{2} & = \sum_{i=1}^{n} c_{i}^{2}\sigma_{i}^{2} \end{align*} $$ 带入就有 $$ \dfrac{\| Ax \| ^{2}}{\| x \| ^{2}} = \dfrac{\sum_{i=1}^{n} c_{i}^{2}\sigma_{i}^{2}}{\sum_{i=1}^{n} c_{i}^{2}} \leq \sigma_{1}^{2}\cdot \dfrac{\sum_{i=1}^{n} c_{i}^{2}}{\sum_{i=1}^{n} c_{i}^{2}} = \sigma_{1}^{2} $$ 并且当 $ x=v_{1} $ 时就有 $$ \dfrac{\| Av_{1} \| }{\| v_{1} \| } = \dfrac{\| \sigma_{1} v_{1} \| }{1} = \sigma_{1} $$ 所以最大值可以取到 $ \sigma_{1} $，从而 $ \| A \|=\sigma_{1} $，得证。
Exercise 5
(1)
根据定义，对于任意 $ x $，有 $$ \| Mx \| \leq \| M \| \cdot \| x \| $$ 因此对于任意 $ x \in \mathbb{R}^{n} $，有 $$ \begin{align*} \| (A+B)x \| & = \| Ax+Bx \| \\ & \leq \| Ax \| + \| Bx \| \\ & \leq (\| A \| +\| B \| )\cdot \| x \| \end{align*} $$ 这等价于 $$ \dfrac{\| (A+B)x \| }{\| x \| } \leq \| A \| + \| B \| $$ 从而 $$ \| A+B \| = \max_{x \in \mathbb{R}^{n}} \dfrac{\| (A+B)x \| }{\| x \| } \leq \| A \| + \| B \| $$ (2)
因此对于任意 $ x \in \mathbb{R}^{n} $，有 $$ \begin{align*} \| ABx \| & = \| A(Bx) \| \\ & \leq \| A \| \cdot \| Bx \| \quad (y=Bx \in \mathbb{R}^{n}) \\ & \leq \| A \| \cdot \| B \| \cdot \| x \| \end{align*} $$ 这等价于 $$ \dfrac{\| ABx \| }{\| x \| } \leq \| A \| \cdot \| B \| $$ 从而 $$ \| AB \| = \max_{x \in \mathbb{R}^{n}} \dfrac{\| ABx \| }{\| x \| } \leq \| A \| \cdot \| B \| $$