Exercise 1
(1)
如果 $ A=B $，那么 $ Ax=Bx $ 对于所有 $ x \in \mathbb{R}^{n\times 1} $ 是显然的。
如果 $ \forall x \in \mathbb{R}^{n\times 1} $，都有 $ Ax=Bx $，那么我们有 $ (A-B)x=0 $。由于 $ x $ 是 $ \mathbb{R}^{n} $ 中的任意一个向量，说明 $ A-B $ 的零空间是 $ \mathbb{R}^{n} $，因此 $ \text{rank}(A-B)=0 $，也就有 $ A-B=0 $，从而 $ A=B $。
(2)
$ A(A^{T}A)^{-1}A^{T} $ 和 $ B(B^{T}B)^{-1}B^{T} $ 分别是 $ A $ 和 $ B $ 的投影矩阵，记为 $ P_{A},P_{B} $。
如果 $ P_{A}=P_{B} $，那么对于任意 $ x \in \mathbb{R}^{m} $，我们都有 $ P_{A}x=P_{B}x $，从而 $ x $ 在 $ C(A),C(B) $ 上的投影相同。如果 $ C(A)\neq C(B) $，就会存在一个向量使得它在 $ C(A),C(B) $ 上的投影结果不一致，矛盾。因此 $ C(A)=C(B) $。
如果 $ C(A)=C(B) $，说明 $ B $ 可以经过线性变换得到 $ A $。从而存在可逆矩阵 $ P $ 使得 $ A=BP $，于是 $$ \begin{align*} A(A^{T}A)^{-1}A^{T} & = (BP)[(BP)^{T}BP]^{-1}(BP)^{T} \\ & = BP[P^{T}B^{T}BP]^{-1}P^{T}B^{T} \\ & = BP P^{-1}(B^{T}B)^{-1}(P^{T})^{-1}P^{T}B^{T} \\ & = B(B^{T}B)^{-1}B^{T} \end{align*} $$
Exercise 2
首先我们证明 $ (V^{\perp})^{\perp}\subseteq V $。设 $ \omega \in(V^{\perp})^{\perp} $，那么 $ \omega $ 和 $ V^{\perp} $ 中的所有向量正交。由于 $ V^{\perp} $ 中的所有向量都和 $ V $ 中的向量正交，因此 $ \omega \in V $，从而 $ (V^{\perp})^{\perp}\subseteq V $。
接着证明 $ V\subseteq(V^{\perp})^{\perp} $。设 $ v\in V $，那么 $ \forall w\in V^{\perp} $，我们有 $ \langle v,w \rangle=0 $，这也意味着 $ v\in(V^{\perp})^{\perp} $，从而 $ V\subseteq(V^{\perp})^{\perp} $。
综上，我们证明了 $ V=(V^{\perp})^{\perp} $。
Exercise 3
证
根据命题 $ (1) $，我们知道存在矩阵 $ A $ 使得 $ V=C(A) $。我们将命题 $ (3) $ 应用于 $ A^{T} $，得到 $$ \text{rank}(A^{T}) + \text{dim}(N(A^{T})) = n $$ 由于 $ \text{rank}(A)=\text{dim}(C(A))=\text{dim}(V) $ 并且 $ \text{rank}(A)=\text{rank}(A^{T}) $，我们得到 $$ \text{dim}(V) + \text{dim}(N(A^{T})) = n $$ 再利用命题 $ (2) $ 的结论，我们得到 $ C(A)^{\perp}=N(A^{T}) $，从而 $ V^{\perp}=N(A^{T}) $，带入即可得到 $$ \text{dim}(V) + \text{dim}(V^{\perp}) = n $$ 根据命题 $ (4) $，我们得到 $ \text{dim}(V+V^{\perp})=\text{dim}(V)+\text{dim}(V^{\perp})=n $。
由于 $ V+V^{\perp} $ 是 $ \mathbb{R}^{n} $ 的一个子空间，并且维度为 $ n $。根据命题 $ (5) $，我们可以推出 $ V+V^{\perp}=\mathbb{R}^{n} $，否则必然有 $ \text{dim}(V+V^{\perp})< \text{dim}(\mathbb{R}^{n})=n $。
证毕。
Exercise 4
证
我们用极坐标表示 $ v\in \mathbb{R}^{2} $，令 $ v=(r\cos\alpha,r\sin\alpha)^{T} $，那么 $$ Qv = (r\cos\theta \cos\alpha-r\sin\theta \sin\alpha,r\sin\theta \cos\alpha+r\cos\theta \sin\alpha)^{T} $$ 化简得到 $$ Qv = (r\cos(\theta+\alpha),r\sin(\theta+\alpha)) $$ 得到了一个单位圆旋转角为 $ \theta+\alpha $ 的单位向量，可以看成 $ v $ 逆时针旋转 $ \theta $ 角度。证毕。
Exercise 5
解
矩阵 $ A $ 的列向量分别为 $ a_{1}=(1,2,-2)^{T},a_{2}=(1,-1,4)^{T} $。我们进行 G-S 正交化，首先 $ v_{1}=a_{1}=(1,2,-2)^{T} $，再得到与 $ v_{1} $ 正交的向量 $$ v_{2} = a_{2} - \dfrac{a_{2}\cdot v_{1}}{\| v_{1} \| ^{2}}\cdot v_{1} = \begin{pmatrix} 2 \\ 1 \\ 2 \end{pmatrix} $$ 标准化后得到 $$ q_{1} = \begin{pmatrix} 1 / 3 \\ 2 / 3 \\ -2 / 3 \end{pmatrix}, q_{2} = \begin{pmatrix} 2 / 3 \\ 1 / 3 \\ 2 / 3 \end{pmatrix} $$
接着我们用最小二乘法求解 $ Ax=(1,2,7)^{T} $。最小二乘解满足 $$ A^{T}A\hat{x} = A^{T}b $$ 带入得到 $$ A^{T}A = \begin{pmatrix} 9 & -9 \\ -9 & 18 \end{pmatrix},A^{T}b = \begin{pmatrix} -9 \\ 27 \end{pmatrix} $$ 得到 $$ \begin{pmatrix} 1 & -1 \\ -1 & 2 \end{pmatrix}\hat{x} = \begin{pmatrix} -1 \\ 3 \end{pmatrix} \implies \hat{x} = \begin{pmatrix} 1 \\ 2 \end{pmatrix} $$
Exercise 6
对于给定向量，记 $$ a_{1} = \begin{pmatrix} 1 \\ 1 \\ 2 \end{pmatrix},a_{2} = \begin{pmatrix} 1 \\ -1 \\ 0 \end{pmatrix}, a_{3} = \begin{pmatrix} 1 \\ 0 \\ 4 \end{pmatrix} $$ 首先得到 $$ q_{1} = \dfrac{a_{1}}{\| a_{1} \| } = \begin{pmatrix} \dfrac{1}{\sqrt{ 6 }} & \dfrac{1}{\sqrt{ 6 }} & \dfrac{2}{\sqrt{ 6 }} \end{pmatrix}^{T} $$ 进一步得到（$ a_{1},a_{2} $ 正交） $$ q_{2} = \dfrac{a_{2}}{\| a_{2} \| } = \begin{pmatrix} \dfrac{1}{\sqrt{ 2 }} & -\dfrac{1}{\sqrt{ 2 }} & 0 \end{pmatrix}^{T} $$ 接着计算 $ q_{1},q_{2} $ 的正交向量 $$ v_{3} = a_{3} - (a_{3}\cdot q_{1})q_{1} - (a_{3}\cdot q_{2})q_{2} = \begin{pmatrix} -1 \\ -1 \\ 1 \end{pmatrix} $$ 标准化得到 $$ q_{3} = \begin{pmatrix} -\dfrac{1}{\sqrt{ 3 }} & -\dfrac{1}{\sqrt{ 3 }} & \dfrac{1}{\sqrt{ 3 }} \end{pmatrix}^{T} $$