Exercise 1
(1) $$ u\cdot v = v\cdot u = \sum_{i=1}^{m} v_{i}w_{i} $$ (2) $$ (u+v)\cdot w = u\cdot w + v\cdot w = \sum_{i=1}^{m} (v_{i}+u_{i})w_{i} $$ (3) $$ cu\cdot v = c(u\cdot v) = \sum_{i=1}^{m} (c\cdot u_{i}v_{i}) $$ (4) $$ u\cdot u = \sum_{i=1}^{m} u_{i}^{2} \geq 0 $$ 若 $ u\cdot u = 0 $，可以得到 $ u_{i}=0 $，从而 $ u=\mathbf{0} $。
Exercise 2
$$ u\perp v \implies u\cdot v = \sum_{i=1}^{m} u_{i}v_{i} = 0 $$ 从而 $$ \begin{align*} \| u+v \| ^{2} & = \sum_{i=1}^{m} (u_{i}+v_{i})^{2} \\ & = \sum_{i=1}^{m} u_{i}^{2} + \sum_{i=1}^{m} v_{i}^{2} + 2\sum_{i=1}^{m} u_{i}v_{i} \\ & = \sum_{i=1}^{m} u_{i}^{2} + \sum_{i=1}^{m} v_{i}^{2} \\ & = \| u \| ^{2} + \| v \| ^{2} \end{align*} $$
Exercise 3
(1)
我们取 $ V $ 的一组基向量（共有 $ \text{dim}V=n $ 个）$ \{ v_{n} \} $。将这些向量拼起来，从而就得到了一个 $ m\times n $ 的矩阵 $$ A = \begin{pmatrix} v_{1} & v_{2} & v_{3} & \dots & v_{n} \end{pmatrix} $$ 由于 $ \{ v_{n} \} $ 是一组线性无关的基向量，因此满足 $ V=C(A) $。
(2)
$ e $ 垂直于 $ V $ 说明 $ e $ 和 $ V $ 中的每一个向量都垂直。我们取 $ (1) $ 中取出的基 $ \{ v_{n} \} $，从而 $ v_{i}^{T}e=0 $，带入所有的 $ v_{i} $，就有 $$ A^{T}e = \mathbf{0} \implies A^{T}(v-p) = \mathbf{0} $$ 由于 $ p \in V=C(A) $，就有 $ p=Ax $，从而 $$ A^{T}v = A^{T}Ax \implies x = (A^{T}A)^{-1}A^{T}v $$ 其中由于 $ \text{rank}(A)=n $，从而 $ \text{rank}(A^{T}A)=n $，得到这是一定一个可逆矩阵。因此 $$ p = Ax = A(A^{T}A)^{-1}A^{T}v $$ 一定存在。
(3)
我们带入 $ v=p+e $，那么只需要证明 $$ \| p+e-u \| = \| e + (p-u) \| \geq \| e \| $$ 由于 $ e\perp V $，并且 $ p-u\in V $，因此 $$ \| e+(p-u) \| ^{2} = \| e \| ^{2} + \| p-u \| ^{2} \geq \| e \| ^{2} $$ 等号当且仅当 $ u=p $。两边再开平方即可得到目标式子，得证。
(4)
我们带入 $ \text{dist} $ 的定义，有 $$ \text{dist}(v,V) = \min_{u\in V}\| u-v \| \geq \| e \| $$ 并且在 $ u=p $ 时就有 $ \| u-v \|=\| e \| $。因此 $$ \text{dist}(v,V) = \| e \| $$
Exercise 4
(1) $$ e = b - \dfrac{a\cdot b}{\| a \|^{2} }\cdot a = \begin{bmatrix} 1 \\ 2 \\ 2 \end{bmatrix} - \dfrac{5}{3}\cdot \begin{bmatrix} 1 \\ 1 \\ 1 \end{bmatrix} = \begin{bmatrix} -2 / 3 \\ 1 / 3 \\ 1 / 3 \end{bmatrix} $$ (2) $$ e = b - \dfrac{a\cdot b}{\| a \|^{2} }\cdot a = \begin{bmatrix} 1 \\ 3 \\ 1 \end{bmatrix} - \dfrac{-11}{11}\cdot \begin{bmatrix} -1 \\ -3 \\ -1 \end{bmatrix} = \mathbf{0} $$
Exercise 5
(1)
首先计算 $ A^T A $ $$ A^T A = \begin{pmatrix} 1 & 1 \\ 1 & 2 \end{pmatrix} \implies (A^T A)^{-1} = \begin{pmatrix} 2 & -1 \\ -1 & 1 \end{pmatrix} $$ $$ $$ 得到 $$ A^T b = \begin{pmatrix} 2 \\ 5 \end{pmatrix} $$
投影向量 $ p $ 为 $$ p = A (A^T A)^{-1} A^T b = \begin{pmatrix} 2 \\ 3 \\ 0 \end{pmatrix} $$
误差向量 $ e $ 为 $$ e = b - p = \begin{pmatrix} 0 \\ 0 \\ 4 \end{pmatrix} $$
(2)
首先计算 $ A^T A $ $$ A^T A = \begin{pmatrix} 2 & 2 \\ 2 & 3 \end{pmatrix} \implies (A^T A)^{-1} = \begin{pmatrix} 3/2 & -1 \\ -1 & 1 \end{pmatrix} $$
得到 $$ A^T b = \begin{pmatrix} 8 \\ 14 \end{pmatrix} $$
投影向量 $ p $ 为 $$ p = A (A^T A)^{-1} A^T b = \begin{pmatrix} 4 \\ 4 \\ 6 \end{pmatrix} $$
误差向量 $ e $ 为 $$ e = b - p = \begin{pmatrix} 0 \\ 0 \\ 0 \end{pmatrix} $$