《linear algebra done wrong》上正交投影矩阵的公式是怎么推导出来的？
2023-06-13 阅读 34
《Linear Algebra Done Wrong》一书中第七章讨论了正交投影矩阵。该矩阵可以将向量投影到一个子空间上，同时保持向量在该子空间上的长度不变。下面是该书中对于正交投影矩阵的推导过程：
假设$W$是一个$n$维向量空间的子空间，$P$是一个线性变换，将向量$v$投影到$W$上。那么，$P$的矩阵表示应该满足以下条件：
1. 对于任意向量$v\in W$，$Pv=v$，即$v$在$W$上的投影等于自身。
2. 对于任意向量$u\in W^\perp$，$Pu=0$，即$u$在$W$上的投影为零。
考虑一个基于$W$的正交基$\{w_1,\cdots,w_k\}$和$W^\perp$的正交基$\{w_{k+1},\cdots,w_n\}$。那么，$P$的矩阵表示应该满足以下条件：
1. 对于任意向量$v\in W$，$Pv=\sum_{i=1}^k\langle v,w_i\rangle w_i$，即$v$在$W$上的投影是基向量的线性组合。
2. 对于任意向量$u\in W^\perp$，$Pu=\sum_{i=k+1}^n\langle u,w_i\rangle w_i$，即$u$在$W$的正交补上的投影是基向量的线性组合。
我们可以将$P$的矩阵表示写成$P=[w_1,\cdots,w_k|w_{k+1},\cdots,w_n]M$的形式，其中$[w_1,\cdots,w_k|w_{k+1},\cdots,w_n]$是由$W$和$W^\perp$的基向量组成的矩阵，$M$是一个$n\times n$的矩阵。根据上面的条件，我们可以得到以下等式：
$$\begin{aligned} Pw_i &= w_i, \quad i=1,\cdots,k \\ Pw_i &= 0, \quad i=k+1,\cdots,n \end{aligned}$$
将$P=[w_1,\cdots,w_k|w_{k+1},\cdots,w_n]M$代入上述等式，我们可以得到以下等式：
$$\begin{aligned} [w_1,\cdots,w_k|w_{k+1},\cdots,w_n]Mw_i &= w_i, \quad i=1,\cdots,k \\ [w_1,\cdots,w_k|w_{k+1},\cdots,w_n]Mw_i &= 0, \quad i=k+1,\cdots,n \end{aligned}$$
根据正交基的性质，我们可以得到以下等式：
$$\begin{aligned} Mw_i &= w_i, \quad i=1,\cdots,k \\ Mw_i &= 0, \quad i=k+1,\cdots,n \end{aligned}$$
也就是说，$M$的第一部分是一个单位矩阵，第二部分是一个零矩阵。因此，$M$的矩阵表示为：
$$M=\begin{bmatrix} I_k & 0 \\ 0 & 0 \end{bmatrix}$$
其中$I_k$是$k\times k$的单位矩阵。将$M$代入$P=[w_1,\cdots,w_k|w_{k+1},\cdots,w_n]M$，我们可以得到：
$$P=[w_1,\cdots,w_k]\begin{bmatrix} I_k \\ 0 \end{bmatrix}=[w_1,\cdots,w_k][w_1,\cdots,w_k]^T$$
这就是正交投影矩阵的公式。
更新于 2023年06月14日
