코사인 법칙을 적용해 (4.2.2)를 유도하여라.
Section 4.2 정사영
Subsection 4.2.1 직선으로의 정사영
평면의 벡터
\begin{equation*}
\boldsymbol v = (a,b)
\end{equation*}
를 \(x\)축으로 정사영하면 축 위의 벡터
\begin{equation*}
\hat {\boldsymbol v} = (a,0)
\end{equation*}
을 얻는다. 정사영한 벡터만큼을 차감해
\begin{equation*}
\boldsymbol e = \boldsymbol v - \hat {\boldsymbol v} = (0,b)
\end{equation*}
를 얻는다. 종합하면
\begin{equation*}
\boldsymbol v = \hat{\boldsymbol v} + \boldsymbol e
\end{equation*}
은 주어진 벡터를 \(x\)축과 \(y\)축 성분으로 분해한 것이다.
\(x\)축이 아닌 다른 1차원 부분공간에 대해서도 비슷한 방식으로 정사영과 벡터 분해가 가능하다.
\begin{equation*}
\boldsymbol l \in \mathbf R^2 - \{0\}
\end{equation*}
가 영이 아닌 벡터이고, 직선
\begin{equation*}
L = \operatorname{span}\left(l\right)
\end{equation*}
을 스팬한다고 하자. 이때, \(\boldsymbol x\)을 직선 \(L\)으로 정사영한 벡터는
\begin{equation}
\hat{\boldsymbol v} = \frac{\boldsymbol v \bullet \boldsymbol l }{\boldsymbol l \bullet \boldsymbol l } \cdot \boldsymbol l\tag{4.2.1}
\end{equation}
으로 나타난다. 왜 그런지 살펴보자. 정사영한 결과는 \(L\)에 속하므로
\begin{equation*}
\hat{\boldsymbol v} = a \cdot \boldsymbol l,\hspace{5pt}\text{(단, $a$는 스칼라)}
\end{equation*}
일 것이고, 미지의 스칼라 \(a\)를 정하면 된다. \(\boldsymbol v\)와 \(\boldsymbol l\)을 두 변으로 하는 삼각형에 코사인법칙을 적용해
\begin{equation}
a = \frac{\boldsymbol v \bullet \boldsymbol l }{\boldsymbol l \bullet \boldsymbol l }\tag{4.2.2}
\end{equation}
를 얻는다.
문제 4.2.2.
벡터의 분해로 쓰기 위해
\begin{equation*}
\boldsymbol e =\boldsymbol v - \hat{\boldsymbol v}
\end{equation*}
로 놓으면 당연히
\begin{equation*}
\boldsymbol v = \hat{\boldsymbol v}+\boldsymbol e
\end{equation*}
가 되는데, 여기서
\begin{equation*}
\hat{\boldsymbol v} \perp \boldsymbol e
\end{equation*}
이 성립한다. 왜냐하면,
\begin{align*}
\hat{\boldsymbol v} \bullet \boldsymbol e \amp =\hat{\boldsymbol v} \bullet \left(\boldsymbol v - \hat{\boldsymbol v}\right)\\
\amp =\hat{\boldsymbol v} \bullet \boldsymbol v - \hat{\boldsymbol v} \bullet \hat{\boldsymbol v}\\
\amp =\frac{(\boldsymbol v \bullet \boldsymbol l)^2}{\boldsymbol l \bullet \boldsymbol l} - \frac{(\boldsymbol v \bullet \boldsymbol l)^2}{(\boldsymbol l \bullet \boldsymbol l)^2}\cdot (\boldsymbol l \bullet \boldsymbol l)\\
\amp = 0
\end{align*}
이기 때문이다.
\begin{equation}
\hat{\boldsymbol v} = (\boldsymbol v \bullet \boldsymbol l)\boldsymbol l\tag{4.2.3}
\end{equation}
이 된다.
정사영한 벡터를 최솟값문제의 해로 볼 수 있다.
정리 4.2.3. 평면에서 정사영과 거리.
\(\boldsymbol x \in L\)일 때,
\begin{equation*}
|\!|\boldsymbol x - \boldsymbol v |\!| \le |\!|\boldsymbol e |\!|
\end{equation*}
이다. 등호가 성립할 필요충분조건은 \(\boldsymbol x = \hat{\boldsymbol v}\)이다.
증명.
삼각부등식을 사용하라.
Subsection 4.2.2 부분공간으로의 정사영
\(S \subset \mathbf R^n\)이 부분공간일 때, \(S\)로의 정사영에 대해 알아보자.
정리 4.2.4.
임의의 \(\boldsymbol v\)는
\begin{equation}
\boldsymbol v = \boldsymbol s + \boldsymbol e,\hspace{5pt}\text{(단, $\boldsymbol s \in S$, $\boldsymbol e \in S^\perp$)}\tag{4.2.4}
\end{equation}
로 표현된다. 이 때, \(\boldsymbol s\)와 \(\boldsymbol e\)는 유일하다.
증명.
원하는 분해 \(\boldsymbol v = \boldsymbol s + \boldsymbol e\)가 가능한지 먼저 보이자. \(S\)의 차원을 \(r\)이라 하면, \(S^\perp\)의 차원은 \(n-r\)이다. \(S\)의 기저 \(\boldsymbol v_1,\cdots \boldsymbol v_r\)와 \(S^\perp\)의 기저 \(\boldsymbol w_1, \cdots \boldsymbol w_{n-r}\)를 고르면 \(n\)개의 벡터 \(\boldsymbol v_1,\cdots,\boldsymbol v_{r},\boldsymbol w_1,\cdots,\boldsymbol w_{n-r}\)은 \(\mathbf R^n\)에서 선형독립인 \(n\)개의 벡터이므로 기저가 된다. 따라서 원하는 분해가 가능하다.
유일성은 \(S \cap S^\perp=0\)으로부터 나온다.
정의 4.2.5.
(4.2.4)에서 \(\boldsymbol s\)를 벡터 \(\boldsymbol v \in \mathbf R^n\)의 부분공간 \(S \subset \mathbf R^n\)으로의 정사영이라 한다.
\(\boldsymbol v \in \mathbf R^n\)을 \(S\)로 정사영한 벡터를 \(\hat {\boldsymbol v}\)로 나타내고, \(\boldsymbol e =\boldsymbol v - \hat{\boldsymbol v}\)라 하자.
정리 4.2.6. 정사영과 거리.
\(\boldsymbol x \in V\)일 때,
\begin{equation*}
|\!|\boldsymbol x - \boldsymbol v |\!| \le |\!|\boldsymbol e |\!|
\end{equation*}
이다. 등호가 성립할 필요충분조건은 \(\boldsymbol x = \hat{\boldsymbol v}\)이다.
증명.
삼각부등식을 사용하라.
직선으로의 정사영에서와 같이 \(\hat{\boldsymbol v}\)을 표현할 방법을 원한다. 다음 절 내용을 활용하려 한다.
Subsection 4.2.3 \(A^\operatorname{T}A\)의 가역성
전치와 곱셈은 다음 관계
\begin{equation}
(XY)^{\operatorname{T}}=Y^{\operatorname{T}}X^{\operatorname{T}}\tag{4.2.5}
\end{equation}
을 만족한다.
문제 4.2.7. 전치와 곱셈.
(4.2.5)을 증명하여라.
단서.
성분끼리 비교하여라. 각 성분을 벡터의 내적으로 표현하고, \(\boldsymbol v \bullet \boldsymbol w= \boldsymbol w = \boldsymbol v\)를 이용하여라.
정리 4.2.8.
행렬 \(A\)의 열벡터가 선형독립이면 \(A^\operatorname{T}A\)는 가역이다.
증명.
\(A\)가 \(m \times n\)행렬이라면 \(A^\operatorname{T}A\)는 \(n \times n\) 정사각행렬이다. 문제 4.2.9가 성립하므로 \(\ker(A^\operatorname{T}A)=0\)을 보이면 충분하다.
\(A^\operatorname{T}A \boldsymbol x = 0\)이라면 \(\boldsymbol x^{\operatorname{T}}A^\operatorname{T}A \boldsymbol x = 0\)이다. (4.2.5)와 곱셈의 결합법칙을 사용해 식을 변형해
\begin{equation*}
0=\boldsymbol x^{\operatorname{T}}A^\operatorname{T}A \boldsymbol x =(A \boldsymbol x)^{\operatorname{T}} (A \boldsymbol x)= (A \boldsymbol x) \bullet(A \boldsymbol x)
\end{equation*}
를 얻는다. 즉, \(|\!|A \boldsymbol x|\!|=0\)이다. 원하던 결론 \(A \boldsymbol x=0\)을 얻는다.
문제 4.2.9. 정사각행렬의 가역성.
증명하여라: 정사각행렬이 가역일 필요충분조건은 커널이 영공간인 것이다.
단서.
커널이 영공간일 때 가역인 것을 보이기 위해서 PA=LU분해를 활용하여라.
Subsection 4.2.4 정사영의 행렬표현
\(\boldsymbol v\)의 \(S\)로의 정사영 \(\hat{\boldsymbol v}\)를 행렬로 표현해보자. \(S\)의 기저 \(\boldsymbol c_1,\cdots,\boldsymbol c_r\)을 찾아 \(A=\begin{bmatrix}\boldsymbol c_1 \amp \cdots \amp \boldsymbol c_r\end{bmatrix}\)라 하자.
\(\hat{\boldsymbol v} \in S\)이고 \(S=\operatorname{C}(A)\)이므로 적당한 \(\boldsymbol b \in \mathbf R^r\)에 대하여 \(\hat{\boldsymbol v}=A\boldsymbol b\)이다. 더 나아가, 기저의 선형독립으로부터 \(\boldsymbol b\)는 유일하다. 따라서, \(\hat{\boldsymbol v}\)를 찾는 문제는 \(\boldsymbol b\)를 찾는 문제로 환원된다.
\(\boldsymbol e = \boldsymbol v - \hat{\boldsymbol v}\) 대신
\begin{equation*}
\boldsymbol e = \boldsymbol v - A \boldsymbol b
\end{equation*}
라 쓰고 \(\boldsymbol b\)를 찾아보자. 양변에 \(A^{\operatorname{T}}\)를 곱해
\begin{equation}
A^{\operatorname{T}}\boldsymbol e = A^{\operatorname{T}}\boldsymbol v - A^{\operatorname{T}}A \boldsymbol b\tag{4.2.6}
\end{equation}
를 얻는다. 정사영의 정의로부터 \(\boldsymbol e \in S^\perp\)인데 기본부분공간의 관계로부터 \(S^\perp=\ker(A^{\operatorname{T}})\)이기도 하므로 \(A^{\operatorname{T}}\boldsymbol e =0\)을 얻는다. 따라서 (4.2.6)는
\begin{equation*}
A^{\operatorname{T}}\boldsymbol v = A^{\operatorname{T}}A \boldsymbol b
\end{equation*}
이다. 정리 4.2.8로부터 \(A^{\operatorname{T}}A\)가 가역이므로
\begin{equation*}
(A^{\operatorname{T}}A)^{-1}A^{\operatorname{T}}\boldsymbol v = \boldsymbol b
\end{equation*}
를 얻는다.
\(\hat{\boldsymbol v}\)를 표현하기 위해서는 \(A\boldsymbol b=\hat{\boldsymbol v}\)이므로 양변에 \(A\)를 곱하면 된다. 즉,
\begin{equation}
A(A^{\operatorname{T}}A)^{-1}A^{\operatorname{T}}\boldsymbol v = \hat{\boldsymbol v}\tag{4.2.7}
\end{equation}
이다.
결론적으로, 정사영을 표현하는 행렬은
\begin{equation}
P:=A(A^{\operatorname{T}}A)^{-1}A^{\operatorname{T}}\tag{4.2.8}
\end{equation}
으로 주어진다.
\begin{equation*}
P\boldsymbol v = \hat{\boldsymbol v}
\end{equation*}
이기 때문이다.
Subsection 4.2.5 정사영 행렬의 성질
명제 4.2.10.
정사영행렬 \(P\)는 두 식 \(P^2=P\)과 \(P^\operatorname{T}=P\)를 만족한다.
증명.
명제 4.2.10에서 살펴본 정사영행렬의 성질은 정사영행렬의 특징이다.
명제 4.2.11.
행렬 \(Q\)가 \(Q^2=Q\)와 \(Q^\operatorname T=Q\)를 만족하면 \(Q\)는 \(\operatorname{C}(Q)\)로의 정사영이다.
증명.
연습문제 4.2.6 명제 4.2.10의 증명
다음 순서에 따라 명제 4.2.10을 증명해보자.
1.
\(\boldsymbol x \in \operatorname{C}(A)\)이면 \(P\boldsymbol x=\boldsymbol x\)임을 보여라.
2.
이어서, \(P^2=P\)임을 보여라.
단서.
\(A\)와 \(P\)의 열공간은 같다.
3.
(4.2.8)로부터 \(P^\operatorname T=P\)임을 보여라.
단서.
연습문제 4.2.7 명제 4.2.11의 증명
1.
행렬 \(Q\)가 대칭인 것을 이용하여 \(\ker(Q)^{\perp}=\operatorname{C}(Q)\)임을 보여라.
단서.
2.
\(Q^2=Q\)를 이용하여, 임의의 \(\boldsymbol x \in \mathbf R^n\)에 대하여 \(Q\boldsymbol x - \boldsymbol x \in \ker(Q)\)임을 보여라.
단서.
\(Q\)를 작용해 결과가 영벡터임을 보이면 된다.
3.
종합하여, \(Q\)가 \(\operatorname{C}(Q)\)로의 정사영임을 보여라.
단서.
Subsection 4.2.2에서 정사영의 정의를 상기하자.
