A4: 벡터미분
A. 해결하고 싶은것
아래와 같은 선형모형이 있다고 가정하자.
\[{\bf y}={\bf X}{\boldsymbol \beta} + {\boldsymbol \epsilon}\]
이러한 모형에 대하여 아래와 같이 손실함수를 정의하자.
\[loss({\boldsymbol \beta}) = ({\bf y} - {\bf X}{\boldsymbol \beta})^\top({\bf y} - {\bf X}{\boldsymbol \beta}) \]
이때 손실함수의 미분값을 아래와 같이 주어지고,
\[\frac{\partial}{\partial {\boldsymbol \beta}}loss({\boldsymbol \beta}) = -2{\bf X}^\top{\bf y}+2{\bf X}^\top{\bf X}{\boldsymbol \beta}\]
따라서 손실함수를 최소화하는 추정량이 아래와 같이 주어짐을 보여라.
\[\hat{\boldsymbol \beta} = ({\bf X}^\top {\bf X})^{-1}{\bf X}^\top{\bf y}\]
B. 해설강의 및 보충자료
https://github.com/guebin/DL2024/blob/main/posts/02wksupp.pdf