기본 개념

• 그래디언트 $\nabla_k = \frac{df}{d \mathbf{n}_k}$, $\nabla f = \left( \frac{df}{dx}, \frac{df}{dy}, \cdots \right)$

  • $D_{\mathbf{u}}=\nabla f \cdot \mathbf{u}$ → grad의 방향으로 제일 가파르게 증가하는 게 경사하강법의 핵심 아이디어

• 헤시안(Hessian) $\nabla^2$: $\nabla^2 f = \nabla^T \nabla f = \begin{bmatrix} f_{xx} & f_{xy} \\ f_{yx} & f_{yy} \end{bmatrix}$

  • $f''$가 연속이면 $f_{xy}=f_{yx}$이니 헤시안이 대칭행렬

• 테일러 정리: 다변수함수 $f$가 점 $\mathrm{x}_0$의 근방에서 연속인 편도함수를 가지면, 적당한 $t \in (0,1)$이 존재하여 다음이 성립한다.

  $$ f(\mathbf{x})=f(\mathbf{x}_0)+\nabla f(\mathbf{x}_0+t(\mathbf{x}-\mathbf{x}_0))^T (\mathbf{x}-\mathbf{x}_0) $$

  • 점 $\mathbf{x}_0$ 근방의 선형근사식: $f(\mathbf{x}) \approx f(\mathbf{x}_0)+\nabla f(\mathbf{x}_0)^T (\mathbf{x}-\mathbf{x}_0)$
  • 이차근사식: $f(\mathbf{x}) \thickapprox f(\mathbf{x}_0)+\nabla f(\mathbf{x}_0)^T (\mathbf{x}-\mathbf{x}_0)+\frac{1}{2} (\mathbf{x}-\mathbf{x}_0)^T \nabla^2 f(\mathbf{x}_0) (\mathbf{x}-\mathbf{x}_0)$

• Fermat의 임계점 정리: $f$가 $(a,b)$에서 극대 또는 극소가 되고, $f$의 편도함수가 존재하면 다음이 성립한다.

  $$ \nabla f(a,b)=0 $$

  • $\nabla f(a,b)=0$을 만족하는 점 $(a,b)$를 임계점이라 한다.
  • 임계점이지만 극대나 극소가 되지 않는 점을 안장점이라 한다.

• 라그랑주 승수법: $g(\mathbf{x})=0$일 때, $f(\mathbf{x})$가 최대가 되는 $\mathbf{x}$를 찾는 법. 이때 $\nabla f(\mathbf{x})=\lambda \nabla g(\mathbf{x})$이면 최소 또는 최대를 갖는다.

  • 여기서 대칭 정사각행렬 $A$와 $\mathbf{x}^T\mathbf{x}=1$을 만족하는 벡터 $\mathbf{x}$에 대해 함수 $f(\mathbf{x})=\mathbf{x}^TA\mathbf{x}$를 최대화하기 위해서 $\nabla f(\mathbf{x})= \lambda \nabla g(\mathbf{x})$를 만족해야 하므로 $A\mathbf{x}=\lambda \mathbf{x}$와 동치이다.

• 야코비안(Jacobian): $T$ $T$$uvw$공간의 영역 $S$를 $xyz$공간의 영역 $R$ 위로 변환하는 사상이라 하면, $T$의 야코비안은 다음과 같다.

  $$ \frac{\partial (x,y,z)}{\partial (u,v,w)} = \begin{vmatrix} \dfrac{\partial x}{\partial u} & \dfrac{\partial x}{\partial v} &\dfrac{\partial x}{\partial w} \\[10pt] \dfrac{\partial y}{\partial u} &\dfrac{\partial y}{\partial v} &\dfrac{\partial y}{\partial w} \\[10pt] \dfrac{\partial z}{\partial u} &\dfrac{\partial z}{\partial v} &\dfrac{\partial z}{\partial w} \\ \end{vmatrix} $$

  • 삼중적분에서 $dx dy dz=\left|\dfrac{\partial(x,y,z)}{\partial(u,v,w)}\right| du dv dw$이다.

다변수 함수의 극대/극소

테일러 정리 이차근사식에서, 임계점 $\mathbf{x}=\mathbf{a}$에서 함수 $f$의 극대, 극소를 결정하는 것은 $\frac{1}{2} (\mathbf{x}-\mathbf{x}_0)^T \nabla^2 f(\mathbf{x}_0) (\mathbf{x}-\mathbf{x}_0)$ 부분이다. 여기서 $\mathbf{d}=\mathbf{x}-\mathbf{a}$로 두고 $H=\nabla^2 f(\mathbf{a})$로 둔 뒤 이차형식 $q(\mathbf{d})=\mathbf{d}^T H \mathbf{d}$의 극솟값/극댓값 분석을 하면,

• $H$의 고윳값이 모두 양수이면 $f(\mathbf{a})$는 윗쪽이 열린 포물면에 극소근사하니 극소,
• $H$의 고윳값이 모두 음수이면 $f(\mathbf{a})$는 극대,
• 영이 아니고 서로 부호가 다르면 쌍곡포물면에 극소근사하니 안장점이 된다.
• 고윳값 하나가 0이면 포물기둥에 가깝다.

경사하강법

미분가능한 함수 $f$의 최솟값을 찾는 과정.

• $f(x)$가 $x=x^$에서 최솟값을 가진다고 하면, $f'(x^)=0$이다.

과정:

1. 초기 근사해 $x_1$, 허용오차(tolerance) $0 \leq \epsilon \ll 1$, 학습률 $\eta$를 설정하고 $k \vcentcolon = 1$이라 한다.
2. $g_k=f'(x_k)$를 계산한다. 만약 $|g_k| \leq \epsilon$이면 알고리즘을 멈춘다.
3. $x_{k+1}=x_k- \eta g_k$, $k \vcentcolon = k+1$로 두고 2단계로 이동한다.