Doby's Lab

Back Propagation에 대해 공부하다가 시그모이드 함수의 미분에 대해 '어떻게 미분을 했길래 이런 결과가 나오는 거지'라는 궁금증이 생겨 정리하게 되었습니다. 몫의 미분법(Quotient Rule) 몫의 미분법이란 분수 형태의 함수를 미분하는 방법을 의미합니다. 예로 주어진 \(g(x)\)는 아래와 같은 형태로 미분됩니다. $$ \{\frac{1}{g(x)}\}' = \frac{-g'(x)}{\{g(x)\}^2} $$ 이런 분수 형태의 함수를 미분하는 것에 대한 증명은 도함수를 사용하여 정리하여봅시다. $$ \begin{align}\{\frac{1}{g(x)}\}' &= \lim_{t \to 0} \frac{\frac{1}{g(x+t)}-\frac{1}{g(x)}}{t} \\ \\ &= \lim..

Gradient Vanishing 현상에 대해 공부하던 중에 Back Propagation의 작동 원리에 대해 알아야 했고, 이 과정에서 미분의 연쇄 법칙이 쓰여 정리해 봅니다. 미분의 연쇄 법칙(Chain Rule) 미분의 연쇄 법칙이란 말이 잘 안 쓰일 뿐이지, 학생 시절에 꽤 많이 봤던 법칙 중 하나입니다. 미분의 연쇄 법칙이란 합성함수에 대한 미분법입니다. \( y=f(g(x)) \)라는 합성함수를 예로 들어 설명해 보겠습니다. 이 합성함수를 미분하면 아래와 같은 결과가 나오는 것은 다 압니다. $$ y' = f'(g(x))\times g'(x) $$ 이게 왜 이렇게 되는지 궁금해졌습니다. 미분을 한다는 것을 자세히 풀어보면 아래와 같습니다. 미분의 유도 과정 $$ \begin{align} y' ..