몫의 미분법(Quotient Rule)에 대하여

Back Propagation에 대해 공부하다가 시그모이드 함수의 미분에 대해 '어떻게 미분을 했길래 이런 결과가 나오는 거지'라는 궁금증이 생겨 정리하게 되었습니다.

---

몫의 미분법(Quotient Rule)

몫의 미분법이란 분수 형태의 함수를 미분하는 방법을 의미합니다.
예로 주어진 \(g(x)\)는 아래와 같은 형태로 미분됩니다.
$$ \{\frac{1}{g(x)}\}' = \frac{-g'(x)}{\{g(x)\}^2} $$
이런 분수 형태의 함수를 미분하는 것에 대한 증명은 도함수를 사용하여 정리하여봅시다.
$$ \begin{align}\{\frac{1}{g(x)}\}' &= \lim_{t \to 0}
\frac{\frac{1}{g(x+t)}-\frac{1}{g(x)}}{t} \\ \\
&= \lim_{t \to 0}
\{\frac{-1}{g(x+t)g(x)}\cdot\frac{g(x+t)-g(x)}{t}\} \\ \\
&= \lim_{t \to 0}\frac{-1}{g(x+t)g(x)}\cdot\lim_{t \to 0}\frac{g(x+t)-g(x)}{t} \\ \\
&= \frac{-1}{\{g(x)\}^2}\cdot g'(x) \\ \\
&= \frac{-g'(x)}{\{g(x)\}^2}
\end{align} $$

---

sigmoide 미분

이제 왜 이렇게 미분이 되는지 알았기 때문에 시그모이드 함수를 미분해봅시다.
$$ \phi(x) = \frac{1}{1+e^{-z}} $$
$$ \begin{align}
\frac{\delta f}{\delta v}&=-\frac{v'}{v^2},
\; \; (f=\frac{1}{v},\;\;v = 1 + e^{-x}) \\ \\
&= -\frac{-e^{-x}}{(1+e^{-x})^2} \\ \\
&= \frac{e^x}{(1+e^{-x})(1+e^{-x})} \\ \\
&= \frac{1}{(1+e^{-x})}\cdot\frac{e^{-x}}{(1+e^{-x})} \\ \\
&= \phi(x)\cdot\{\frac{1+e^{-x}}{1+e^{-x}}-\frac{1}{1+e^{-x}}\} \\ \\
&= \phi(x)\cdot(1-\phi(x))
\end{align} $$
결과가 깔끔하게 \(\phi(x)\cdot(1-\phi(x))\)로 떨어집니다.
이렇게 시그모이드 함수를 미분하는 방법을 알아보았습니다.

---

Reference

https://ok-lab.tistory.com/151

[Calculus] Sigmoid 함수 미분하기

https://yoon1seok.tistory.com/35

시그모이드 함수 미분법 Sigmoid Differential 정리 - [머신러닝]

https://bhsmath.tistory.com/181

[기본개념] 몫의 미분법