몫의 미분법(Quotient Rule)에 대하여

Back Propagation에 대해 공부하다가 시그모이드 함수의 미분에 대해 '어떻게 미분을 했길래 이런 결과가 나오는 거지'라는 궁금증이 생겨 정리하게 되었습니다.

---

몫의 미분법(Quotient Rule)

몫의 미분법이란 분수 형태의 함수를 미분하는 방법을 의미합니다.
예로 주어진 $g(x)$는 아래와 같은 형태로 미분됩니다.
$$\{\frac{1}{g(x)}{\}}^{\prime }=\frac{-g^{\prime }(x)}{\{g(x){\}}^2}$$
이런 분수 형태의 함수를 미분하는 것에 대한 증명은 도함수를 사용하여 정리하여봅시다.
$$\begin{array}{rl}\{\frac{1}{g(x)}{\}}^{\prime }& =\underset{t\to 0}{lim}\frac{\frac{1}{g(x+t)}-\frac{1}{g(x)}}{t}\\ \\ & =\underset{t\to 0}{lim}\{\frac{-1}{g(x+t)g(x)}\cdot \frac{g(x+t)-g(x)}{t}\}\\ \\ & =\underset{t\to 0}{lim}\frac{-1}{g(x+t)g(x)}\cdot \underset{t\to 0}{lim}\frac{g(x+t)-g(x)}{t}\\ \\ & =\frac{-1}{\{g(x){\}}^2}\cdot g^{\prime }(x)\\ \\ & =\frac{-g^{\prime }(x)}{\{g(x){\}}^2}\end{array}$$

---

sigmoide 미분

이제 왜 이렇게 미분이 되는지 알았기 때문에 시그모이드 함수를 미분해봅시다.
$$\varphi (x)=\frac{1}{1+e^{-z}}$$
$$\begin{array}{rl}\frac{\delta f}{\delta v}& =-\frac{v^{\prime }}{v^2},(f=\frac{1}{v},v=1+e^{-x})\\ \\ & =-\frac{-e^{-x}}{(1+e^{-x}{)}^2}\\ \\ & =\frac{e^x}{(1+e^{-x})(1+e^{-x})}\\ \\ & =\frac{1}{(1+e^{-x})}\cdot \frac{e^{-x}}{(1+e^{-x})}\\ \\ & =\varphi (x)\cdot \{\frac{1+e^{-x}}{1+e^{-x}}-\frac{1}{1+e^{-x}}\}\\ \\ & =\varphi (x)\cdot (1-\varphi (x))\end{array}$$
결과가 깔끔하게 $\varphi (x)\cdot (1-\varphi (x))$로 떨어집니다.
이렇게 시그모이드 함수를 미분하는 방법을 알아보았습니다.

---

Reference

https://ok-lab.tistory.com/151

[Calculus] Sigmoid 함수 미분하기

https://yoon1seok.tistory.com/35

시그모이드 함수 미분법 Sigmoid Differential 정리 - [머신러닝]

https://bhsmath.tistory.com/181

[기본개념] 몫의 미분법