Doby's Lab

✅ ContentsIntro20222023Outro✅ Intro작년 2022년 한 해를 마치고, 뒤돌아보는 시간을 가지면서 2023년에는 어떤 보완할 점들이 있는지, 어떤 것들을 해야 할지, 잘 가고 있는지에 대해 알아보며 재정비의 시간을 가져봅니다. 1월에 할 일이 많아서 다 마무리하고, 이제야 적게 되었습니다.✅ 2022📄 2022의 계획한 해 동안의 계획은 전부 입대 전에 어느 정도 세우고 왔었습니다.백준 플레티넘 3 달성파이썬 공부선형대수학선형대수학은 AI를 시작하기 전에 해두는 게 좋다고 해서 하려고 했지만, 막상 아무런 선수 지식 없이 공부하니 왜 공부하는지 다가오지 않아서 하지 않았습니다. 하지만, Cat & Dog Classification Project를 진행하면서 선형대수학의 필요성을 ..

https://www.acmicpc.net/problem/14397 14397번: 해변 단위 정육각형 이루어져 있는 지도가 주어졌을 때, 해변의 길이를 구하는 프로그램을 작성하시오. 해변은 정육각형의 변 중에서 한 쪽은 물인데, 한 쪽은 땅인 곳을 의미한다. www.acmicpc.net Level: Silver IV Solved By: Graph 육각형이기 때문에 행에 따라 인접할 수 있는 블록의 위치를 구현할 수 있다면 그래프 탐색으로 쉽게 풀 수 있습니다. #include #include #include #define pii pair #define MAX 51 using namespace std; int N, M; char m[MAX][MAX]; bool visited[MAX][MAX]; struct..

✔️ Contents Intro Modifications Modeling Outro Postings related Project ✔️ Intro Version 2를 끝내고 난 후, 공부할 것들을 다 정리하여 공부하는 시간을 갖는 Project After Project의 시간을 가졌었습니다. 공부했었던 내용들은 크게 2가지로 나뉩니다. tensorflow의 ImageDataGenerator Batch Normalization (2015) 위 2가지 내용들을 공부한 후에 기존의 궁금증이 해결되면서 '이 부분을 적용시킨다면 성능이 올라갈 거 같은데'라는 생각이 들었고, 정리한 부분들을 적용하여 Version 2.1의 프로젝트를 진행했습니다. 결론적으로, Test Set에서 Accuracy가 기존 87.89%(..

✅ Contents Intro Abstract 1. Introduction 2. Towards Reducing Internal Covariate Shift 3. Normalization via Mini-Batch Statistics 4. Experiments & 5. Conclusion (skip) Outro Reference ✅ Intro 📄 Motivation Batch Normalization에 대해 알게 된 후, 남아있는 궁금점을 해결하기 위해서는 직접 원문을 보아야겠다는 생각이 들었습니다. 궁금했던 것으로는 BN(X)와 Activation의 선후 관계나 네트워크마다 Batch Normalization의 방법이 다른 것들이 궁금하기도 했고, 'Internal Covariate Shift를 해결하는..

✅ Intro지금까지 hidden layer의 구조가 들어간 MLP의 모델을 만들 때, 너무 당연하게 hidden layer에도 Activation을 추가해 주었었습니다. Activation에 대해서는 output layer에 추가하는 것 밖에 배우지 않았는데도 말입니다. 또한, Batch Normalization에서 Activation에서의 Non-linearity 상실이 좋지 않은 문제로 다루는데 왜 그런지도 알고 싶었습니다. 그래서 이번엔 hidden layer에서의 Activation의 역할에 대해 알아보려 합니다.✅ Non-linear Model모델은 linear의 관점에서 linear model과 non-linear model로 나뉩니다. 즉, 선형적으로 분류하는가 비선형적으로 분류하는가의 차..

✅ 1. Intro Gradient Vanishing / Exploding의 문제에 대해 알아보겠습니다. 이 문제에 대해 왜 발생하는지를 알기 위해 앞서 Back Propagation에 대해 포스팅으로 정리해 두었습니다. https://draw-code-boy.tistory.com/519 Back-Propagation(역전파)에 대하여 ✅ Contents 1. Intro 2. Gradient Descent 3. Back Propagation (1): MLP 구조 및 함수 정의 4. Back Propagation (2): \(w_{1,1}^{(2)}\) 업데이트 5. Back Propagation (3): \(w_{1,1}^{(1)}\) 업데이트 6. Outro 7. Reference ✅ 1. Intro ..

✅ Contents 1. Intro 2. Gradient Descent 3. Back Propagation (1): MLP 구조 및 함수 정의 4. Back Propagation (2): \(w_{1,1}^{(2)}\) 업데이트 5. Back Propagation (3): \(w_{1,1}^{(1)}\) 업데이트 6. Outro 7. Reference ✅ 1. Intro Batch Normalization에 대해 공부하다가 Gradient Vanishing / Exploding라는 개념이 다시 나왔었습니다. Vanishing / Exploding 문제는 매우 낮거나, 높은 Learning Rate로 인해 발생하는 문제라고만 인식했었는데 Back-Propagation이 원인이 될 수 있다는 얘기가 나왔었습..

Back Propagation에 대해 공부하다가 시그모이드 함수의 미분에 대해 '어떻게 미분을 했길래 이런 결과가 나오는 거지'라는 궁금증이 생겨 정리하게 되었습니다. 몫의 미분법(Quotient Rule) 몫의 미분법이란 분수 형태의 함수를 미분하는 방법을 의미합니다. 예로 주어진 \(g(x)\)는 아래와 같은 형태로 미분됩니다. $$ \{\frac{1}{g(x)}\}' = \frac{-g'(x)}{\{g(x)\}^2} $$ 이런 분수 형태의 함수를 미분하는 것에 대한 증명은 도함수를 사용하여 정리하여봅시다. $$ \begin{align}\{\frac{1}{g(x)}\}' &= \lim_{t \to 0} \frac{\frac{1}{g(x+t)}-\frac{1}{g(x)}}{t} \\ \\ &= \lim..