Doby's Lab

✅ Intro Computer Vision 관련 아키텍처가 발전함에 따라 Overfitting을 막기 위해 Batch Normalization, 혹은 Layer Normalization을 사용하는 추세입니다. 하지만, 이전에는 Dropout이 있었죠. Dropout은 어느샌가부터 마지막 fully-connected layer를 제외하고는 Computer Vision에서 잊혀 갔습니다. 이러한 이유에는 기존 Dropout은 Feature Map의 공간적인 특성을 고려하지 않는 부분에 있습니다. 픽셀 별로 랜덤 하게 Drop 시키는 경우를 생각해 보면 이해가 됩니다. Feature Map에서 고작 한 픽셀을 Drop 시킨다는 건 의미가 없을 수 있습니다. 하지만, 그림(c)과 같이 Feature Map의 특..

✔️ Contents Intro Modifications Modeling Outro Postings related Project ✔️ Intro Version 2를 끝내고 난 후, 공부할 것들을 다 정리하여 공부하는 시간을 갖는 Project After Project의 시간을 가졌었습니다. 공부했었던 내용들은 크게 2가지로 나뉩니다. tensorflow의 ImageDataGenerator Batch Normalization (2015) 위 2가지 내용들을 공부한 후에 기존의 궁금증이 해결되면서 '이 부분을 적용시킨다면 성능이 올라갈 거 같은데'라는 생각이 들었고, 정리한 부분들을 적용하여 Version 2.1의 프로젝트를 진행했습니다. 결론적으로, Test Set에서 Accuracy가 기존 87.89%(..

Dropout Dropout이란 학습을 하면서 일부 뉴런을 일부러 끄면서 Overfitting을 방지하는 기법입니다. 뉴런들이 꺼지는 기준은 Hyperparameter인 Dropout-rate를 통해 꺼질지 말지 결정합니다. 또한, Dropout은 batch마다 켜지고 꺼지는 뉴런이 달라집니다. Overfitting 이러한 Dropout이 Overfitting 방지가 어떻게 되는지 알아봅시다. Sample마다 영향력이 강한 feature가 존재합니다. 만약 이러한 feature가 없다면 다른 feature들이 더 영향을 주게 됩니다. 결론적으로 correlation이 강한 feature에 과하게 학습되는 걸 방지하며 최대한 균등하게 영향력을 가져가려 합니다. Ensemble 또한, 학습마다 Dropout..