Doby's Lab

✅ Intro 기존 Layer Normalization을 통해서 internal covariate shift 현상(레이어를 통과함에 따라 데이터의 분포가 달라지는 현상)을 해결하며, 이를 통해 심층 신경망 구조의 네트워크는 학습을 더 안정화시키고, 최적의 loss까지 빠르게 수렴하도록 도와줍니다. 하지만, Layer Normalization은 computational overhead(연산 자원)을 많이 필요로 하며, 결과적으로 이것은 학습의 속도를 낮추게 됩니다. 이러한 문제점에 기반하여 'Root Mean Square Layer Normalization'이라는 논문에서는 RMS Normalization을 제안합니다. 개념에 대해서는 아래에서 다루지만, 이 연구의 결과는 학습의 속도적인 문제점을 해결하는..

✅ Introduction ViT라는 아키텍처를 공부하다가 새로운 메커니즘을 접하게 되었습니다. 그 새로운 메커니즘은 이번 글의 주제인 Attention입니다. 아직 NLP 분야의 Task를 다루어본 경험이 없기 때문에 등장하게 된 정확한 배경은 잘 모르지만, '어떠한 작동 원리인가?', '왜 성능이 더 좋은가?', '수식이 의미는 무엇인가?'에 대해서 집중적으로 다루어 보고자 합니다. 기존 자연어처리 분야에서는 Recurrence mechanism, 비전 분야에서는 Convolutional mechanism으로 엄청난 연구 및 아키텍처들이 나온 만큼 이미 각 분야에서 각 mechanism이 탄탄한 베이스가 되어있었습니다. 하지만, '세상에 완벽한 시스템은 없다'라는 말과 같이 훌륭한 연구와 고질적인 문..

📄 Intro Decision Tree (CART)라는 머신러닝 모델은 데이터를 Root Node에 전달하면서 수많은 Node를 거치며 여러 조건들로 필터링하여 Terminal Node(Leaf Node)에 도착하고, '어떤 Class인지 (Classification)', '어떤 값인지 (Regression)'을 판별합니다. 정확도를 높이기 위해서는 조건들이 많기도 해야겠지만 판별하는 기준(Criterion)이 명확해야 합니다. 아래 Decision Tree Visualization에서 그 기준은 Root Node에 있는 petal width

📄 Intro Categorical Variables에 대하여 모델에 학습시킬 때, Label Encoding의 문제점으로 인해 One-Hot Enoding을 추천하고 있습니다. 하지만, 이해가 되지 않는 부분이 있어서 포스팅을 작성하게 되었습니다. 이번 포스팅은 Chat GPT를 이용하여 작성하였습니다. 📄 Label Encoding의 문제점 Chat GPT는 Label Encoding의 문제점을 3가지로 정리했습니다. (차원 증가 문제도 제공했었는데 재차 물었을 때, 오류인 것으로 확인했습니다.) 순서 또는 등급 부여: 독립적인 Categorical Variables에 순서나 랭크를 부여하는 것은 알고리즘에 악영향을 미친다. 변수 평가 왜곡: Label Encoding을 통해 나온 숫자 값이 변수 간..

✅ Intro블로그를 보면서 복습 중에 Precison과 Recall이 반비례 관계인 이유가 궁금해졌습니다. 수식적으로 보았을 때, 이해가 되지 않는 부분이 있어서 다른 관점들을 통해 조금이나마 접근을 다르게 해 보았습니다. https://draw-code-boy.tistory.com/531 mAP (mean Average-Precision)에 대하여일반적으로 Object Detector의 성능이 얼마나 좋은지에 대한 지표로는 mAP가 널리 쓰이고 있습니다. 오늘은 mAP는 어떻게 도출되는 결과인지에 대해 알아보겠습니다. ✅ Precision(정확도), Recall(검출율, draw-code-boy.tistory.com✅ QuestionPrecision(정확도)와 Recall(검출율)에 대한 수식은 아래..

✅ Intro R-CNN에 대해 공부하다가 접하게 되어 기본적인 개념에 대해 알고자 작성하게 되었습니다. ✅ Pre-training (사전 학습) 어떤 목적을 갖는 모델을 만들어야 할 때, 이미 잘 만들어진 모델을 가지고 조금 변형을 줘서 사용할 수 있겠다 싶은 판단이 들 때가 있습니다. 그때, 이미 잘 만들어진 모델은 Pre-trained Model이라고 합니다. 예를 들어, 개와 고양이를 분류하는 ResNet, ImageNet 등 좋은 모델을 가져와서 쓴다고 할 때, Pre-trained Model은 이렇게 선정했다고 말할 수 있습니다. 또한, 이런 경우가 아니더라도 Labeled data가 많이 없는 케이스도 Pre-training을 고려할 수 있습니다. 왜냐하면, Unsupervised Learn..

✅ Contents Intro Abstract 1. Introduction 2. Towards Reducing Internal Covariate Shift 3. Normalization via Mini-Batch Statistics 4. Experiments & 5. Conclusion (skip) Outro Reference ✅ Intro 📄 Motivation Batch Normalization에 대해 알게 된 후, 남아있는 궁금점을 해결하기 위해서는 직접 원문을 보아야겠다는 생각이 들었습니다. 궁금했던 것으로는 BN(X)와 Activation의 선후 관계나 네트워크마다 Batch Normalization의 방법이 다른 것들이 궁금하기도 했고, 'Internal Covariate Shift를 해결하는..

✅ Intro지금까지 hidden layer의 구조가 들어간 MLP의 모델을 만들 때, 너무 당연하게 hidden layer에도 Activation을 추가해 주었었습니다. Activation에 대해서는 output layer에 추가하는 것 밖에 배우지 않았는데도 말입니다. 또한, Batch Normalization에서 Activation에서의 Non-linearity 상실이 좋지 않은 문제로 다루는데 왜 그런지도 알고 싶었습니다. 그래서 이번엔 hidden layer에서의 Activation의 역할에 대해 알아보려 합니다.✅ Non-linear Model모델은 linear의 관점에서 linear model과 non-linear model로 나뉩니다. 즉, 선형적으로 분류하는가 비선형적으로 분류하는가의 차..