Doby's Lab

✅ Intro 기존 Layer Normalization을 통해서 internal covariate shift 현상(레이어를 통과함에 따라 데이터의 분포가 달라지는 현상)을 해결하며, 이를 통해 심층 신경망 구조의 네트워크는 학습을 더 안정화시키고, 최적의 loss까지 빠르게 수렴하도록 도와줍니다. 하지만, Layer Normalization은 computational overhead(연산 자원)을 많이 필요로 하며, 결과적으로 이것은 학습의 속도를 낮추게 됩니다. 이러한 문제점에 기반하여 'Root Mean Square Layer Normalization'이라는 논문에서는 RMS Normalization을 제안합니다. 개념에 대해서는 아래에서 다루지만, 이 연구의 결과는 학습의 속도적인 문제점을 해결하는..

✅ Intro 이번 프로젝트의 중심은 LLM이다 보니 CLIP, 데이터 처리 등 다루어야 할 요소들이 많지만, 가장 근본적으로 공부해야 할 부분은 NLP(자연어 처리)입니다. NLP 관련 모델을 더 깊게 공부하기 앞서 '자연어를 어떻게 모델에 넣지?'라는 질문에 대해서 답을 찾아보았습니다. ✅ Tokenization 단편적으로, 자연어를 모델에 학습시킨다고 생각했을 때, 문장 자체를 넣어버리면 좋겠지만 세상에는 엄청나게 많은 조합들의 단어가 있고, 그 단어들의 조합으로 셀 수도 없는 문장을 만들어낼 수가 있습니다. 각 문장에 대해 숫자를 부여한다면 엄청나게 많은 숫자들로 구성이 되겠지만, 이건 관리 차원에서도 어렵고, 데이터가 숫자 하나로 정리되기에는 너무 간결하여 Representation이 떨어집니다..

✅ Intro LLaVA-Med를 공부하면서 Visual Encoder로 CLIP(Contrastive Language-Image Pre-training)이 사용되어 이번 기회에 공부를 해보았습니다. CLIP은 기존 Classification 방식에서 새로운 메커니즘을 제안했습니다. Classification은 수많은 데이터셋에서 라벨링 된 클래스로 분류하는 것이 일반적인 특징입니다. 하지만, 세상에는 여러 가지 사물이 존재하며, 이 사물 또한 어떠한 상태에 있냐에 따라 분류를 할 수 있는 범위는 셀 수 없을 정도로 많습니다. 예를 들어, '일반적인 자전거'와 '바퀴가 없는 자전거'라는 Task로 수많은 사물들이 더 디테일한 description을 원할 때, 단순한 Classification Task만으..

✅ Intro Computer Vision 관련 아키텍처가 발전함에 따라 Overfitting을 막기 위해 Batch Normalization, 혹은 Layer Normalization을 사용하는 추세입니다. 하지만, 이전에는 Dropout이 있었죠. Dropout은 어느샌가부터 마지막 fully-connected layer를 제외하고는 Computer Vision에서 잊혀 갔습니다. 이러한 이유에는 기존 Dropout은 Feature Map의 공간적인 특성을 고려하지 않는 부분에 있습니다. 픽셀 별로 랜덤 하게 Drop 시키는 경우를 생각해 보면 이해가 됩니다. Feature Map에서 고작 한 픽셀을 Drop 시킨다는 건 의미가 없을 수 있습니다. 하지만, 그림(c)과 같이 Feature Map의 특..

✅ Introduction ViT라는 아키텍처를 공부하다가 새로운 메커니즘을 접하게 되었습니다. 그 새로운 메커니즘은 이번 글의 주제인 Attention입니다. 아직 NLP 분야의 Task를 다루어본 경험이 없기 때문에 등장하게 된 정확한 배경은 잘 모르지만, '어떠한 작동 원리인가?', '왜 성능이 더 좋은가?', '수식이 의미는 무엇인가?'에 대해서 집중적으로 다루어 보고자 합니다. 기존 자연어처리 분야에서는 Recurrence mechanism, 비전 분야에서는 Convolutional mechanism으로 엄청난 연구 및 아키텍처들이 나온 만큼 이미 각 분야에서 각 mechanism이 탄탄한 베이스가 되어있었습니다. 하지만, '세상에 완벽한 시스템은 없다'라는 말과 같이 훌륭한 연구와 고질적인 문..

📄 Intro Decision Tree (CART)라는 머신러닝 모델은 데이터를 Root Node에 전달하면서 수많은 Node를 거치며 여러 조건들로 필터링하여 Terminal Node(Leaf Node)에 도착하고, '어떤 Class인지 (Classification)', '어떤 값인지 (Regression)'을 판별합니다. 정확도를 높이기 위해서는 조건들이 많기도 해야겠지만 판별하는 기준(Criterion)이 명확해야 합니다. 아래 Decision Tree Visualization에서 그 기준은 Root Node에 있는 petal width

📄 Intro Categorical Variables에 대하여 모델에 학습시킬 때, Label Encoding의 문제점으로 인해 One-Hot Enoding을 추천하고 있습니다. 하지만, 이해가 되지 않는 부분이 있어서 포스팅을 작성하게 되었습니다. 이번 포스팅은 Chat GPT를 이용하여 작성하였습니다. 📄 Label Encoding의 문제점 Chat GPT는 Label Encoding의 문제점을 3가지로 정리했습니다. (차원 증가 문제도 제공했었는데 재차 물었을 때, 오류인 것으로 확인했습니다.) 순서 또는 등급 부여: 독립적인 Categorical Variables에 순서나 랭크를 부여하는 것은 알고리즘에 악영향을 미친다. 변수 평가 왜곡: Label Encoding을 통해 나온 숫자 값이 변수 간..

✅ Intro블로그를 보면서 복습 중에 Precison과 Recall이 반비례 관계인 이유가 궁금해졌습니다. 수식적으로 보았을 때, 이해가 되지 않는 부분이 있어서 다른 관점들을 통해 조금이나마 접근을 다르게 해 보았습니다. https://draw-code-boy.tistory.com/531 mAP (mean Average-Precision)에 대하여일반적으로 Object Detector의 성능이 얼마나 좋은지에 대한 지표로는 mAP가 널리 쓰이고 있습니다. 오늘은 mAP는 어떻게 도출되는 결과인지에 대해 알아보겠습니다. ✅ Precision(정확도), Recall(검출율, draw-code-boy.tistory.com✅ QuestionPrecision(정확도)와 Recall(검출율)에 대한 수식은 아래..