Doby's Lab

✅ Intro LLaVA-Med를 공부하면서 Visual Encoder로 CLIP(Contrastive Language-Image Pre-training)이 사용되어 이번 기회에 공부를 해보았습니다. CLIP은 기존 Classification 방식에서 새로운 메커니즘을 제안했습니다. Classification은 수많은 데이터셋에서 라벨링 된 클래스로 분류하는 것이 일반적인 특징입니다. 하지만, 세상에는 여러 가지 사물이 존재하며, 이 사물 또한 어떠한 상태에 있냐에 따라 분류를 할 수 있는 범위는 셀 수 없을 정도로 많습니다. 예를 들어, '일반적인 자전거'와 '바퀴가 없는 자전거'라는 Task로 수많은 사물들이 더 디테일한 description을 원할 때, 단순한 Classification Task만으..

✅ Introduction ViT라는 아키텍처를 공부하다가 새로운 메커니즘을 접하게 되었습니다. 그 새로운 메커니즘은 이번 글의 주제인 Attention입니다. 아직 NLP 분야의 Task를 다루어본 경험이 없기 때문에 등장하게 된 정확한 배경은 잘 모르지만, '어떠한 작동 원리인가?', '왜 성능이 더 좋은가?', '수식이 의미는 무엇인가?'에 대해서 집중적으로 다루어 보고자 합니다. 기존 자연어처리 분야에서는 Recurrence mechanism, 비전 분야에서는 Convolutional mechanism으로 엄청난 연구 및 아키텍처들이 나온 만큼 이미 각 분야에서 각 mechanism이 탄탄한 베이스가 되어있었습니다. 하지만, '세상에 완벽한 시스템은 없다'라는 말과 같이 훌륭한 연구와 고질적인 문..

✅ Intro 모델을 학습시키면서 최적의 결과를 찾기 위해 하이퍼파라미터 튜닝을 진행합니다. 이러한 과정에서 값들에 대한 로그를 따로 문서화시켜 정리하거나 노트를 해두면 편하지만, 이는 간단하면서도 까다로웠던 경험이 있습니다. 이런 부분을 해소할 수 있는 툴, WandB를 알게 되었습니다. WandB(Weights & Biases)는 프로젝트의 실험을 관리하고, 하이퍼 파라미터의 튜닝을 체계적으로 기록할 수 있도록 하고, 뿐만 아니라 최적의 하이퍼파라미터를 위해 여러 값들을 통해 실험해 볼 수 있는 기능(Sweep)등 여러 편리함들을 제공합니다. 이번 포스팅에서는 기초적인 기록에 대해서만 알아보겠습니다. ✅ How (💡 아래 코드는 WandB에서 제공하는 QuickStart의 코드이며, 이번 포스팅에서 ..