일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- c++
- 문자열
- 플로이드 와샬
- DP
- dfs
- 이분 탐색
- 알고리즘
- pytorch
- 2023
- 자바스크립트
- dropout
- 백트래킹
- 세그먼트 트리
- 가끔은_말로
- 조합론
- NEXT
- 다익스트라
- tensorflow
- 크루스칼
- back propagation
- 미래는_현재와_과거로
- object detection
- BFS
- 분할 정복
- 회고록
- lazy propagation
- 너비 우선 탐색
- 가끔은 말로
- 우선 순위 큐
- Overfitting
- Today
- Total
목록전체 글 (549)
Doby's Lab
✅ Intro 기존 Layer Normalization을 통해서 internal covariate shift 현상(레이어를 통과함에 따라 데이터의 분포가 달라지는 현상)을 해결하며, 이를 통해 심층 신경망 구조의 네트워크는 학습을 더 안정화시키고, 최적의 loss까지 빠르게 수렴하도록 도와줍니다. 하지만, Layer Normalization은 computational overhead(연산 자원)을 많이 필요로 하며, 결과적으로 이것은 학습의 속도를 낮추게 됩니다. 이러한 문제점에 기반하여 'Root Mean Square Layer Normalization'이라는 논문에서는 RMS Normalization을 제안합니다. 개념에 대해서는 아래에서 다루지만, 이 연구의 결과는 학습의 속도적인 문제점을 해결하는..
✅ Intro 2월 말에 가까워지면서 개강일도 서서히 가까워지고 있다. 이렇게 회고록이 늦게까지 미뤄질 거라 예상은 못 했다. 개강을 하기 전에는 써두어야 2023년에 대한 기록들이 그 당시의 뉘앙스를 살릴 수 있을 거 같기에 한 해가 끝나고, 2개월이 지나 늦겨울을 맞이하고서야 쓰게 되었다. 그리고, 회고록만큼은 더 잘 기록하기 위해서는 편한 어투로 쓰는 게 맞는 거 같다. 사실 초안을 종강 직후에 쓰고 있었는데 그때는 다소 형식적으로 쓴 느낌이 있었고, 2023년이라는 한 해에 대해서 다소 비관적인 마음으로 쓰고 있었다. 연초 일정들이 시작되고, 바쁜 나날들을 보내고서 끝맺음을 확실하게 해 둘 수 있는 시간이 되었다. 연초 일정들에 대해서는 아직 안 끝난 부분도 있고, 단순히 2023년에 대해서만 기..
✅ Intro 이번 프로젝트의 중심은 LLM이다 보니 CLIP, 데이터 처리 등 다루어야 할 요소들이 많지만, 가장 근본적으로 공부해야 할 부분은 NLP(자연어 처리)입니다. NLP 관련 모델을 더 깊게 공부하기 앞서 '자연어를 어떻게 모델에 넣지?'라는 질문에 대해서 답을 찾아보았습니다. ✅ Tokenization 단편적으로, 자연어를 모델에 학습시킨다고 생각했을 때, 문장 자체를 넣어버리면 좋겠지만 세상에는 엄청나게 많은 조합들의 단어가 있고, 그 단어들의 조합으로 셀 수도 없는 문장을 만들어낼 수가 있습니다. 각 문장에 대해 숫자를 부여한다면 엄청나게 많은 숫자들로 구성이 되겠지만, 이건 관리 차원에서도 어렵고, 데이터가 숫자 하나로 정리되기에는 너무 간결하여 Representation이 떨어집니다..
✅ Intro LLaVA-Med를 공부하면서 Visual Encoder로 CLIP(Contrastive Language-Image Pre-training)이 사용되어 이번 기회에 공부를 해보았습니다. CLIP은 기존 Classification 방식에서 새로운 메커니즘을 제안했습니다. Classification은 수많은 데이터셋에서 라벨링 된 클래스로 분류하는 것이 일반적인 특징입니다. 하지만, 세상에는 여러 가지 사물이 존재하며, 이 사물 또한 어떠한 상태에 있냐에 따라 분류를 할 수 있는 범위는 셀 수 없을 정도로 많습니다. 예를 들어, '일반적인 자전거'와 '바퀴가 없는 자전거'라는 Task로 수많은 사물들이 더 디테일한 description을 원할 때, 단순한 Classification Task만으..
✅ Intro Computer Vision 관련 아키텍처가 발전함에 따라 Overfitting을 막기 위해 Batch Normalization, 혹은 Layer Normalization을 사용하는 추세입니다. 하지만, 이전에는 Dropout이 있었죠. Dropout은 어느샌가부터 마지막 fully-connected layer를 제외하고는 Computer Vision에서 잊혀 갔습니다. 이러한 이유에는 기존 Dropout은 Feature Map의 공간적인 특성을 고려하지 않는 부분에 있습니다. 픽셀 별로 랜덤 하게 Drop 시키는 경우를 생각해 보면 이해가 됩니다. Feature Map에서 고작 한 픽셀을 Drop 시킨다는 건 의미가 없을 수 있습니다. 하지만, 그림(c)과 같이 Feature Map의 특..
✅ Introduction ViT라는 아키텍처를 공부하다가 새로운 메커니즘을 접하게 되었습니다. 그 새로운 메커니즘은 이번 글의 주제인 Attention입니다. 아직 NLP 분야의 Task를 다루어본 경험이 없기 때문에 등장하게 된 정확한 배경은 잘 모르지만, '어떠한 작동 원리인가?', '왜 성능이 더 좋은가?', '수식이 의미는 무엇인가?'에 대해서 집중적으로 다루어 보고자 합니다. 기존 자연어처리 분야에서는 Recurrence mechanism, 비전 분야에서는 Convolutional mechanism으로 엄청난 연구 및 아키텍처들이 나온 만큼 이미 각 분야에서 각 mechanism이 탄탄한 베이스가 되어있었습니다. 하지만, '세상에 완벽한 시스템은 없다'라는 말과 같이 훌륭한 연구와 고질적인 문..
git push https://soda-dev.tistory.com/12 [GitHub] 깃허브에 프로젝트 올리기 보통은 저장소를 생성한뒤 'Upload files'를 하면 업로드되지만 파일 갯수가 너무 많을 경우 안되므로 큰 프로젝트를 업로드할때는 이 방법으로 하자 1. Git을 설치한다. https://git-scm.com/downloads Git - Do soda-dev.tistory.com 원격 저장소 주소 찾기 https://estar.tistory.com/56 github 저장소 주소 찾기 생활코딩 동영상을 보고있는 와중에 이미 만든 저장소의 주소는 도대체 어디서 볼수있는건지,,몰라서 한참 헤맸는데 그냥 버튼 하나만 누르면 됐지ㅏ더리나ㅓㄷ ㄹ나ㅓㅜㅜㅜㅜㅜㅜㅜ(멘붕) estar.tistory.c..
https://www.acmicpc.net/problem/2606 2606번: 바이러스 첫째 줄에는 컴퓨터의 수가 주어진다. 컴퓨터의 수는 100 이하인 양의 정수이고 각 컴퓨터에는 1번 부터 차례대로 번호가 매겨진다. 둘째 줄에는 네트워크 상에서 직접 연결되어 있는 컴퓨터 쌍 www.acmicpc.net Level: Silver III Solved By: BFS BFS를 통해서 1번 노드로부터 연결된 모든 노드를 찾는 문제였습니다. from collections import deque N = int(input()) M = int(input()) adj = [[] for i in range(0, N + 1)] visited = [False for _ in range(0, N + 1)] def bfs(no..