일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | |||||
3 | 4 | 5 | 6 | 7 | 8 | 9 |
10 | 11 | 12 | 13 | 14 | 15 | 16 |
17 | 18 | 19 | 20 | 21 | 22 | 23 |
24 | 25 | 26 | 27 | 28 | 29 | 30 |
31 |
Tags
- tensorflow
- 백트래킹
- DP
- 세그먼트 트리
- 이분 탐색
- 알고리즘
- back propagation
- c++
- 2023
- 분할 정복
- dfs
- 가끔은 말로
- 미래는_현재와_과거로
- dropout
- BFS
- 문자열
- 다익스트라
- 가끔은_말로
- 너비 우선 탐색
- object detection
- 크루스칼
- Overfitting
- 우선 순위 큐
- pytorch
- 조합론
- 자바스크립트
- lazy propagation
- NEXT
- 플로이드 와샬
- 회고록
Archives
- Today
- Total
목록2024/03 (1)
Doby's Lab
RMS Normalization, ICS의 해결책은 re-scaling에 있다.
✅ Intro 기존 Layer Normalization을 통해서 internal covariate shift 현상(레이어를 통과함에 따라 데이터의 분포가 달라지는 현상)을 해결하며, 이를 통해 심층 신경망 구조의 네트워크는 학습을 더 안정화시키고, 최적의 loss까지 빠르게 수렴하도록 도와줍니다. 하지만, Layer Normalization은 computational overhead(연산 자원)을 많이 필요로 하며, 결과적으로 이것은 학습의 속도를 낮추게 됩니다. 이러한 문제점에 기반하여 'Root Mean Square Layer Normalization'이라는 논문에서는 RMS Normalization을 제안합니다. 개념에 대해서는 아래에서 다루지만, 이 연구의 결과는 학습의 속도적인 문제점을 해결하는..
AI/Concepts
2024. 3. 13. 15:00