| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | ||||||
| 2 | 3 | 4 | 5 | 6 | 7 | 8 |
| 9 | 10 | 11 | 12 | 13 | 14 | 15 |
| 16 | 17 | 18 | 19 | 20 | 21 | 22 |
| 23 | 24 | 25 | 26 | 27 | 28 |
Tags
- 알고리즘
- 플로이드 와샬
- tensorflow
- lazy propagation
- 분할 정복
- 자바스크립트
- DP
- 미래는_현재와_과거로
- back propagation
- 이분 탐색
- 조합론
- 가끔은 말로
- BFS
- 크루스칼
- c++
- dfs
- 너비 우선 탐색
- 회고록
- NEXT
- 우선 순위 큐
- 세그먼트 트리
- pytorch
- 2023
- 가끔은_말로
- 문자열
- dropout
- object detection
- 백트래킹
- Overfitting
- 다익스트라
Archives
- Today
- Total
목록Internal Covariate Shift (1)
Doby's Lab
Batch Normalization이란? (Basic)
Batch Normalization Batch Normalization는 모델이 복잡할 때, 정확히는 Layer가 깊어지면서 가지는 복잡도가 높을 때 일어나는 Overfitting을 해결하기 위한 기법입니다. Batch Normalization이 어떻게 작동되는지 알기보다 왜 Batch Normalization이 나왔는지 먼저 알아야 합니다. Internal Covariate Shift 아래 그림과 같이 Input Data의 분포가 Layer를 거치면서 분포가 달라지는 현상을 Covariate Shift라고 합니다. Covariate란 공변량으로 연속성을 가지는 독립변수라는 의미이기 때문에 이러한 의미를 알면 이해하기 쉬울 것입니다. Shift는 말 그대로 옮겨갔다는 뜻으로 '데이터의 분포가 달라졌다'라..
AI/Concepts
2023. 1. 2. 23:54