| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | ||
| 6 | 7 | 8 | 9 | 10 | 11 | 12 |
| 13 | 14 | 15 | 16 | 17 | 18 | 19 |
| 20 | 21 | 22 | 23 | 24 | 25 | 26 |
| 27 | 28 | 29 | 30 |
Tags
- tensorflow
- 플로이드 와샬
- pytorch
- 크루스칼
- Overfitting
- 가끔은 말로
- back propagation
- 미래는_현재와_과거로
- c++
- DP
- 자바스크립트
- 백트래킹
- 문자열
- 다익스트라
- 알고리즘
- 분할 정복
- 2023
- 세그먼트 트리
- 우선 순위 큐
- 회고록
- BFS
- object detection
- 이분 탐색
- lazy propagation
- dfs
- 가끔은_말로
- 너비 우선 탐색
- dropout
- 조합론
- NEXT
Archives
- Today
- Total
목록batch normalization (1)
Doby's Lab
Batch Normalization이란? (Basic)
Batch Normalization Batch Normalization는 모델이 복잡할 때, 정확히는 Layer가 깊어지면서 가지는 복잡도가 높을 때 일어나는 Overfitting을 해결하기 위한 기법입니다. Batch Normalization이 어떻게 작동되는지 알기보다 왜 Batch Normalization이 나왔는지 먼저 알아야 합니다. Internal Covariate Shift 아래 그림과 같이 Input Data의 분포가 Layer를 거치면서 분포가 달라지는 현상을 Covariate Shift라고 합니다. Covariate란 공변량으로 연속성을 가지는 독립변수라는 의미이기 때문에 이러한 의미를 알면 이해하기 쉬울 것입니다. Shift는 말 그대로 옮겨갔다는 뜻으로 '데이터의 분포가 달라졌다'라..
AI/Concepts
2023. 1. 2. 23:54