| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | ||
| 6 | 7 | 8 | 9 | 10 | 11 | 12 |
| 13 | 14 | 15 | 16 | 17 | 18 | 19 |
| 20 | 21 | 22 | 23 | 24 | 25 | 26 |
| 27 | 28 | 29 | 30 |
Tags
- dfs
- 플로이드 와샬
- back propagation
- DP
- 회고록
- lazy propagation
- BFS
- 다익스트라
- 이분 탐색
- 알고리즘
- 가끔은 말로
- NEXT
- Overfitting
- 자바스크립트
- c++
- 크루스칼
- 조합론
- 우선 순위 큐
- 세그먼트 트리
- 분할 정복
- 가끔은_말로
- 백트래킹
- dropout
- pytorch
- tensorflow
- object detection
- 문자열
- 미래는_현재와_과거로
- 너비 우선 탐색
- 2023
Archives
- Today
- Total
목록ensemble (1)
Doby's Lab
Dropout에 대하여
Dropout Dropout이란 학습을 하면서 일부 뉴런을 일부러 끄면서 Overfitting을 방지하는 기법입니다. 뉴런들이 꺼지는 기준은 Hyperparameter인 Dropout-rate를 통해 꺼질지 말지 결정합니다. 또한, Dropout은 batch마다 켜지고 꺼지는 뉴런이 달라집니다. Overfitting 이러한 Dropout이 Overfitting 방지가 어떻게 되는지 알아봅시다. Sample마다 영향력이 강한 feature가 존재합니다. 만약 이러한 feature가 없다면 다른 feature들이 더 영향을 주게 됩니다. 결론적으로 correlation이 강한 feature에 과하게 학습되는 걸 방지하며 최대한 균등하게 영향력을 가져가려 합니다. Ensemble 또한, 학습마다 Dropout..
AI/Concepts
2022. 12. 31. 17:12