목록sigmoid (1)

Doby's Lab

Back-Propagation(역전파)에 대하여

✅ Contents 1. Intro 2. Gradient Descent 3. Back Propagation (1): MLP 구조 및 함수 정의 4. Back Propagation (2): \(w_{1,1}^{(2)}\) 업데이트 5. Back Propagation (3): \(w_{1,1}^{(1)}\) 업데이트 6. Outro 7. Reference ✅ 1. Intro Batch Normalization에 대해 공부하다가 Gradient Vanishing / Exploding라는 개념이 다시 나왔었습니다. Vanishing / Exploding 문제는 매우 낮거나, 높은 Learning Rate로 인해 발생하는 문제라고만 인식했었는데 Back-Propagation이 원인이 될 수 있다는 얘기가 나왔었습..
AI/Concepts 2023. 1. 16. 23:40
이전 Prev 1 Next 다음