목록Activation (1)

Doby's Lab

Activation이 Non-linearity를 갖는 이유

✅ Intro지금까지 hidden layer의 구조가 들어간 MLP의 모델을 만들 때, 너무 당연하게 hidden layer에도 Activation을 추가해 주었었습니다. Activation에 대해서는 output layer에 추가하는 것 밖에 배우지 않았는데도 말입니다. 또한, Batch Normalization에서 Activation에서의 Non-linearity 상실이 좋지 않은 문제로 다루는데 왜 그런지도 알고 싶었습니다. 그래서 이번엔 hidden layer에서의 Activation의 역할에 대해 알아보려 합니다.✅ Non-linear Model모델은 linear의 관점에서 linear model과 non-linear model로 나뉩니다. 즉, 선형적으로 분류하는가 비선형적으로 분류하는가의 차..
AI/Concepts 2023. 1. 21. 10:04
이전 Prev 1 Next 다음