목록DropBlock (1)

Doby's Lab

DropBlock, 당신은 최근 Vision 모델에서 Dropout을 본 적이 있는가

✅ Intro Computer Vision 관련 아키텍처가 발전함에 따라 Overfitting을 막기 위해 Batch Normalization, 혹은 Layer Normalization을 사용하는 추세입니다. 하지만, 이전에는 Dropout이 있었죠. Dropout은 어느샌가부터 마지막 fully-connected layer를 제외하고는 Computer Vision에서 잊혀 갔습니다. 이러한 이유에는 기존 Dropout은 Feature Map의 공간적인 특성을 고려하지 않는 부분에 있습니다. 픽셀 별로 랜덤 하게 Drop 시키는 경우를 생각해 보면 이해가 됩니다. Feature Map에서 고작 한 픽셀을 Drop 시킨다는 건 의미가 없을 수 있습니다. 하지만, 그림(c)과 같이 Feature Map의 특..
Computer Vision (CV) 2024. 2. 8. 16:26
이전 Prev 1 Next 다음