Dataset Shuffle을 해야 하는 이유

🤔 Problem

모델을 학습시키는 과정에서 이상한 현상이 나타나 문제점으로 삼았습니다.

문제는 train_set의 Accuracy는 100%로 유지되며 Loss는 변동이 거의 없다가 갑자기 한 두 번 엄청 상승하는 현상이었습니다.

validation_set에서도 이러한 문제점을 찾을 수 있었습니다. Accuracy가 100%로 유지되고, Loss는 0으로 유지되었습니다.

이런 완벽한 모델이 현실에서 존재할 수 없을뿐더러 완벽했다면 test_set에서도 좋은 결과가 있었어야 하지만, Accuracy는 약 50%, Loss는 약 84.4가 나왔습니다.

---

😀 Solution

문제점은 데이터셋이 아예 섞여있지 않았기에 발생했던 문제입니다.

문제에 대한 이유 추측

모델이 개에 대해서만 학습했다가 고양이가 들어오니 Loss가 갑자기 튀어 오르는 게 설명이 됩니다.

또한, validation_set에서는 train_set에서 일부를 떼어오기 때문에 개에 대해서만 학습하던 모델을 개로만 검증하니 100%가 나올 수밖에 없었죠.

 

그럼 데이터셋을 섞어야 하는데 어떻게 섞을 수 있을까요?

 

우선, train_set과 train_target 간의 인덱스의 관계는 계속 일치해야 합니다. 섞였다가는 데이터셋의 의미가 없어지죠.

이를 더 pythonic하게 짜기 위해 zip을 사용합니다.

shuffle_data = [[x, y] for x, y in zip(train_set, train_target)]

zip을 통해 묶어서 하나의 sample을 리스트로 만들어버립니다.

 

이제 섞기 위해서 random이라는 모듈을 가져옵니다.

random.shuffle(shuffle_data)

x_train = [n[0] for n in shuffle_data]
y_train = [n[1] for n in shuffle_data]

random.shuffle이라는 함수를 통해 섞어주고, index 0에 저장된 train_set을 가져오고, index 1에 저장된 train_target을 가져옵니다.

---

📂 Reference

https://jybaek.tistory.com/781

[python] 사용자 데이터셋 셔플