Normalization, uint8 -> float64 RAM, 런타임 다운되는 현상

🤔 Problem

이미지 데이터셋을 전처리하는 과정에서 Min Max Scaling 방법을 통해 Normalization을 해주려 했습니다.
이미지 Dataset이기 때문에 min값과 max값이 각각 0, 255이기 때문에 데이터셋에 255.0을 나누어주면 되죠.
(+255.0으로 나누는 이유는 255.0으로 나눔으로써 int type에서 float type으로 type casting이 되기 때문입니다.)

즉, 코드로 나타내면 이런 식으로 해주면 되겠죠.

def minmax_scaler(dataset)
	dataset = dataset / 255.0
    return dataset

여기서 문제가 발생합니다. 시스템 RAM을 모니터링해보면 RAM이 초과되는 것을 알 수 있습니다.
RAM이 초과됨에 따라서 런타임도 다운되어 버립니다.

---

😀 Solution

기존의 데이터셋은 이미지의 픽셀 값들을 전부 담고 있습니다. 픽셀 값의 범위는 0 ~ 255입니다.
픽셀 값의 범위에 따라 데이터셋은 uint8 type으로 구성되어 있습니다.

Min Max Scaling을 하면서 255.0으로 나누기 때문에 데이터셋은 float64 type으로 바뀝니다.
이에 따라 하나의 픽셀 당 8 bit만 사용하고 있었는데 64bit로 바뀌면서 메모리를 확 잡아먹게 되는 것입니다.
메모리가 8배나 늘어나면서 8,000장의 이미지를 가진 데이터셋은 약 4.19GB의 메모리를 차지하게 됩니다.

이에 따라 데이터셋을 분산적으로 나누어 가져와야 합니다.
분산적으로 나누어 가져오면서 Normalization을 하고, 부분 데이터셋을 버려야 합니다.

데이터셋을 버리는(= 메모리를 비우는) 방법은 파이썬에서는 del이라는 객체를 메모리에서 지워버리는 키워드를 이용하면 됩니다.
코드를 아래처럼 짜주면 런타임이 다운되는 이슈는 해결할 수 있습니다.

dataset = []

for dataset_pt_path in dataset_path:
    dataset_pt = np.load(dataset_pt_path, allow_pickle=True)
    
    for x in dataset_pt:
    	dataset.append(minmax_scaler(x))
    
    del dataset_pt_scaled
   
dataset = np.array(dataset)

즉, 데이터셋을 분산적으로 로드하여 로드한 부분 데이터셋은 사용 후(= fit), del 키워드를 통해 삭제하면 됩니다.

---

📂 Reference

https://stackoverflow.com/questions/69288593/how-to-prevent-ram-from-filling-up-in-image-classification-dl

How to prevent RAM from filling up in image Classification (DL)