Label Encoding의 문제점 (with Chat GPT)

📄 Intro

Categorical Variables에 대하여 모델에 학습시킬 때, Label Encoding의 문제점으로 인해 One-Hot Enoding을 추천하고 있습니다.

하지만, 이해가 되지 않는 부분이 있어서 포스팅을 작성하게 되었습니다. 이번 포스팅은 Chat GPT를 이용하여 작성하였습니다.

---

📄 Label Encoding의 문제점

Chat GPT는 Label Encoding의 문제점을 3가지로 정리했습니다. (차원 증가 문제도 제공했었는데 재차 물었을 때, 오류인 것으로 확인했습니다.)

1. 순서 또는 등급 부여: 독립적인 Categorical Variables에 순서나 랭크를 부여하는 것은 알고리즘에 악영향을 미친다.
2. 변수 평가 왜곡: Label Encoding을 통해 나온 숫자 값이 변수 간의 상대적인 중요성과 거리로 나타나지는 않는다.
3. 예측의 한계: 새로운 범주가 나타나면, 문제가 발생, 모델은 새로운 범주를 인식할 수 없으며, 정확도를 낮춘다.

이 부분에서 의아했던 점이 1번과 2번입니다. 저의 질문은 '독립적인 데이터가 순서나 랭크를 가지는 연관 없는 정보를 가지는 것은 옳지는 않아 보이나, 학습이 그렇게 되었다면 결과도 잘 나올 텐데 문제로 삼는 원인이 무엇인가?'입니다.

 

이에 대해 Chat GPT는 '모델 자체의 예측 결과에는 큰 변화가 없을 수 있으나, 모델의 가충치나 특성 중요도를 해석하려고 할 때, 변수가 인코딩 된 숫자 값에 따라 모델의 중요도가 왜곡될 수 있습니다. 이는 모델의 해석을 어렵게 만들고, 잘못된 결론을 도출할 가능성을 내포합니다.'라고 코멘트를 남겼습니다.

 

이는 선형모델, 트리기반모델에 대한 설명이었기에 DNN에 대해서도 물어본 결과, 전자보다는 해석이 어려우나 일부 해석이 가능한 바가 있으며 관련 방법들을 설명했습니다.

 

그리고, 설득력이 있는 부분은 3번 예측의 한계였습니다. 이미 train set에서 학습이 완료된 모델이 test set에서 새로운 Categorical Variable에 대해 새로운 Encoding 값을 받아들인다면, 모델이 잘못된 판단을 할 수 있다는 점에서 일리가 있다고 생각했습니다.

 

물론, Train Set을 통해 학습이 끝난 상황에 Test Set에서 새로운 Categorical Variable을 처리하는 방법도 존재합니다. 

하지만, 이건 One-Hot Encoding 또한 마찬가지입니다.

 

💡 Conclusion

결론적으로, Categorical Variable에 대한 Label Encoding은 순서나 등급을 매김으로써 잠재적 문제를 가지고 있지만, 모델의 해석 가능성과 예측의 한계에 대한 문제점도 존재하는 것으로 확인했습니다.

---

📄 Label Encoding vs One-Hot Encoding

그래서 Label Encoding과 One-Hot Encoding 중에서 어떤 Encoding이 더 나은 것인지는 상황에 따라서 다르다는 것을 아래 Ref.2에서 확인할 수 있습니다.

 

모델의 해석 가능성 문제를 배제하고 본다면, 우선적으로 Label Encoding의 순서성 부여 문제로 인해 One-Hot Encoding을 채택할 수 있지만, 아래와 같은 항목들을 고려하고 채택해야 합니다.

• Categorical Variable이 순서성을 지닌지에 대한 여부 (계급, 학교 등)
• 고윳값(Categorical Variable의 종류)의 개수에 대한 고려 (많은 경우에 One-Hot Encoding은 메모리 소비가 많아서 비효율적)

또한, One-Hot Encoding도 독립 변수들 간에 상관관계가 높아서 Multicollinearity 같은 문제가 있기 때문에 우선적으로 One-Hot Encoding이 좋다고 할 수는 없습니다. (Ref.3 참고)

그리고, Encoding 방법에 대해서 2가지만 있는 것도 아니라서 여러 Encoding을 고려해 보는 것이 좋을 것입니다.

---

📄 Outro

이번 문제는 탐색하는 데 오랜 시간이 소요되어 Chat GPT를 사용해 봤습니다. 대화 내용은 Ref.1로 링크를 걸어두었으니 참고하시길 바랍니다.

---

📄 Reference

https://chat.openai.com/share/7aeddf7f-caea-48d2-920d-585e6680f660

ChatGPT

https://azanewta.tistory.com/46

One Hot Encoding 과 Label Encoding 을 비교해보자

https://towardsdatascience.com/how-and-why-performing-one-hot-encoding-in-your-data-science-project-a1500ec72d85#:~:text=In%20these%20cases%2C%20one%2Dhot,Learning%20algorithms%20without%20any%20problems.

How and Why Performing One-Hot Encoding in Your Data Science Project