ValueError: ctypes objects containing pointers cannot be pickled

🤔 Problem

XGBRegressor와 MultiOutputRegressor를 결합하여 다중회귀출력 모델을 만들었고, 이 모델의 기존 하이퍼 파라미터를 default 값 세팅에서 튜닝을 시작할 때, 발생한 에러에 대해 정리하고자 합니다.

XGB는 xgboost에서 제공하는 라이브러리를 사용하였습니다.

from xgboost import XGBRegressor

두 모델을 결합하기 위해 아래와 같은 코드를 작성했었습니다.

dtrain = xgb.DMatrix(data=train_X, label=train_Y)
dtest = xgb.DMatrix(data=test_X, label=test_Y)

params = {
    'max_depth':3,
    'eta':0.1,
    'objective':'reg:squarederror',
    'eval_metric':'rsme',
}
num_rounds = 400

wlist = [(dtrain,'train'),(dtest,'eval')]

xgb_model = XGBRegressor(params=params,
                        num_boost_round=num_rounds,
                        early_stopping_rounds=100,
                        evals=wlist)

multioutput_model = MultiOutputRegressor(xgb_model)

multioutput_model.fit(train_X.values, train_Y.values)

하지만, 이 코드는 다음과 같은 에러를 발생시킵니다.

ValueError: ctypes objects containing pointers cannot be pickled

이 에러가 말하는 바는 직역했을 때, '포인터를 포함한 C언어 객체를 직렬화(pickling)시킬 수 없다'는 뜻입니다.

 

여기서 캐치해야 할 부분은 C언어 객체와 직렬화라고 생각했습니다.

✅ 직렬화 (Serialization, pickling)

직렬화란 모델의 상태와 파라미터를 저장하여 나중에 재사용하거나 공유하는 과정을 말합니다.

모델을 훈련시킨 후에 저장해 두면, 나중에 추가적인 훈련이 없이 다른 환경에서 예측을 수행할 수 있는 편리한 과정입니다.

이런 작업을 수행하기 위해서 파이썬에서는 pickle 혹은 joblib 라이브러리를 사용합니다.

(라이브러리 이름이 pickle이라는 이유에 비롯하여 pickling이라는 말을 직렬화라는 뜻으로 사용하기도 합니다.)

모델을 바이너리 파일로 저장하기 때문에 아래와 같이 저장을 할 때는 'wb'로 argument를 지정해주어야 합니다.

import pickle

# Save Model
with open('model.pkl', 'wb') as file:
    pickle.dump(model, file)

# Load Model
with open('model.pkl', 'rb') as file:
    loaded_model = pickle.load(file)

---

😀 Solution

제가 C언어 객체를 캐치해야 할 부분이라고 말한 이유는 Wrapper라는 개념 때문입니다.

✅ Wrapper

래퍼란 프로그래밍에서 다른 라이브러리나 모듈을 더 쉽게 사용하거나 확장하기 위해 중간에 감싸주는 역할을 하는 코드나 인터페이스를 의미합니다. 래퍼는 기존의 기능을 변경하지 않으면서 편리하게 사용하거나 새로운 기능을 추가하기 위해 사용됩니다.

 

XGB에서는 이러한 래퍼에 대해 2가지를 제공하고 있습니다.

1️⃣ 사이킷런 래퍼 (Scikit-Learn Wrapper)

사이킷런 래퍼는 사이킷런의 일관된 인터페이스와 기능을 활용하여 다양한 머신러닝 알고리즘을 사용하고 조합할 수 있도록 해줍니다. 사이킷런 래퍼는 통일된 메서드와 API를 제공하여 모델을 초기화, 훈련, 예측, 평가 등의 작업을 간편하게 수행할 수 있도록 도와줍니다.

2️⃣ 파이썬 래퍼 (Python Wrapper)

파이썬 래퍼는 다른 언어로 작성된 코드나 라이브러리를 파이썬에서 활용할 수 있도록 감싸주는 역할을 합니다. 예를 들어, 파이썬 래퍼는 C나 C++로 작성된 라이브러리를 파이썬 코드에서 호출하고 사용할 수 있도록 인터페이스를 제공합니다.

2️⃣ 래퍼의 차이가 드러나는 곳은?

그래서 둘의 차이는 어떻게 드러나는가가 궁금해질 수 있습니다. 왜냐하면, 같은 XGB를 쓰는데 '이게 무슨 소리인가' 싶었습니다.

래퍼라는 것은 말 그대로 인터페이스와 기능을 뜻하기 때문에 이런 차이가 나는 부분을 볼 수 있는 곳은 함수, 클래스, 메서드, 파라미터에서 드러납니다.

Ref. https://jaaamj.tistory.com/39

XGBoost 실습 - 사이킷런 래퍼 -

✅ Solve

그래서 이러한 2가지 래퍼를 통해 XGB를 사용하기 때문에 pickling 문제의 원인을 2가지로 삼았습니다.

1. 파이썬 래퍼를 사용한 XGB에서 잘못된 하이퍼 파라미터 튜닝
2. 파이썬 래퍼를 사용한 XGB와 사이킷런 래퍼를 사용한 MultiOutputRegressor와의 충돌

이러한 문제점에 기반하여 파이썬 래퍼 기반의 XGB를 사용하기보다는 사이킷런 래퍼 기반의 XGB를 사용하여 에러를 해결할 수 있었습니다.

xgb_model = XGBRegressor(n_estimators=400,
                        learning_rate=0.1,
                        max_depth=3,
                        )

multioutput_model = MultiOutputRegressor(xgb_model).fit(train_X.values, train_Y.values)

이 코드에서 맨 위 코드와 같이 Validation Set을 넣지 않은 이유는 에러를 해결하는 과정에서 MultiOutputRegressor는 이런 eval_set에 대해 지원하지 않아서 넣어주기 위해서는 직접적인 모듈 수정이 필요하다는 걸 알게 되었기 때문에 넣지 않았습니다.