optimizer.step()은 정말 가중치를 건들까? (Call-by-Assignment)

🤔 Question

PyTorch에서는 모델을 학습시킬 때, (특히 Back Propagation이 일어날 때) 아래와 같은 과정을 거칩니다.

 

1) optimizer의 종류와 learning rate에 따른 optimizer를 선언하면서 model의 parameter 값을 넘깁니다.

2) .grad 속성 값을 optim.zero_grad()를 통해 초기화시킵니다. (.grad accumulate 방지)

3) 그 다음, .backward()를 호출시켜서 각 Tensor의 .grad 속성을 갱신합니다. 

4) 마지막으로, optimizer.step()을 통해서 각 Tensor의 업데이트를 진행합니다.

 

이 과정에서 궁금했던 부분은 '정말 실제 model의 가중치를 업데이트하는가?'였습니다.

 

너무나 당연하게도 업데이트를 하겠지만 업데이트가 되고 있는지 확인할 수 없었을뿐더러 아래의 optimizer 선언과 Tensor(가중치) 갱신 코드에서 위와 같은 의문을 일으켰습니다.

# optimizer 선언
optmizer = torch.optim.SGD(model.parameters(), lr=learning_rate)

# 모델의 Tensor(가중치) 갱신
optimizer.step()

이러한 질문의 이유로는 model.parameters()를 optimizer에 넘기기만 했을 뿐 직접적으로 model.parameters()를 건드는 부분은 없었기 때문입니다.

---

😀 Answer

📄 Experiment

모델의 가중치가 실제로 변하는지 직접 확인해 보기 위해서 간단히 training을 하는 코드로 실험을 해봤습니다.

눈에 띄는 결과를 위해서 Learning Rate를 0.1로 크게 잡고 학습시켰습니다.

(모델은 이미지를 flatten 시킨 간단한 Linear Regression 모델입니다.)

또한, 출력하는 가중치는 Linear Layer의 Tensor 중 동일한 원소에 대해 출력하게 했으며, Batch를 10번 학습시킨 결과를 출력하도록 했습니다.

def train_loop(model, dataloader, loss_fn, optim):
    size = len(dataloader.dataset)
    print('[Weight Change Observation]')
    for batch, (X, y) in enumerate(dataloader):
        # Forward Propagation
        pred = model(X)
        loss = loss_fn(pred, y)
        
        print('=========================================')
        print(f'ORDER: {batch+1}')
        print(f'[Before Backward]\n{model.linear2.weight[0,0]}')
        
        # Backward Propagation
        optim.zero_grad() # init grad
        loss.backward()
        optim.step()
        
        print(f'[After Backward]\n{model.linear2.weight[0,0]}')
        
        if batch == (10 - 1):
            print('=========================================')
            print('print 10 times')
            break

이에 대한 결과, 출력은 당연히 가중치의 변화를 보여주었습니다.

[Weight Change Observation]
=========================================
ORDER: 1
[Before Backward]
0.005343694239854813
[After Backward]
0.005184032954275608
=========================================
ORDER: 2
[Before Backward]
0.005184032954275608
[After Backward]
0.00509195402264595
=========================================
ORDER: 3
[Before Backward]
0.00509195402264595
[After Backward]
0.004864421673119068
=========================================
ORDER: 4
[Before Backward]
0.004864421673119068
[After Backward]
0.00480083841830492
=========================================
ORDER: 5
[Before Backward]
0.00480083841830492
[After Backward]
0.00480083841830492
=========================================
ORDER: 6
[Before Backward]
0.00480083841830492
[After Backward]
0.004487521015107632
=========================================
ORDER: 7
[Before Backward]
0.004487521015107632
[After Backward]
0.004345327150076628
=========================================
ORDER: 8
[Before Backward]
0.004345327150076628
[After Backward]
0.004016462713479996
=========================================
ORDER: 9
[Before Backward]
0.004016462713479996
[After Backward]
0.0035967917647212744
=========================================
ORDER: 10
[Before Backward]
0.0035967917647212744
[After Backward]
0.0033088999334722757
=========================================
print 10 times

📄 Call-by-Assignment

결과는 확인하였으니 왜 이런 의문을 품었을까를 더듬어 가보니 Call-by-Value와 Call-by-Reference에 대한 생각에 기반을 두고 나온 의문이었습니다.

 

즉, 이 의문은 optimizer.step()에 대해서 Call-by-Value라고 생각했었지만, Call-by-Reference였던 것으로 정리가 될 수 있습니다.

 

하지만, 진짜 중요한 건 파이썬은 이런 체계로 돌아가지 않습니다. 파이썬의 함수 호출 방식은 Call-by-Assignment만 존재합니다.

 

Call-by-Assignment란 파이썬의 함수 호출 방식으로, 파이썬의 모든 것은 객체이며 이 객체의 종류는 Mutable(변할 수 있는), Immutable(변할 수 없는) 이 2가지로만 정의됩니다.

 

즉, 파이썬의 함수 호출에 대해서 Argument가 가변성 여부는 함수에 달려있는 것이 아닌 Argument로 넘기는 객체의 타입에 달려있는 것입니다.

 

Mutable은 Call-by-Reference에 따르며 list, set, dict 등의 객체가 있고, Immutable은 Call-by-Value를 따르며 str, int, tuple 등의 객체가 있습니다.

---

✅ Summary

정리를 해보면, 이번에는 optimizer에 대한 의문을 통해 예전에 공부했던 파이썬의 Call-by-Assignment에 대해서 복습을 하게 되었고, Pytorch에서 model의 Parameter는 Mutable한 객체라는 것을 알게 되었습니다.