scheduler.get_last_lr(), 이제는 Learning Rate를 이렇게 확인하더랍니다

🤔 Problem

모델을 학습하다가 이상하게 스케줄러에 대한 출력(Learning Rate에 대한 변경 출력)이 없어서 이에 대해 verbose를 True로 바꿔주려고 작업할 내용을 확인하기 위해 공식 문서를 들어가 봤다가 아래 내용을 확인했습니다.

PyTorch: "우리 이제 verbose 기능 뺄 거예요, 대신 이제 이거 쓰세요."

---

😀 Solution

이제는 스케줄러에 대해서 verbose argument를 지원하지 않겠다는 내용이었습니다. 하지만, 스케줄러에 대한 메서드 get_last_lr()을 사용해 보라고 합니다. 이 메서드는 스케줄러가 마지막으로 계산한 Learning Rate를 출력하며, 이는 '현재 에포크에서 어떠한 Learning Rate로 학습을 진행하게 되는가'를 의미합니다.

 

그래서, 아래 내용으로 잘 확인이 되는지를 실험하기 위해 간단한 코드를 만들어줬습니다.

 

매 에포크마다 현재의 Learning Rate를 출력하도록 해주었으며, 그에 대한 결과는 아래와 같습니다.

(아래 코드는 의도적으로 mode를 max로 두어, 줄어드는 loss 값에 대해 스케줄러 빠르게 작동하도록 설계하였습니다.)

... # 위 모델, 손실 함수 등 불필요한 내용 생략
optimizer = Adam(model.parameters(), lr=0.001)
scheduler = ReduceLROnPlateau(optimizer, mode='max', patience=3)

epochs = 20

for epoch in range(epochs):
    print(f"Epoch: {epoch+1:04d} - Learning Rate: {scheduler.get_last_lr()[0]:.8f}", end=' ')
    
    optimizer.zero_grad()
    output_tensor = model(input_tensor)
    
    loss = loss_fn(output_tensor, target_tensor)
    
    loss.backward()
    optimizer.step()
    
    print(f"Loss: {loss.item():.8f}")
    scheduler.step(loss)

Epoch: 0001 - Learning Rate: 0.00100000 Loss: 0.25520608
Epoch: 0002 - Learning Rate: 0.00100000 Loss: 0.25505885
Epoch: 0003 - Learning Rate: 0.00100000 Loss: 0.25491315
Epoch: 0004 - Learning Rate: 0.00100000 Loss: 0.25476906
Epoch: 0005 - Learning Rate: 0.00100000 Loss: 0.25462645
Epoch: 0006 - Learning Rate: 0.00010000 Loss: 0.25448543
Epoch: 0007 - Learning Rate: 0.00010000 Loss: 0.25447142
Epoch: 0008 - Learning Rate: 0.00010000 Loss: 0.25445747
Epoch: 0009 - Learning Rate: 0.00010000 Loss: 0.25444353
Epoch: 0010 - Learning Rate: 0.00001000 Loss: 0.25442955
Epoch: 0011 - Learning Rate: 0.00001000 Loss: 0.25442815
Epoch: 0012 - Learning Rate: 0.00001000 Loss: 0.25442678
Epoch: 0013 - Learning Rate: 0.00001000 Loss: 0.25442535
Epoch: 0014 - Learning Rate: 0.00000100 Loss: 0.25442401
Epoch: 0015 - Learning Rate: 0.00000100 Loss: 0.25442386
Epoch: 0016 - Learning Rate: 0.00000100 Loss: 0.25442374
Epoch: 0017 - Learning Rate: 0.00000100 Loss: 0.25442359
Epoch: 0018 - Learning Rate: 0.00000010 Loss: 0.25442347
Epoch: 0019 - Learning Rate: 0.00000010 Loss: 0.25442344
Epoch: 0020 - Learning Rate: 0.00000010 Loss: 0.25442341

위 결과를 통해 scheduler.get_last_lr()[0] 코드가 현재의 Learning Rate를 가져오는 것을 확인할 수 있었습니다. 인덱싱을 해준 이유는 해당 메서드의 리턴 타입이 List[float]라서 위와 같이 값을 받아오도록 해주었습니다.

---

📂 Reference

https://pytorch.org/docs/stable/generated/torch.optim.lr_scheduler.ReduceLROnPlateau.html#torch.optim.lr_scheduler.ReduceLROnPlateau

ReduceLROnPlateau — PyTorch 2.4 documentation