목록AutoGrad (1)

Doby's Lab

backward()는 역전파를 어떻게 할까? (Autograd의 Node)

🤔 Problem PyTorch의 Tensor는 requires_grad가 True로 되어있을 때, 변화도에 대한 연산의 추적을 가능하게 합니다. 즉, 각 Tensor에 대해서 .grad 속성과 .grad_fn 속성이 생깁니다. .grad는 현재 Tensor에 대해 목적함수가 얼마큼 변했나에 대한 변화도의 값, 즉 미분 값을 담고 있으며, .grad_fn은 이전 Tensor에 대해서 현재 Tensor를 미분해 줄 때, 어떠한 연산에 대한 미분을 해주어야 하는지 특정 연산에 대한 미분 함수 정보를 담고 있습니다. (값이 아닌 함수 정보임을 유의) 예를 들어, b = a + 2라면, b에는 a에 대해 미분을 할 때, 더하기 연산을 통해 생성이 되었으니 더하기 연산으로 만들어졌다는 것을 알고 있다는 뜻입니다...
Code about AI/PyTorch 2023. 11. 19. 15:13
이전 Prev 1 Next 다음