Tensor는 서로 다른 ndim에 대해서 어떻게 연산할까? (Broadcasting Semantics)

🤔 Problem

오늘 다루어볼 문제는 어찌 보면 예전부터 궁금했으나 그에 대한 답을 감각적으로만 알고 있었고, 문제점으로 다루었을 때 어려울 것이라 예상했었기에 조금 미루어왔던 주제입니다.

 

오늘의 문제를 정의하기 전에 이것부터 얘기해 봅시다. 우리는 일반적으로 모델을 학습시킬 때, 배치 단위로 학습을 시킵니다. 그러면 예를 들어서 Input Tensor가 (4, 2)의 shape을 가진다고 했을 때, Batch Size가 16이라 해봅시다.

 

실제로 모델에 들어가게 되는 Input Tensor의 shape은 (16, 4, 2)가 될 것입니다. 이때, 모델의 Weight가 Batch Size에 따라서 똑같이 (16, weight shape)로 변하나요? 아닙니다. 그대로 (weight shape)을 유지하고 있습니다. 차원의 개수가 다른데 서로 연산을 하고 있었다는 겁니다.

 

이것은 개발자로 하여금 혼란을 가져오기도 합니다.

'그럼 어떻게 연산을 하는 거야? 내가 의도한 대로 하고 있긴 한 거야?'

 

여기서 오늘 알아볼 문제가 나왔습니다. 그 문제는 'Tensor는 서로 다른 ndim(차원의 개수)에 대해서 어떻게 연산을 하는가?'가 이번 포스팅의 주제입니다.

 

이 문제에 대해서는 사실 Broadcasting의 개념으로 충분히 해결이 가능합니다. 이게 전부예요. 그래서 이번 포스팅은 위에서 언급한 문제점에 대해서 Broadcasting을 설명하면 끝납니다.

 

하지만, 제가 원하는 건 이게 아닙니다. 왜냐하면, 저는 Broadcasting의 개념을 알아도 종종 모델을 만들 때 shape과 관련한 실수를 많이 합니다.

 

즉, 개념을 알고 있는 것만으로 Broadcasting과 관련된 코드를 핸들링할 때는 어려움이 있다는 것입니다.

 

다시 말해서, 이번 포스팅에서 다룰 주제에 대해서 정확히 재정의를 하면, 'Broadcasting의 개념과 원리는 알겠으나, 어떠한 규칙이 있는가?'를 다루어보려고 합니다. 

---

😀 Broadcasting Semantics

Broadcasting에 대한 개념을 다루지는 않지만, 이 개념에 대해 핵심적으로 꿰뚫는 말이 있기에 이것만 적어두겠습니다.

 

"Broadcasting이란 특정한 어떤 조건이 맞아진다면, 모양이 다른 배열끼리도 연산을 수행할 수 있다는 의미를 가진다."

 

이러한 Broadcasting이 어떤 조건, 어떤 규칙에 의해서 수행될 수 있는가를 Broadcasting Semantics라고 합니다. 공식 문서에서 이렇게 언급을 하고 있고, 추가적으로 Semantics란 "어떤 요소를 어떠한 위치에 두어야 하는가가 아니라 어떤 요소를 어떠한 위치에 두면 어떤 의미를 갖는지를 말한다.[1]"라는 뜻의 용어입니다.

 

Broadcasing Semantics에 관한 내용은 PyTorch의 Documentation[2]을 기반으로 합니다. (해당 링크의 In Brief: Tensor Broadcasting)

1️⃣ 마지막 차원에서 시작하는 비교

첫 번째 규칙입니다. 텐서끼리 연산을 할 때는 각 텐서에서 차원의 크기를 서로 비교하는데, 이때 비교하는 방법은 각 텐서의 마지막 차원 크기에서 반대 방향으로 첫 차원의 크기까지 비교를 합니다.

 

아래의 코드와 함께 예시를 든다면, 처음으로 봐야 할 것은 2와 2입니다. 그다음은 3과 3이고, 그다음은?

없습니다. matrix2의 0번째 차원 크기가 4이지만, 이것은 Broadcasting 가능 여부에 있어서 고려하지 않아도 될 사항입니다. 그래서, 마지막부터 보는 거예요.

(물론, 마지막부터 볼 필요는 없습니다. 뒤 차원부터 맞춰서 볼 수 있다면, 굳이 반대 방향부터 고려한다는 생각은 버려도 됩니다. 에러가 날 때도 보면, 앞에서부터 차원을 읽기 때문입니다.)

matrix1 = torch.ones((   3, 2))
matrix2 = torch.ones((4, 3, 2))
matrix3 = matrix1 * matrix2

위의 예시를 가지고 생각해 본다면, 3x2 행렬과 다른 4개의 3x2 행렬을 각각 Element-wise Product를 한다고 볼 수 있습니다. 이런 의미에서 더 많은 차원을 가진 텐서의 앞 차원들은 볼 필요가 없는 것입니다.

2️⃣ 비교하는 차원들은 그 크기가 모두 같아야 한다.

위 예시처럼 2와 2, 3과 3처럼 비교를 하는 차원들의 크기는 모두 같아야 Broadcasting을 할 수 있는 조건이 됩니다.

matrix1 = torch.ones((3, 2))
matrix2 = torch.ones((2, 2))
matrix3 = matrix1 * matrix2

위 코드와 같이 비교하는 차원이 다르다면, 아래와 같은 에러를 일으키게 됩니다.

RuntimeError: The size of tensor a (3) must match the size of tensor b (2) at non-singleton dimension 0

0번째 차원에서 1번 텐서와 2번 텐서의 사이즈(크기)가 다르니 이것을 확인하라는 의미입니다.

3️⃣ 하지만, 비교하는 차원이 다르더라도 그 크기가 1이면 가능하다.

2번에서는 비교하는 차원들이 모두 같아야 된다고 했지만, 다른 경우라도 그 크기가 1이면 Broadcasting이 가능합니다.

matrix1 = torch.ones((3, 2))
matrix2 = torch.ones((1, 2))
matrix2[:, 1] += 1

matrix3 = matrix1 + matrix2

위와 같이 행이 다른 경우라면, 아래의 그림과 같이 가능하고요.

matrix1 = torch.ones((3, 2))
matrix2 = torch.ones((3, 1))
matrix2[1, :] += 1
matrix2[2, :] += 2

matrix3 = matrix1 + matrix2

위와 같이 열이 다른 경우라면, 아래의 그림과 같이 가능합니다.

위 예시들과 차원의 크기가 1인 경우에 가능한 이유는 복사하듯이 계산이 가능하기 때문입니다.

이와 같이 하나의 벡터에서 행렬로 연산을 퍼져나가듯이 수행하기 때문에 Broadcasting이라 합니다.

4️⃣ 연산하고자 하는 것이 텐서, 벡터가 아닌 스칼라인 경우에는 가능하다.

사실 이것은 안 적으려고 했습니다. 1번과 3번 조건을 합친 것과 결국에 같은 이야기이기 때문입니다.

matrix1 = torch.ones((3, 2))
matrix2 = torch.ones((1))

matrix3 = matrix1 * matrix2

위 코드에서 스칼라의 shape을 보면 1번 조건에 대해서 1과 2만 비교하게 되는데, 비교하는 차원이 1이기 때문에 연산이 가능한 것입니다.

 

그래도 적어둔 이유는 공식 문서에 나와있었기 때문이고, 이것이 결국에는 Broadcasting이라는 개념을 이해하는 데에 가장 기초적인 예시이기 때문입니다.

5️⃣ 행렬 곱은 마지막 두 차원이 행렬 곱의 조건을 갖추면 된다.

어쩌면 이 글을 써야 했던 이유입니다. 딥러닝에서 element-wise product를 하는 경우는 matrix multiplication보다 비중이 더 적고, Broadcasting Semantics에 대해 궁금하게 되었던 이유도 여기에 있었기 때문입니다.

 

그리고, 이 내용은 제가 참고한 공식 문서나 다른 포스팅에서는 없었습니다. 대부분 element-wise까지만 Broadcasting을 언급하고 있었습니다.

 

그래서 5번 조건은 제가 실험을 통해 수행한 내용을 기반으로 작성하였습니다. 실험을 통해서 알게 된 것은 당연한 내용일지도 모르겠다는 생각이 들었습니다.

 

행렬 곱에 대해서는 1~4번 조건까지 모두 같은 조건을 다루고 있습니다. 하지만, 딱 하나의 조건만 더 지켜지면 행렬 곱에 있어서도 Broadcasting Semantics는 성립합니다.

 

마지막 두 차원이 행렬 곱의 조건을 갖추면 됩니다. 여기서 핵심은 마지막 두 차원입니다.

 

핵심을 다루기 전에, 행렬 곱에 대해서 이야기를 해봅시다. 행렬 곱의 조건은 당연히 익숙하겠지만 첫 번째 행렬의 열과 두 번째 행렬의 행의 크기가 같으면 행렬 곱을 수행할 수 있습니다.

 

이러한 조건을 텐서의 경우로 생각한다면, 첫 번째 텐서가 n개의 차원을 가지고, 두 번째 텐서가 m개의 차원을 가진다고 할 때, n의 차원의 크기와 m-1의 차원 크기가 같아야 한다는 의미입니다.

 

아래 코드로 봤을 때는 첫 번째 텐서에서 0번째 차원이 3인 것은 1~4번 조건을 모두 고려하기 때문에 전혀 상관이 없습니다. 그리고, 2x5 행렬과 5x4 행렬이 행렬곱을 할 수 있는 조건이 되기 때문에 이는 Broadcasting이 가능합니다.

matrix1 = torch.ones((3, 2, 5))
matrix2 = torch.ones((5, 4))

matrix3 = matrix1 @ matrix2

그러면, 마지막 두 차원이어야 하는 이유는 무엇이냐? 마지막 두 차원이 아닌 경우는 아래의 경우를 의미합니다.

matrix1 = torch.ones((3, 2, 5, 4))
matrix2 = torch.ones((3, 5, 2, 4))

matrix3 = matrix1 @ matrix2

위 코드가 그 경우가 되는 것인데 위 코드는 당연하게 되지 않습니다. 왜냐하면, 애초에 코드의 관점에서는 2번 조건에 위배됩니다.

 

그리고, 수학적으로 이를 접근해 봤을 때, 만약에 이것이 '행렬 곱의 조건처럼 왜 되지 않느냐?'를 물었을 때는 이것은 행렬 곱의 정의에 위배되기 때문이라 말할 수 있습니다.

 

아마, 2x5 행렬과 5x2 행렬이 곱해지는 경우를 생각했을 텐데, 행렬 곱은 결국 행렬 크기에 대한 조건을 고려하여 원소를 곱하고 더하는 연산입니다. 하지만, 2x5 행렬, 5x2 행렬이라 보는 관점은 원소를 벡터로 봤다는 것인데 여기서 원소 자체의 의미는 스칼라 값 그 자체일 뿐, 벡터나 행렬 혹은 더 나아가서 텐서가 될 수는 없습니다. 그래서 마지막 두 차원이라고 언급한 것입니다.

 

자, 이렇게 1~5번 조건까지 알아봤습니다. 4번 조건을 제외하면, 생각해 볼 것은 4개 없으니 익혀두면 좋을 거 같습니다.

---

✅ Result

오늘은 Broadcasting Semantics에 대해서 알아보았습니다. 최대한 이 규칙만을 설명하기 위해서 개념에 대한 내용은 배제를 했습니다. 개념 + 규칙을 동시에 설명하기에는 제가 다른 포스팅을 참고할 때, 조금 복잡하게끔 느껴졌기 때문입니다.

 

또한, Broadcasting은 딥러닝에서는 아주 중요한 연산 중 하나입니다.

 

그래서, 오늘 알게 된 이러한 규칙을 토대로 모델을 설계한다면 에러의 빈도수를 많이 줄일 수 있을 것으로 기대합니다.

---

📂 Reference

https://jake-seo-dev.tistory.com/445

프로그래밍 언어에서 말하는 의미론 (Semantics, 시멘틱) 이란?

https://pytorch.org/tutorials/beginner/introyt/tensors_deeper_tutorial.html

Introduction to PyTorch Tensors — PyTorch Tutorials 2.3.0+cu121 documentation