| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | ||
| 6 | 7 | 8 | 9 | 10 | 11 | 12 |
| 13 | 14 | 15 | 16 | 17 | 18 | 19 |
| 20 | 21 | 22 | 23 | 24 | 25 | 26 |
| 27 | 28 | 29 | 30 |
Tags
- Overfitting
- dfs
- 자바스크립트
- DP
- 다익스트라
- 가끔은 말로
- 세그먼트 트리
- 미래는_현재와_과거로
- 백트래킹
- 문자열
- pytorch
- 크루스칼
- dropout
- 조합론
- object detection
- lazy propagation
- back propagation
- 회고록
- 가끔은_말로
- 분할 정복
- 알고리즘
- 우선 순위 큐
- 너비 우선 탐색
- BFS
- 플로이드 와샬
- NEXT
- tensorflow
- c++
- 이분 탐색
- 2023
Archives
- Today
- Total
목록operation (1)
Doby's Lab
Tensor는 서로 다른 ndim에 대해서 어떻게 연산할까? (Broadcasting Semantics)
🤔 Problem오늘 다루어볼 문제는 어찌 보면 예전부터 궁금했으나 그에 대한 답을 감각적으로만 알고 있었고, 문제점으로 다루었을 때 어려울 것이라 예상했었기에 조금 미루어왔던 주제입니다. 오늘의 문제를 정의하기 전에 이것부터 얘기해 봅시다. 우리는 일반적으로 모델을 학습시킬 때, 배치 단위로 학습을 시킵니다. 그러면 예를 들어서 Input Tensor가 (4, 2)의 shape을 가진다고 했을 때, Batch Size가 16이라 해봅시다. 실제로 모델에 들어가게 되는 Input Tensor의 shape은 (16, 4, 2)가 될 것입니다. 이때, 모델의 Weight가 Batch Size에 따라서 똑같이 (16, weight shape)로 변하나요? 아닙니다. 그대로 (weight shape)을 유지하..
Code about AI/PyTorch
2024. 5. 4. 01:19