일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | |
7 | 8 | 9 | 10 | 11 | 12 | 13 |
14 | 15 | 16 | 17 | 18 | 19 | 20 |
21 | 22 | 23 | 24 | 25 | 26 | 27 |
28 | 29 | 30 |
Tags
- BFS
- object detection
- DP
- 가끔은_말로
- back propagation
- dfs
- 분할 정복
- 백트래킹
- c++
- 우선 순위 큐
- 세그먼트 트리
- pytorch
- lazy propagation
- 다익스트라
- 가끔은 말로
- 알고리즘
- 너비 우선 탐색
- 자바스크립트
- 플로이드 와샬
- 조합론
- 이분 탐색
- 2023
- Overfitting
- NEXT
- 크루스칼
- tensorflow
- 미래는_현재와_과거로
- 문자열
- dropout
- 회고록
Archives
- Today
- Total
목록2024/04/29 (1)
Doby's Lab
nn.Parameter(), 이걸 써야 하는 이유가 뭘까? (tensor와 명백하게 다른 점)
🤔 Problem문득 예전에 ViT를 구현해 놓은 코드를 보다가 그런 생각을 했습니다. '내가 저기서 nn.Parameter()를 왜 썼더라?' 지금 생각해 보면, 그냥 tensor를 써도 똑같은 코드일 텐데 말입니다. 이때 당시에 Attention을 구현하면서 Query, Key, Value를 만들어내기 위한 목적으로 Weight Matrix가 필요했었고, 여러 오픈 소스를 참고하면서 구현하다가 무심하게 썼었던 기억이 납니다.class ScaledDotProductAttention(nn.Module): def __init__(self, embedding_length, qkv_vec_length): ''' embedding_length : embedding 하나의 길이 -..
Code about AI/PyTorch
2024. 4. 29. 00:28