도비의 저장소

보호되어 있는 글입니다.

연구노트 긁어오기 31. 미분 방정식이 처음이라서Neural ODE에서 다루는 미분 방정식은 크게 어렵지 않다.미분 방정식이 무엇인지? 방정식인데, 그 해가 함수이거나 함수 집합이다.수치적으로 푸는 방법 = Euler’s method (단순한 ODE Solver)이것만 알아도 크게 어려움이 없다. 그리고, 위 두 개념은 크게 어렵지 않다.또한, Runge-Kunta까지 안다면 더더욱 어려움이 없을 것이다.2. 2번 Section의 설명이 조금 난해해서리뷰를 해본 자의 입장으로서, 2번 Section이 Neural ODE의 핵심으로 보인다. (Sensitivity Adjoint Method를 제안)하지만, 이에 대한 수식 전개가 없고 뜬금 없이 등장한 거 같아 매우 혼란을 겪는다. 필자 또한 이를 파훼할 ..

연구노트 긁어오기 2 어제 논문을 읽던 도중이었나? Graph Spectral Convolution을 이해하고자 보고 있었는데, Laplacian matrix의 eigenvector를 보고 왜 Fourier basis라 하는지 궁금했다. 그래서, 기초적인 신호 처리부터 오래 걸리겠지만, 한 번 보자고 마음 먹고 푸리에 변환을 공부했었다. 특히, 1D Signal에서 Basis function이 Complex exponential이라는 점이 위에서 말하는 Fourier basis라고 하는 부분에 대해서 꽤 중요했다. 또, Laplacian operator와 Eigenfunction이 뭔지 알게 되었다. 이 때가 오늘의 스파크가 터지는 지점이었는데, ‘Laplacian operator의 Eigen funct..

연구노트 긁어오기 시리즈를 시작하며.. 요즘 글을 너무 안 올려서... 제 연구노트인데요, 요거라도 올려봅니다. Neural ODE 논문 리뷰를 하는 블로그에서 이 문제를 심층적으로 다루는 글들은 많이 못 봐서요. 제 연구 노트에는 요런 내용들이 좀 많습니다. 괜히 제 딴에는 보다 깊게 이해하려고 하는 것이지만, 시간을 많이 소비한답니다.. 호호 아무튼 요즘 근황 겸 요런 글을 어떠신지요. 올 한 해 의도치 않게 Generative Model에 빠져있었는데, GAN, VAE, Normalizing Flow, DDPM 등에 대해서도 요런 고군분투스러운 글들이 많답니다. (조금의 반응이라도 있다면, 앞으로는 조금씩 정제해서 올려볼까 합니다. 제 생각이 맞는지 의심스러울 때가 많거든요..ㅎ 여기를 discus..

🤔 Problem오랜만에 PyTorch 관련 글입니다. 최근에는 Generative Model 쪽을 공부하면서 DDPM을 구현하다가 PyTorch의 새로운 기능을 발견했는데요. 바로 오늘 글의 주제가 되는 self.register_buffer()입니다. 본 포스트는 예전에 작성한 포스트들 중에 'nn.Parameter(), 이걸 써야 하는 이유가 뭘까? (tensor와 명백하게 다른 점)'라는 포스트의 후속 편이 되기도 합니다.  이전 포스트의 내용을 간략하게 리뷰해 보면 '모델 내에서 단순히 torch.tensor()를 통해 선언한 텐서는 학습의 대상이 되지 못하고, 이를 명확하게 모델 내 학습을 하는 파라미터로 정의하기 위해서는 nn.Parameter()로 감싸서 추가적으로 선언해야 한다.'라는 내..

보호되어 있는 글입니다.

✅ Intro오랜만에 글을 적습니다. 종강한 지 둘째 날에서 셋째 날로 넘어가는 밤에 글을 적고 있네요. 이번에도 새로운 연구를 해보았답니다. 항상 연구가 끝나면 아쉬움들이 남습니다. 이번 연구도 그렇고요. 하지만, 개인적인 목적을 달성함에 있어서는 많은 걸 느끼고 만족했던 연구였습니다. 그래서, 모든 프로젝트의 끝은 회고라고 생각하기에 이번에도 회고를 준비해 봤습니다. 이번에 진행한 프로젝트는 지금껏 해왔던 연구들과 다소 결이 다르답니다. 의도치 않게(?) 과거의 프로젝트들은 전부 Computer Vision에서 다루는 Task가 전부였습니다. Classification, Semantic Segmentation, Object Detection... 여기까지만 보면 저는 Computer Vision 하..

✅ Introduction많은 사람들이 AI를 공부하면서 모델을 학습시킬 수 있는 능력들을 갖추었지만, 개인 GPU를 보유하고 있는 경우는 많이 없습니다. 이에 대한 해결책으로 Google의 Colab을 많이 사용합니다. 하지만, Colab 자체가 본질적으로는 가상 머신이다 보니 개인 컴퓨터에 GPU가 있는 환경과 다른 부분들이 있습니다. 다시 말해서, 모델 학습을 시키는 작업을 할 때, 추가적인 작업들을 필요로 합니다. 그래서, 이러한 추가적인 작업들에 대해 지난 경험들을 바탕으로 얻은 팁들을 다루어보고자 합니다. 정리하고자 하는 팁들은 새로운 작업들을 뜻하는 것은 아니고, 기존 작업들을 더 효율적으로 처리할 수 있는 방법들입니다. GPU를 갖고 있는 일반적인 환경이라면 작업을 수행하는 소스 코드, 데..