Doby's Lab

연구노트 긁어오기 31. 미분 방정식이 처음이라서Neural ODE에서 다루는 미분 방정식은 크게 어렵지 않다.미분 방정식이 무엇인지? 방정식인데, 그 해가 함수이거나 함수 집합이다.수치적으로 푸는 방법 = Euler’s method (단순한 ODE Solver)이것만 알아도 크게 어려움이 없다. 그리고, 위 두 개념은 크게 어렵지 않다.또한, Runge-Kunta까지 안다면 더더욱 어려움이 없을 것이다.2. 2번 Section의 설명이 조금 난해해서리뷰를 해본 자의 입장으로서, 2번 Section이 Neural ODE의 핵심으로 보인다. (Sensitivity Adjoint Method를 제안)하지만, 이에 대한 수식 전개가 없고 뜬금 없이 등장한 거 같아 매우 혼란을 겪는다. 필자 또한 이를 파훼할 ..

연구노트 긁어오기 2 어제 논문을 읽던 도중이었나? Graph Spectral Convolution을 이해하고자 보고 있었는데, Laplacian matrix의 eigenvector를 보고 왜 Fourier basis라 하는지 궁금했다. 그래서, 기초적인 신호 처리부터 오래 걸리겠지만, 한 번 보자고 마음 먹고 푸리에 변환을 공부했었다. 특히, 1D Signal에서 Basis function이 Complex exponential이라는 점이 위에서 말하는 Fourier basis라고 하는 부분에 대해서 꽤 중요했다. 또, Laplacian operator와 Eigenfunction이 뭔지 알게 되었다. 이 때가 오늘의 스파크가 터지는 지점이었는데, ‘Laplacian operator의 Eigen funct..

연구노트 긁어오기 시리즈를 시작하며.. 요즘 글을 너무 안 올려서... 제 연구노트인데요, 요거라도 올려봅니다. Neural ODE 논문 리뷰를 하는 블로그에서 이 문제를 심층적으로 다루는 글들은 많이 못 봐서요. 제 연구 노트에는 요런 내용들이 좀 많습니다. 괜히 제 딴에는 보다 깊게 이해하려고 하는 것이지만, 시간을 많이 소비한답니다.. 호호 아무튼 요즘 근황 겸 요런 글을 어떠신지요. 올 한 해 의도치 않게 Generative Model에 빠져있었는데, GAN, VAE, Normalizing Flow, DDPM 등에 대해서도 요런 고군분투스러운 글들이 많답니다. (조금의 반응이라도 있다면, 앞으로는 조금씩 정제해서 올려볼까 합니다. 제 생각이 맞는지 의심스러울 때가 많거든요..ㅎ 여기를 discus..

멘탈 관리가 하나도 안 된다. 뭐가 정답인지 모르겠다. 통제할 수 없는 것들을 통제하려는 욕심에 천벌을 받고, 처음 시작했을 때 누군가 말해주던 '넌 광기 어린 눈빛을 갖고 있어'의 눈빛조차 잃었다.무엇이든 해낼 수 있을 거라 믿던 2023년의 그 사람은 지금 나를 보면 무슨 생각을 할 지 모르겠다. 그런데, 그 사람은 모르잖아. 그 2년이 얼마나 힘들었는지.나도 2년 간 해낼 수 있다고 믿고 한 거라고. 어떠한 독함으로는 승부가 안 난다. 증명하고 싶은 마음 그것도 아니다. 그건 오히려 폐기 처분해야 한다.즐겨야 한다. 독해져야 한다. 둘 다 모르겠다. 둘 다 아니라기보다는 둘 다 맞기도 한데, 항상 정답은 아니라는 거 같다는 의미이다.그런데, 2017년 그 놈은 답을 알고 있는 거 같다. 그 놈은 즐..

최근 들어 축하받을 일이 많이 생겼다. 한 주 간 상을 3개나 탔다. 난 지난 3년 가까이 되는 시간 동안 AI를 하면서 수상 실적이 단 하나도 없었다. 그래서, 아직도 얼떨떨하다. 늘 증명하고 싶은 마음으로 살아왔다. 특히, 내 모교에. 증명 이후에 오는 이유 없는 상실감, 부담감, 허탈감이 크다는 걸 알면서도 증명하고 싶었다.수상뿐만 아니라 이번 학기에는 원하는 것들을 많이 이루는 시기였다. 학기 중에는 많이 괴로웠는데, 그래도 지나고 보니 아무 일도 없었다는 듯 바보 같이 힘든 일들은 다 까먹은 듯하다. 힘들 때마다 블로그에 글을 쓰러 오고 싶었는데, 그럴 시간마저 없었다. 뭐… 이게 내 근황이다. 정말 많은 일이 있었지만, 그렇기에 적을 글은 많지만, 리스트까지 짜두었지만, 쓸 때가 되어서 그 주..

이전 글에서 앞으로 글을 좀 자주 써야겠다는 마음을 먹은 후로, 잠시 다른 생각을 하는 틈이 생기면 어떤 주제로 글을 적어볼 건지 생각했었다. 괜히 주위를 두리번거리며 쓸 만한 요소가 없는가를 찾기도, 영화라도 한 편 보면서 감상문을 써볼까 싶기도 했지만 억지스러운 거 같아 마음을 접어두었다. 하지만, 한 주를 돌이켜보니 쓸 만한 것이 바로 보였다. 또 글쓰기에 관한 것인데, 최근 졸업 작품을 마무리하는 단계에 접어들면서 이런 일이 있었다. 졸업 작품 지도 교수님께서 프로젝트의 내용이 많다 보니 전반적인 스토리를 정리해서 다음 미팅 때 풀어보는 게 좋을 거 같다는 코멘트를 주셨고, 그에 따라 지난 한 주 간 프로젝트의 전체 내용을 문서화하는 작업을 먼저 수행했다. 한 문장을 쓰기도 되게 어려웠다. 논문을..

여전히 글을 쓰는 것은 어렵다. 종종 ‘글을 잘 쓰고 싶다’는 생각과 글을 써야 하는 순간들을 돌이켜보면, 모니터에 하얀 화면을 띄워 두고 몇 시간 동안 머리를 쥐어 싸맸던 기억들이 있다. 그렇다고 해서 들인 고뇌만큼 썼던 글들은 좋은 글이 아니었다. 대부분은 써야 할 시간이 얼마 남지도 않았을 때, 급하게 썼던 글이었다. 우선, 부담이 크다. 더 나은 표현이 있을 거 같고, 다소 투박한 표현들처럼 느껴지는 문장들이 타이핑하는 내 손가락을 멈추고, 썼던 글을 처음부터 끝까지 여러 번 반복해서 읽게 만든다. 이 반복이 나를 너무 피곤하게 만든다. 그러다 보면, 글의 정체성이 늘 모호해졌다. 왜 쓰고 있었지에 대한 의문이 들면서 그만 쓰고 싶었다. 지금은 인공지능의 시대, 쓰고 있던 글을 Chat GPT에게..

🤔 Problem오랜만에 PyTorch 관련 글입니다. 최근에는 Generative Model 쪽을 공부하면서 DDPM을 구현하다가 PyTorch의 새로운 기능을 발견했는데요. 바로 오늘 글의 주제가 되는 self.register_buffer()입니다. 본 포스트는 예전에 작성한 포스트들 중에 'nn.Parameter(), 이걸 써야 하는 이유가 뭘까? (tensor와 명백하게 다른 점)'라는 포스트의 후속 편이 되기도 합니다.  이전 포스트의 내용을 간략하게 리뷰해 보면 '모델 내에서 단순히 torch.tensor()를 통해 선언한 텐서는 학습의 대상이 되지 못하고, 이를 명확하게 모델 내 학습을 하는 파라미터로 정의하기 위해서는 nn.Parameter()로 감싸서 추가적으로 선언해야 한다.'라는 내..