도비의 저장소

보호되어 있는 글입니다.

책을 읽기도 시작하기 한참 전에 사둔 책을 꺼냈다. 난 가끔 아무 이유 없이 서점에 가서 책을 사고는 한다. 읽어야겠다는 생각보다는 ‘언젠가 읽겠지’의 기저가 더 강하다. 이번 책도 이런 식으로 사두었다가 방 한 켠에 조용히 꽂혀있었다. 책 읽기를 마음 먹은 뒤로 새로운 책을 사기보다는 사두었던 책을 읽어보고자 했다. 이번 책은 룰루 밀러의 이다. 처음 보면 제목이 무슨 의미인지조차 감이 오지 않는데, 다 읽고 나서 다시 이 제목을 다시 보면 이런 생각이 든다.‘이 세상에 의미가 있는 게 있을까, 사실이 존재할까’사실 이것은 책을 보고나서 든 생각일 뿐, 더 크게 느낀 것은 따로 있다. 소설은 한 사람의 시선으로부터 시작한다. 많은 방황을 겪고 있는 사람이 이를 벗어나기 위해 고군분투 하는데, 그 과정에..

보호되어 있는 글입니다.

책을 읽고 싶다는 생각은 가끔 들지만, 그 계기는 매번 달랐다. 이번에는 내가 요즘 겪고 있는 문제를 해결하기 위함이었고, 책의 도움을 받으면 가능해 보였다. 논문을 읽다 보면, 이 논문이 어떤 목적을 갖고 있는지, 어떤 구조인지 파악하기 위한 읽기가 우선 시 되어야 수월하다. 하지만, 내가 읽는 방식으로는 그게 불가능에 가까웠다. 한 줄 한 줄 면밀하게 파고들고, 기억하려 하고, 모르면 더 파고, 정리하고, 한 편의 논문을 읽기 위해 그 밑바닥까지 가려고 한다. 좋은 습관으로 보이지만, 난 이 습관 내지는 버릇 때문에 괴롭다. 독서의 근거를 말하고 싶어 이 글을 쓰는 것은 아니라 이 문단으로 계기는 끝내겠다. 아무튼 나는 글을 숲의 나무 한 그루 보듯이 읽고 싶은 게 아니라, 숲을 보고 싶어서, 전..

연구노트 긁어오기 31. 미분 방정식이 처음이라서Neural ODE에서 다루는 미분 방정식은 크게 어렵지 않다.미분 방정식이 무엇인지? 방정식인데, 그 해가 함수이거나 함수 집합이다.수치적으로 푸는 방법 = Euler’s method (단순한 ODE Solver)이것만 알아도 크게 어려움이 없다. 그리고, 위 두 개념은 크게 어렵지 않다.또한, Runge-Kunta까지 안다면 더더욱 어려움이 없을 것이다.2. 2번 Section의 설명이 조금 난해해서리뷰를 해본 자의 입장으로서, 2번 Section이 Neural ODE의 핵심으로 보인다. (Sensitivity Adjoint Method를 제안)하지만, 이에 대한 수식 전개가 없고 뜬금 없이 등장한 거 같아 매우 혼란을 겪는다. 필자 또한 이를 파훼할 ..

연구노트 긁어오기 2 어제 논문을 읽던 도중이었나? Graph Spectral Convolution을 이해하고자 보고 있었는데, Laplacian matrix의 eigenvector를 보고 왜 Fourier basis라 하는지 궁금했다. 그래서, 기초적인 신호 처리부터 오래 걸리겠지만, 한 번 보자고 마음 먹고 푸리에 변환을 공부했었다. 특히, 1D Signal에서 Basis function이 Complex exponential이라는 점이 위에서 말하는 Fourier basis라고 하는 부분에 대해서 꽤 중요했다. 또, Laplacian operator와 Eigenfunction이 뭔지 알게 되었다. 이 때가 오늘의 스파크가 터지는 지점이었는데, ‘Laplacian operator의 Eigen funct..

연구노트 긁어오기 시리즈를 시작하며.. 요즘 글을 너무 안 올려서... 제 연구노트인데요, 요거라도 올려봅니다. Neural ODE 논문 리뷰를 하는 블로그에서 이 문제를 심층적으로 다루는 글들은 많이 못 봐서요. 제 연구 노트에는 요런 내용들이 좀 많습니다. 괜히 제 딴에는 보다 깊게 이해하려고 하는 것이지만, 시간을 많이 소비한답니다.. 호호 아무튼 요즘 근황 겸 요런 글을 어떠신지요. 올 한 해 의도치 않게 Generative Model에 빠져있었는데, GAN, VAE, Normalizing Flow, DDPM 등에 대해서도 요런 고군분투스러운 글들이 많답니다. (조금의 반응이라도 있다면, 앞으로는 조금씩 정제해서 올려볼까 합니다. 제 생각이 맞는지 의심스러울 때가 많거든요..ㅎ 여기를 discus..

🤔 Problem오랜만에 PyTorch 관련 글입니다. 최근에는 Generative Model 쪽을 공부하면서 DDPM을 구현하다가 PyTorch의 새로운 기능을 발견했는데요. 바로 오늘 글의 주제가 되는 self.register_buffer()입니다. 본 포스트는 예전에 작성한 포스트들 중에 'nn.Parameter(), 이걸 써야 하는 이유가 뭘까? (tensor와 명백하게 다른 점)'라는 포스트의 후속 편이 되기도 합니다.  이전 포스트의 내용을 간략하게 리뷰해 보면 '모델 내에서 단순히 torch.tensor()를 통해 선언한 텐서는 학습의 대상이 되지 못하고, 이를 명확하게 모델 내 학습을 하는 파라미터로 정의하기 위해서는 nn.Parameter()로 감싸서 추가적으로 선언해야 한다.'라는 내..