Doby's Lab

보호되어 있는 글입니다.

책을 읽기도 시작하기 한참 전에 사둔 책을 꺼냈다. 난 가끔 아무 이유 없이 서점에 가서 책을 사고는 한다. 읽어야겠다는 생각보다는 ‘언젠가 읽겠지’의 기저가 더 강하다. 이번 책도 이런 식으로 사두었다가 방 한 켠에 조용히 꽂혀있었다. 책 읽기를 마음 먹은 뒤로 새로운 책을 사기보다는 사두었던 책을 읽어보고자 했다. 이번 책은 룰루 밀러의 이다. 처음 보면 제목이 무슨 의미인지조차 감이 오지 않는데, 다 읽고 나서 다시 이 제목을 다시 보면 이런 생각이 든다.‘이 세상에 의미가 있는 게 있을까, 사실이 존재할까’사실 이것은 책을 보고나서 든 생각일 뿐, 더 크게 느낀 것은 따로 있다. 소설은 한 사람의 시선으로부터 시작한다. 많은 방황을 겪고 있는 사람이 이를 벗어나기 위해 고군분투 하는데, 그 과정에..

책을 읽고 싶다는 생각은 가끔 들지만, 그 계기는 매번 달랐다. 이번에는 내가 요즘 겪고 있는 문제를 해결하기 위함이었고, 책의 도움을 받으면 가능해 보였다. 논문을 읽다 보면, 이 논문이 어떤 목적을 갖고 있는지, 어떤 구조인지 파악하기 위한 읽기가 우선 시 되어야 수월하다. 하지만, 내가 읽는 방식으로는 그게 불가능에 가까웠다. 한 줄 한 줄 면밀하게 파고들고, 기억하려 하고, 모르면 더 파고, 정리하고, 한 편의 논문을 읽기 위해 그 밑바닥까지 가려고 한다. 좋은 습관으로 보이지만, 난 이 습관 내지는 버릇 때문에 괴롭다. 독서의 근거를 말하고 싶어 이 글을 쓰는 것은 아니라 이 문단으로 계기는 끝내겠다. 아무튼 나는 글을 숲의 나무 한 그루 보듯이 읽고 싶은 게 아니라, 숲을 보고 싶어서, 전..

🤔 Problem세션을 진행하던 중 논문 리뷰에 대해 피드백을 진행하다가 질문을 받았다. '모델 내에서는 ReLU를 쓰는데 왜 마지막에서는 갑자기 Sigmoid'를 쓰나요?', 솔직하게 당황했다.결론적으로, 간단히 말하면 이 질문에 대한 답은 확률로 간단하게 표현하기 위함이라 정리할 수 있다. 이에 대해서 'ReLU에 비해 상대적으로 Sigmoid의 Output이 기준 값 0.5에 의하여 0과 1로 판별하기 쉽다.(?)'라고 답한 거 같다. 사실 정확하게 기억이 안 난다. 암튼 틀린 답이었다. Sigmoid의 출력을 0 혹은 1로 가진다고 했었나? 그랬다면, 왜 그런 말을 했을까... 그리고, 나 스스로도 답이 시원찮아서 '모델 내에서 Sigmoid를 쓰지 않는 이유'라는 반대의 경우에서도 설명했다. ..

git push https://soda-dev.tistory.com/12 [GitHub] 깃허브에 프로젝트 올리기 보통은 저장소를 생성한뒤 'Upload files'를 하면 업로드되지만 파일 갯수가 너무 많을 경우 안되므로 큰 프로젝트를 업로드할때는 이 방법으로 하자 1. Git을 설치한다. https://git-scm.com/downloads Git - Do soda-dev.tistory.com 원격 저장소 주소 찾기 https://estar.tistory.com/56 github 저장소 주소 찾기 생활코딩 동영상을 보고있는 와중에 이미 만든 저장소의 주소는 도대체 어디서 볼수있는건지,,몰라서 한참 헤맸는데 그냥 버튼 하나만 누르면 됐지ㅏ더리나ㅓㄷ ㄹ나ㅓㅜㅜㅜㅜㅜㅜㅜ(멘붕) estar.tistory.c..

보호되어 있는 글입니다.

보호되어 있는 글입니다.

✅ Intro 모델을 학습시키면서 최적의 결과를 찾기 위해 하이퍼파라미터 튜닝을 진행합니다. 이러한 과정에서 값들에 대한 로그를 따로 문서화시켜 정리하거나 노트를 해두면 편하지만, 이는 간단하면서도 까다로웠던 경험이 있습니다. 이런 부분을 해소할 수 있는 툴, WandB를 알게 되었습니다. WandB(Weights & Biases)는 프로젝트의 실험을 관리하고, 하이퍼 파라미터의 튜닝을 체계적으로 기록할 수 있도록 하고, 뿐만 아니라 최적의 하이퍼파라미터를 위해 여러 값들을 통해 실험해 볼 수 있는 기능(Sweep)등 여러 편리함들을 제공합니다. 이번 포스팅에서는 기초적인 기록에 대해서만 알아보겠습니다. ✅ How (💡 아래 코드는 WandB에서 제공하는 QuickStart의 코드이며, 이번 포스팅에서 ..