본문 바로가기

에세이

GPT4 는 더 이상 연구가 아닌 기술보안이다. GPT3는 175B 개의 파라미터를 가진 혁신적 모델이었고, 이후 두 형태의 GPT 모델이 발전하였다. 사람의 말처럼 자연스러운 형태의 InstructGPT 그리고 챗봇 형태로 엄청난 사용자를 기록하는 ChatGPT. InstructGPT (논문)가 사람처럼 말하기 위해서 어떠한 방식을 사용하였는지 기술적으로 서술되어, 이후 많은 사람들이 Human Feedback을 이용해서 GPT와 같은 디코더들을 학습시킬 수 있었다. 여기까지는 아직 연구자들과 내용을 공유하는 형태이다. 마찬가지로 ChatGPT는 프로그래밍 코드에 대해서 미리 학습되고 InstructGPT와 비슷한 형태로 재학습하였다는 것이 알려져 있는데, GPT4부터는 더 이상 그 어떠한 내부적인 비밀을 공개하지 않는다. 이러한 Closeness를.. 더보기
연구를 너무 많이 한듯해서 일탈이 목표 나는 대학원생이다. 내 하루 일과는 책상에 앉아서 코딩을 하거나 논문을 읽는 것으로, 논문을 읽다가 아이디어가 생기면 구체화를 통해 연구 계획을 세워본다. 그리고 기존 비슷한 연구가 있는지 찾아본다. 오후가 되면 전에 돌려놨던 실험 결과를 확인해보고 진행사항을 확인한다. 그리고 6시 정도가 되면 오늘 별로 한게 없다는 생각을 하며 퇴근 한다. 이러한 일상을 2년 넘게 지속하니 점점 생활이 지루해지더라. 매일 새로운 것을 배우고 실력이 커지는 것과는 별개로 연구에 대한 흥미가 줄어드는 게 느껴진다. 그래서 나에게 필요한 게 뭘지 이것저것 생각해보다가, 재미를 더하기 위해서 일탈을 결심했다. 반복되는 말은 강아지를 불안하게 한다 라고 티비에서 본거 같은데, 마찬가지로 반복적인 삶의 태도는 나를 불안하게 만든.. 더보기
대학원생의 NeurIPS 2022 컨퍼런스 후기 대학원생의 NeurIPS 2022 후기 [연구에 대한 시야가 넓어지다] 1. From Korea to New Orleans 연구원으로 가장 값진 경험은 탑티어 학회에 가는 것이다. 2년 정도 연구원으로 지내본 입장에서 학회에 가면 무엇을 배울 수 있는지, 좋은 점은 무엇인지, 학회에서는 무엇을 하는지 리뷰해보자. 매일 연구실에서 논문을 읽고 쓰고, 실험을 진행하며 한편으로는 단편적이고 단순하게 생활하는 대학원생에게 학회라는 곳은 정말 큰 동기부여가 된다는 것을 실제로 학회이고 그들의 연구가 단순히 논문을 내는데서 그치는 것이 아니라 더 많은 사람들과 교류하고 공통의 문제를 해결하는 과정이라는 생각이 든다. 먼저, NeurIPS 2022에는 얼핏 듣기로 논문 수는 2600개 / 학회 등록자 수는 만 명 정.. 더보기
[연구일지] 존경하던 Müller 교수님을 만나다. 유명인을 만난다는 것은 꽤나 쉽지 않은 일이며 평소 인터넷에서 이름과 얼굴을 봤던 분을 실제로 만나는 일은 생각했던 것 이상으로 신기한 일이다. 마치 빌게이츠나 워렌버핏과 대화할 수 있는 기회가 생기는 것과 비슷하다. 나에게는 Klaus Robert Müller 교수님의 만남이 그런 것이었다. 한 번 만나보고 싶고, 이야기해보고 싶다는 생각. 그런데 상상이 현실이 되었다. Müller 교수님은 그는 XAI 에서 가장 유명한 사람이다. 무려 Citation 이 11만개나 되는 연구에 있어서 우상이신 분이다. 보통 한 명의 연구자가 일년에 많으면 10편 이내로 논문을 쓰니, 11만 인용되었다는 것은 그만큼 그의 연구가 수많은 연구자들의 밑바탕으로 사용되었다는 것이다. 개인적으로 나는 연구를 하면서 특히나 마.. 더보기
[2022년 AI Trend] 트랜스포머 구조가 더 넓은 분야에서 사용된다. 트랜스포머에 대한 강한 집착 딥러닝이 발달하는 속도가 워낙 빠르다보니, 새로운 모델 구조를 다양한 분야에 적용하는 것은 빈번이 일어나고 있다. 최근에는 트랜스포머가 NLP 를 넘어서 더 넓은 분야에서 사용 되고 있으며, 앞으로 더욱 자주 사용될 것으로 예상된다. 트랜스포머의 장점은 더 많은 정보를 모델이 담을 수 있다는 것이다. Local Receptive Field 와 Transition Equivariance 를 특징으로 하는 CNN 에 비해서 상대적으로 Inductive Bias 가 덜한데, 이는 바꿔말하면 모델이 가지는 자율성이 높다는 것이고 데이터의 구조에 대한 정보를 더 많이 담고 있을 확률이 높다는 것이다. 최근에 ViT(Vision Transformer, 2021 ICLR)와 DT(Deci.. 더보기
대학원 컨텍 메일 필독 사항 대학원 컨텍 메일 필독 사항 대학 vs 대학원 대학과 대학원의 가장 큰 차이는 연구실에 소속된다는 점입니다. 대학생 때, 과에서 소속감을 느꼈다면 대학원에서는 자기가 속한 연구실에 소속감이 생기죠. 친구들과 동료도 대부분 연구실 내의 사람들이기에 연구실과 혼연일체가 되어 생활하면 아주 좋습니다. 연구실 사람들이 무엇을 하는지가 본인에게도 굉장히 영향력을 끼치는데, 토론이나 토의를 진행할 때 많은 정보를 교류하게 됩니다. 물론 아싸처럼 내 갈길을 갈수도 있지만 필자는 그러다 적응하지 못하고 연구실에서 나가는 사람도 봤으니, 잘 적응할 수 있는 연구실을 골라야 합니다. 연구실에서 주도하는 연구나 교수님께서 흥미를 가지시는 분야에 대해서 본인도 연구를 하게 될 확률이 굉장히 높기에, 연구실을 고르는 것은 본인.. 더보기
2021년 생존한 대학원생 경험담 - 1 세상 모든 직업은 각기 다른 고충을 가지고 있기에 대학원생도 힘든 점을 가지고 있다. 나는 2020년 8월에 대학원 연구실에 컨택을 하고, 2020년 10월부터 인턴을 진행, 2021년 9월에 석사과정이 되었다. 약 1년 간의 연구생활을 하며, 힘든 점도 많고 보람찬 순간도 많았다. 2022년에 대학원생이 되고 싶은 사람이 있다면, 필자의 경험을 참조하면 좋을 것 같다. 대학원생이 되고 가장 좋았던 순간은? 논문을 발표하고 학회로 놀러 갔을 때가 가장 좋았다. 평소에는 연구실에 출근하고 연구하기 바쁘다. 그런데 학회를 가니, 내가 고생해서 만든 것에 대한 자부심을 느낄 수 있었고, 다른 연구 발표를 보는 것이 흥미로웠다. 사실 지원비 받고 놀러 가서 좋았던 것 같기도 하다. (노는 게 제일 좋아) 202.. 더보기
AI 대학원 면접 준비 - 전공 질문 리스트 본 질문들은 필자가 KAIST AI 대학원 면접을 준비하면서 만든 질문 리스트입니다. 머신러닝, 확률, 선형대수학과 관련된 질문들로 모두 답해야 하는 것은 아니며, 알고있는 지식의 정도를 확인하는데 도움이 될 것 같습니다. Statistic / Probability 🧐 Central Limit Theorem 이란 무엇인가? 🧐 Central Limit Theorem은 어디에 쓸 수 있는가? 🧐 큰수의 법칙이란? 🧐 확률이랑 통계랑 다른 점은? 🧐 Marginal Distribution이란 무엇인가? 🧐 Conditional Distribution이란 무엇인가? 🧐 Bias란 무엇인가? [Answer Post] 🧐 Biased/Unbiased estimation의 차이는? [Answer Post] 🧐 Bi.. 더보기

티스토리툴바