본문 바로가기

AI

[2022년 AI Trend] 트랜스포머 구조가 더 넓은 분야에서 사용된다. 트랜스포머에 대한 강한 집착 딥러닝이 발달하는 속도가 워낙 빠르다보니, 새로운 모델 구조를 다양한 분야에 적용하는 것은 빈번이 일어나고 있다. 최근에는 트랜스포머가 NLP 를 넘어서 더 넓은 분야에서 사용 되고 있으며, 앞으로 더욱 자주 사용될 것으로 예상된다. 트랜스포머의 장점은 더 많은 정보를 모델이 담을 수 있다는 것이다. Local Receptive Field 와 Transition Equivariance 를 특징으로 하는 CNN 에 비해서 상대적으로 Inductive Bias 가 덜한데, 이는 바꿔말하면 모델이 가지는 자율성이 높다는 것이고 데이터의 구조에 대한 정보를 더 많이 담고 있을 확률이 높다는 것이다. 최근에 ViT(Vision Transformer, 2021 ICLR)와 DT(Deci.. 더보기
2021년 생존한 대학원생 경험담 - 1 세상 모든 직업은 각기 다른 고충을 가지고 있기에 대학원생도 힘든 점을 가지고 있다. 나는 2020년 8월에 대학원 연구실에 컨택을 하고, 2020년 10월부터 인턴을 진행, 2021년 9월에 석사과정이 되었다. 약 1년 간의 연구생활을 하며, 힘든 점도 많고 보람찬 순간도 많았다. 2022년에 대학원생이 되고 싶은 사람이 있다면, 필자의 경험을 참조하면 좋을 것 같다. 대학원생이 되고 가장 좋았던 순간은? 논문을 발표하고 학회로 놀러 갔을 때가 가장 좋았다. 평소에는 연구실에 출근하고 연구하기 바쁘다. 그런데 학회를 가니, 내가 고생해서 만든 것에 대한 자부심을 느낄 수 있었고, 다른 연구 발표를 보는 것이 흥미로웠다. 사실 지원비 받고 놀러 가서 좋았던 것 같기도 하다. (노는 게 제일 좋아) 202.. 더보기
[Essay] Deep learning으로 조합 문제를 풀 수 있을까? - Neural Combinatorial Optimization 소개글 축구 리그 시즌에 감독은 로테이션을 돌려서 선수들을 경기에 내보내야 합니다. 많은 후보 선수들 중에서 어떤 선수를 내보낼지 결정하는 것은 그 선수가 가진 능력뿐만 아니라 상대팀에 대한 분석, 경기 일정 등 다양한 조건들이 추가됩니다. 예를 들어, 이틀 연속으로 경기가 있다면 한 선수를 90분 풀타임, 2경기 모두 출전시키는 것은 좋지 않은 선택이겠죠. 이러한 선택의 순간은 일상에서도 다양하게 존재하며 사람들은 최대한 괜찮은 선택을 하고자 합니다. 축구 경기보다 조금더 일상적인 문제로 접근해보겠습니다. 서울역에서 출발해서, [여수, 부산, 울산, 속초, 강릉, 대구, 대전]을 한 번씩 들리고 다시 서울로 돌아오는 경로를 짜고자 한다면, 어떻게 짜는 게 가장 최단거리일까요? 이 문제를 풀기 위해서 두.. 더보기
AI 대학원 면접 준비 - 전공 질문 리스트 본 질문들은 필자가 KAIST AI 대학원 면접을 준비하면서 만든 질문 리스트입니다. 머신러닝, 확률, 선형대수학과 관련된 질문들로 모두 답해야 하는 것은 아니며, 알고있는 지식의 정도를 확인하는데 도움이 될 것 같습니다. Statistic / Probability 🧐 Central Limit Theorem 이란 무엇인가? 🧐 Central Limit Theorem은 어디에 쓸 수 있는가? 🧐 큰수의 법칙이란? 🧐 확률이랑 통계랑 다른 점은? 🧐 Marginal Distribution이란 무엇인가? 🧐 Conditional Distribution이란 무엇인가? 🧐 Bias란 무엇인가? [Answer Post] 🧐 Biased/Unbiased estimation의 차이는? [Answer Post] 🧐 Bi.. 더보기

티스토리툴바