대학원생의 NeurIPS 2022 컨퍼런스 후기
대학원생의 NeurIPS 2022 후기
[연구에 대한 시야가 넓어지다]
1. From Korea to New Orleans
연구원으로 가장 값진 경험은 탑티어 학회에 가는 것이다. 2년 정도 연구원으로 지내본 입장에서 학회에 가면 무엇을 배울 수 있는지, 좋은 점은 무엇인지, 학회에서는 무엇을 하는지 리뷰해보자. 매일 연구실에서 논문을 읽고 쓰고, 실험을 진행하며 한편으로는 단편적이고 단순하게 생활하는 대학원생에게 학회라는 곳은 정말 큰 동기부여가 된다는 것을 실제로 학회이고 그들의 연구가 단순히 논문을 내는데서 그치는 것이 아니라 더 많은 사람들과 교류하고 공통의 문제를 해결하는 과정이라는 생각이 든다.
먼저, NeurIPS 2022에는 얼핏 듣기로
논문 수는 2600개 /
학회 등록자 수는 만 명 정도
보통 학회에는 근처에 지정숙소가 해당 숙소에 예약하고 일주일 정도 머물면 된다.
학회장과 호텔을 매일같이 이동하기에 될 수 있는한 가까운 호텔로 예약하는 게 좋다.
학회장에 가면 등록부스가 있어서 명찰을 받을 수 있다.
나는 학생회원으로 등록해서, 명찰 받을 때 학생증을 제시 했다.
(기본적으로 일반회원과 학생회원의 가격은 다르다)
종이에 인쇄하는 방식으로 명찰을 만들어서 준다.
딱히 프로그램북 (팜플렛) 은 제공되지 않더라.
2. Conference Schedule
학회 일정은 월요일부터 토요일까지 진행된다. 토요일 이후에도 튜토리얼을 진행하긴 하지만 메인 일정은 월 ~ 토요일이 메인 일정이다. 크게 Expo / Invited Talk / Poster / Workshop 이 있다.
월요일에는 기업별 채용을 설명하는 Expo를 진행하고, 밥을 주는 Reception 이 있다.
Expo는 금요일 오전까지 오픈된 상태로 계속 진행된다. 중간에 할 일이 없다면 Expo 가서 놀면 된다.
화,수,목 3일간은 Invited Talk Session과 포스터 세션이 교대로 진행된다.
오전에 한 번, 오후에 한 번 진행하고 중간에 Coffee-break이나 점심시간이 껴있다.
Invited Talk : 유명인을 초대해서 1시간 정도 발표를 하고 질문을 들어준다. 거대한 홀에서 모두 모여서 발표를 듣는다. 마지막 Invited talk에 Deep learning의 Legend 힌튼이 온다는 소문을 듣고 꼭 들어야 겠다고 생각했다. (조금 아쉬운 점은 뒤에서..)
포스터 세션은 학회에 출판된 논문들을 확인할 수 있는 메인 시간이다. 수많은 논문들 앞에 저자가 있으므로 엄청 빠르게 정보를 습득한다.
보통은 Oral 이 따로 있다고 들었는데, NeurIPS 2022에는 Oral 시간이 이후에 따로 주어지나, 보통 Poster 에서 모두 발표한다.
금요일부터는 Workshop 이 진행되며, 좀더 세밀한 주제에 대해서 하루종일 의논하는 시간이다. 아직 출판되지 않은 연구에 대해서 과정을 지켜볼 수 있으나, 성숙하지 않은 느낌이 나기 때문에 크게 중요한 시간은 아니다.
3. 기업 Expo
Expo 는 기업들의 부스가 존재하는 곳으로 사은품을 굉장히 많이준다. 에코백 / 티셔츠 / 모자 / 충전기 / 펜 / 노트 / 스티커
목적은 대부분 취업박람회라고 보면되고, 스타트업의 경우 본인들의 제품을 소개하는 장소로 쓰인다. 가령 데이터셋이나 소프트웨어를 만들어서 자랑하는 장소로 사용된다. 웬만한 IT 회사들은 다 있었던 것 같다. Microsoft, Apple, Meta, Samsung, LG, Naver 등등.
몇 개의 기업 부스에서 설명한 것을 정리해보자.
[기업부스] Meta AI
6주에서 16주 정도 인턴십 진행.
합격 하면, 거주를 도와주는 팀이 있다고 함.
Biology 이외에 모든 ML 분야에 대해서 팀이 존재한다. 의학 쪽을 하지 않는 이유에 대해서는 딱히 밝히지 않았다.
합격한 경우, 본인에게 맞는 팀에 매칭되고 멘토가 선정되는 것으로 보인다.
[기업부스] Spotify (개인적으로 가장 친절했던 부스)
Reinforcement Learning 으로 유저를 위한 알고리즘 개발 진행.
목적은 User에 대해서 Spotify 앱에 머무는 시간 (사용 시간)을 최대화하는 알고리즘 등을 개발하는 것이라고 한다.
🔖 기타 키링
🔖 양말
🔖 스티커 등등
[기업부스] LG (LG AI 연구원, 밥도 주고 AI 관련해서 지원을 많이 해주는 곳)
병따개, 스티커, 후드티, 슬리퍼 줌.
LG 계열사에서 풀지 못하는 어려운 문제를 푼다고 한다. 듣기로 다른 회사보다 연봉도 꽤 높은 것 같은데,
취업을 생각하고 있는 분들에게 괜찮은 회사인 것 같다.
(LG AI DAY 에서 저녁을 주고 선물도 줘서 호감이다.)
[기업부스] Avalon
강화학습 환경을 만드는 곳.
Minecraft 보다 100배 정도 빠르다고 한다.
신기했음.
[기업부스] DeepMind
학회에 OpenAI 는 보이지 않았고, DeepMind 논문은 수십편이 보였다.
굿즈를 얻고 싶었는데, 스티커 이외에 굿즈는 없었다.
주변에 사람이 엄청 많이 모여있었는데 대부분 DeepMind 회사 사람들이었다.
4-1. Invited Talk
총 6번의 Invited Talk 가 존재하고 사진처럼 아주 멋진 홀에서 1시간 정도 듣는다.
대부분의 주제들은 모든 청중들이 이해할 수 있도록 일반적인 내용이 많았고, 기술적인 내용은 적었다.
몇 가지 흥미로웠던 주제도 있다.
(학교 중퇴를 예측하기 위해서 필요한 세팅과 문제점들에 대한 고민)
(AI의 사용자들에 대한 규제? - 백악관 관계자가 발표했는데, 바이든의 입장을 대변하는 거 같았음)
(연구를 위한 Dataset 에 대한 접근/ 연구 방향 - 최근 Large dataset은 대부분 연구자들이 접근 불가.)
(Hinton의 Forward-Forward Algorithm : 더 나은 딥러닝 학습 방법. No backpropagation)
6개 중에 가장 기대되던 것은 Geoffrey Everest Hinton 의 발표였고, 모더레이터로 조경현 교수님이 있어서 더욱 기대되는 연설이었다. 모든 사람들이 숨죽여 기다리고 있었는데, 알고보니 Hinton 은 온라인으로 참석했다...😭
실물영접의 기회는 다음으로 미뤄야 겠다. 조경현 교수님을 실물로 본 것만으로 뜻깊다.
4-2. Poster Session
포스터 세션은 컨퍼런스의 꽃🌼이다.
보통 연구자들은 논문의 Abstract를 읽고 관심있는 연구라면 본문을 읽는다. 혹은 Youtube에 설명을 찾아본다. 읽는 것은 언제나 힘들고 이해력을 필요로 한다. 그런데 만일 수백개의 논문이 깔끔하게 요약된 포스터로 세팅되어 있고, 각 포스터 앞에 저자들이 친절하게 하나씩 설명해주고 Q&A 까지 해준다면 어떨까. 포스터 세션은 그런 곳이다. 수백개의 논문을 2시간 내로 머리속에 넣을 수 있는 최적의 장소!
2시간 동안 지속적으로 이해하고 공부하고 신기해하니 굉장히 효율적이면서 에너지 소모가 심한 곳이다.
그러나 고통을 인내하므로써 얻는 수많은 장점은 다음과 같다.
1. 평소 접하지 못하는 분야를 본다.
2. 연구의 목적을 비교 / 검증 방식을 한눈에 알 수 있다.
3. 저자들에게 핵심을 들을 수 있다.
4. 본인 생각에 대해서 Discussion 할 수 있다.
5. 교류의 장이다.
가장 신기했던 경험은 어떤 논문의 Baseline에 사용되는 방식들에 대해서 이야기 나누던 중, 해당 Baseline을 제안했던 저자가 "이거 내가 제안한 거야!" 이야기 했던 순간이다. 논문으로만 보면 딱딱한 관계들이 (보통은 비교대상이므로) 실제로 사람대 사람으로 만나니 굉장히 정이 많아 보였고, 가까워보였다. 공동의 분야에 대한 연구 이야기들은 해당 분야를 더욱 멋지게 발전시키는 거 같다.
4-3. 쉬는 시간~!
밖에서 빵먹고 커피 마시고 쉰다.
5. Workshop
이번에 들은 Workshop 은 아침 9시부터 오후 5시까지 진행되며, Attention에 관련된 Workshop 이었다.
관련된 전문가들이 모여서 발표하고 Panel 시간에 Discussion 하는 시간이다.
Conclusion
이렇게 좋은 경험을 선사해주신 교수님께 감사한다. 모든 것은 때가 있듯이 실력을 쌓고 학회를 가보기를 추천한다. 컨퍼런스는 단순히 논문을 제출하는 장소를 넘어서 수많은 배움과 교류의 기회들이 넘쳐난다. 연구에 대한 아이디어와 우선순위 그리고 동료 연구자들을 만날 수 있는 기회이다. 이번에 내가 잘한 것은 다양한 분야에 대해서 미리 공부해두었기에 수많은 논문들에 더욱 쉽게 이해하고 물어볼 수 있었다. 딥러닝은 비전 / 오디오 / XAI / TimeSeries / Robustness / Graph / Continual Learning / Self-supervised Learning 등등 수많은 하위분야들이 있고 나름의 공통점을 지닌다. 그러므로 분야를 거르지 말고 유사점과 연구방식을 공부하여 본인의 세부 분야에도 적용해야 하는 것 같다. 이러한 Intersection에서 수많은 Novelty가 생기는 것 같다. 태양 아래 새로운 것은 없듯이 말이다.
다음에 학회를 가게 된다면 그 때는 동료 연구자를 만들 수 있는 실력을 기른 상태로 방문하고자 한다. 단순히 관람객을 넘어서 연구를 주도하고 관련된 동료 연구자들과 연락처를 주고 받아 더욱 Active한 Research를 하고 싶다. 이번에 학회를 다녀와서 실험을 재현 / 공부 / 아이디어구현 해야 하는 것을 40가지나 정리해뒀다. 학회에서 포스터 세션에서 저자들에게 공부할 수 있었던 기회 덕분에 이렇게 또 도전할 수 있는 것 같다. 개인적으로 연구도 빈인빈부익부로 설명할 수 있는 것 같다. 아는 만큼 더 넓은 시야와 발전의 기회가 생기는 것이다.
그렇기에 오늘도 실험하자!
매일 열심히 실험하는 결과물도 잘 정리해두자 👉 https://fxnnxc.github.io/blog/
