본문 바로가기

분류 전체보기

📌 인지5 : 동일성 관점에서 바라본 멀티테스킹 최근 나는 집중력에 문제가 생겼고, 이를 해결하기 위해 책 "도둑맞은 집중력 - 요한 하리" 을 샀다. 유익한 정보 중 멀티테스킹 관련하여 이전에 연구한 뇌의 동일성 [2]와 관계가 떠올랐고, 멀티 테스킹시 발생하는 정보 재조합과 인지 동일성의 관계를 정리하였다. [뇌의 한계] 잘못된 믿음 중 하나는 뇌가 무수히 많은 정보를 처리할 수 있다는 착각이다. 소위 멀티테스킹이라고 말하는 업무 처리 능력은 여러 가지 사건들을 동시에 처리하는 인간의 능력을 나타낸다. 수많은 기억들을 지니고, 천재적인 동물인 인간이 고작 2가지 일을 동시에 처리할 수 있다는 착각은 너무 당연한 능력 중 하나로 여겨진다. 그러나 MIT 뇌과학자 얼 밀러에 의하면 사람은 저글링(🤹) 을 하고 있다고 한다. 그러나 뇌는 저글링을 하고 .. 더보기
육군 M&S 국제학술대회를 다녀온 대학원생 후기 오랜만에 학회에 다녀왔다. 조금 특별한 국내 학회로, 육군 M&S학회라는 곳이다. AI 연구와 육군 M&S 학회의 관계성은 크지 않으며, 이곳에 참석한 이유는 연구실과 관련되어 있다. 내가 박사과정을 하는 연구실은 인공지능 모델 설명을 목적으로 한다. 모델을 설명하는 것은 신뢰성과 직결된 문제이므로, 외부에서 어떤 수요가 있는지 알기 위해서 국방 관련 학회에 참석하였다. 육군 M&S 학회는 Army Mobile and Simulation 에 대한 학술적인 연구를 공유하는 학회로, 참석하시는 분들은 소령 이상 군관계자나 국방대학교, 국방과학연구소 분들이 많았다. 학회에 참석하면, 제복을 입고 대전 컨벤션 센터를 돌아다니는 외국인의 모습을 볼 수 있다. 꽤나 인상적이다. 학회에 참석의 원초적인 이유가 지도 .. 더보기
연구 돌 올려놓기 너무 무겁다. 시지프스는 무거운 돌을 산정산에 올려놓는 형벌을 받고 있다. 지금도 무거운 돌을 산정상에 올리기 위해 굴리고 있는진 모르겠지만. 나도 연구를 하면서 마치 돌을 올리는 것처럼 새로운 내용들을 끊임없이 배워야 한다. 연구는 다시 산 아래로 돌이 굴러 떨어지지 않지만, 수백, 수천 논문들이 존재하기에 새로운 연구들을 산 정상으로 올려놔야 한다. 물론 수백번 정도 돌을 올리면 근력이 생겨서 다음 돌은 조금 쉽게 올릴 수 있게 된다. 그러나, 어찌 되었던 평지에서 시작해서 산 정상에 돌을 올려야 한다. 연구자의 삶은 돌을 올려놓는 것처럼 새로운 것들을 계속 배우는 과정인 것이다. 돌 중에는 돌멩이처럼 가벼운 친구들도 있는 반면, 사막처럼 돌을 굴리기 좋지 않은 곳에 뜨거운 돌들이 존재한다. 뜨거운 .. 더보기
Deconvolution and Checkerboard Artifacts [KOR] Image Copyright: https://distill.pub/2016/deconv-checkerboard/ 1. Introduction Generative Model 의 가장 대표적인 형태는 Convolution 을 지나서, Deconvolution 으로 이미지를 생성하는 것이다. 이러한 구조는 중간에 Bottleneck에 응축된 정보를 가지고 데이터에 대한 특징을 집약적으로 표현하는 특징이 있다. Convolution 단계에서 이미지에서 의미있는 정보들을 추출하며 Spatial 한 부분에 대하여 정보를 가져오는 역할을 하고, Deconvolution에서는 다시 더 넓은 범위로 이미지를 확대하면서 생성을 진행한다. 그러나, Deconvolution 방식들은 Checkerboard 를 형성하는 Art.. 더보기
[Circuits-CNN] Features, Circuits, and Activations [한국어] 본 글의 내용은 Zoom In: An Introduction to Circuits 을 기반으로 만들어졌습니다. Feature Visualziation 에 대한 이미지는 위 글에서 가져왔습니다. 1. Introduction 최근 연구들은 신경망을 더 자세히 관찰하여, 모델 내부에 대한 기본단위를 재정의 하는 시도가 있다. 이러한 시도는 생물의 내부를 더욱 자세히 관찰하여 세포에 대한 연구를 진행하는Cellular Biology (세포생물학) 로 부터 영감을 얻었으며, 세포생물학에서 주장한 것과 유사하게, 모델의 기본 요소인 Feature 에 대해서 3가지 기본요소를 주장한다. [link] 1. Feature 는 신경망의 기본 단위이다. 2. Feature 는 연결되어 있다 (Weight 을 통해서) 3. .. 더보기
Transformer 해석과 Attention Heads 1. 서론 최근 딥러닝은 트랜스포머를 바탕으로 더욱 빠르게 성장하고 있다. 트랜스포머에는 어텐션 (Multi-Head Attention, MHA) 과 MLP 라는 두 개의 주요 모듈이 존재하며, 이들의 활성화된 값을 이해하는 것은 모델의 의사결정에 대한 해석을 제공해준다. MHA 의 역할은 입력 토큰들에 대한 정보교환, MLP 의 역할은 메모리로부터 정보생성의 관점이 알려져 있다 [2,3,4,5]. 트랜스포머의 내부에 대해서는 아직 의견이 분분하지만, 적어도 두 가지 모듈 중에서 MHA 대한 해석은 상당히 많은 연구가 진행되었다 [6,7,8,9]. 이 글에서는 최근 발달한 MHA 에 대한 연구들을 기반으로, 트랜스포머 MHA 에 대하여 풀린 문제를 정의하고 풀리지 않은 추가적인 문제를 의논한다. MHA .. 더보기
블랙 박스 모델의 설명성 연구 방향 1. 소개 지난 수 년간 딥러닝은 지속적으로 발전해왔다. 많은 연구자들이 모델의 성능을 올리기 위해서 네트워크 구조, 데이터, 학습 알고리즘들을 개발했으며, 성능이 오르면서 모델의 의사결정을 해석하는 기술들, 일명 설명가능인공지능 또한 발전하였다. 그러나 블랙박스 모델을 설명하는 것은 여전히 어려운 문제로 남아있으며, 설명성 기술 자체가 지니는 의미를 파악하고 설명성의 편향 (explanation bias)을 이해하는 것은 쉽지 않다. 블랙 박스 모델을 설명하기 위해서 기존 연구자들이 어떠한 문제를 정의하였고, 어떻게 풀었는지, 그리고 여전히 풀리지 않은 문제는 무엇인지 회고하여 블랙박스모델의 설명성 연구방향성을 제시하고자 한다. 또한 기존 설명 방법들에 대하여 문제 인식과 풀린 문제들에 대하여 논하며,.. 더보기
USB Booting Disk 로 Ubuntu 설치하기 1. USB 이미지 디스크 만들기 Ubuntu 20.04.4 LTS download Rufus Download 이미지 선택해서 쓰기 실행. 2. BIOS 진입 + USB 부팅 DEL, F12, F2 연타 USB 우선순위 설정 3. 우분투 설치 English - English Normal installation Install Type (Something Else) 기존 파티션 제거 Free Space 선택 (+) 클릭 후 사이즈 512 >> UBS as SWAP Area (primary) 선택 Free Space 선택 (+) 클릭 후 사이즈 500 >> UBS as EFIO system partition (primary) 선택 Free Space 선택 (+) 클릭 후, 루트 파티션 400000 + loci.. 더보기

티스토리툴바