Transformer와 인간의 뇌 구조

Transformer를 발전시키고자 노력한 것들이 뜻대로 되지 않아서,

조금 더 근본적으로 무엇을 연구하기 생각하게 되었다.

Transformer가 인간 이상의 능력을 보여주는 것을 보며,

사람의 뇌와 트랜스포머를 비교하는 것이 연구에 도움이 될 거 같아서 비교를 해보고자 한다.

차이점

인간의 뇌는 다양한 층으로 이루어져있다. 가장 바깥쪽에 위치하며 다른 동물과 인간을 구분 짓는 결정적인 역할을 한 대뇌피질부터 그 속으로 내려간다면, 기억과 감정을 담당하는 부분, 그리고 더 밑으로 내려간다면, 파충류도 가지고 있는 본능을 나타내는 부분이 있다. 트랜스포머는 이중에서 제일 바깥쪽인 대뇌피질에 해당한다. 단어들의 상관관계를 연산하며, 원하는 정보를 세밀하게 찾아낸다. 차이점이라면, 트랜스포머의 구조는 일방적이라는 것이고 뇌는 방향성에 제약이 없다. 신호를 전달할 뿐이다.

뇌가 생각과 행동을 구분할 수 있는 것과 다르게, 트랜스포머는 생각(Hidden state, feature vector)과 행동(Translation, prediction)이 서로 강하게 결합되어 있다. 오직 행동을 위해서 생각을 한다. 따라서 트랜스포머는 정해진 방향으로만 나아가며, 내부적으로 고성능 컴퓨팅을 지니고 있다.

공통점

뇌의 내부에서 일어나는 일에 대해서 우리는 정확하게 설명할 수 없다. 지금 이 글을 보고 있는 당신도 왜 이 글을 읽고 있으며 만일 떠오른 생각이 있다면, 그게 왜 나타났는지 정확하게 설명할 수 없는 것이다.

트랜스포머의 내부에서 일어나는 단어의 관계성에 대해서도 마찬가지로 정확하게 설명할 수 없다. 수억개의 파라미터의 상호작용으로 만들어진 결과물에 대해서 어떻게 판단하며, 단정지을 수 있겠는가?

물론 그렇다고 아예 설명이 불가능하지는 않다. 그 이유는 트랜스포머의 구조는 설계로 이루어졌기 때문이다.

트랜스포머의 구조와 그에 대한 설계는 설계자의 의도가 숨어있으며, 이를 통해서 내부적으로 어떠한 연산이 일어나는지 알 수 있다.