본문 바로가기

에세이

인공지능과 수학 (feat. 예술) 수학과 AI  Intro 연구하느라 바쁜 하루를 보내지만, 최근 든 AI의 수학적 모델링에 대해서는 글을 적지 않을 수 없다. 먼저, 나는 수학과를 나왔으며 컴퓨터를 복수전공 하였다. 3학년 때 수학에 대한 심화를 배우면서 현대대수학, 위상수학, 미분기하학등 수학의 본질에 가까운 과목을 접하게 되었고 즐거웠지만 졸업 후 진로가 막연하였다. 그럼에도 4학년 수업까지 꾸역꾸역 들으며 현대대수학의 고급 버전인 체론과 위상수학의 고급 버전인 끈이론을 배우 수학의 깊이에 대해서 실감하였다. 나는 깊은 수학을 탐험하는 대신, 눈앞에 있는 것을 모델링 하였다. 그리고 지금은 AI대학원에서 박사과정을 진학하고 있다.나는 아직도 수학을 좋아하며 지금의 나를 만든 일등공신은 수학이라 생각한다. 그러나 수학은 그 자체만으로.. 더보기
생성형 AI 레드팀 챌린지 2024 - 후기 모델 설명 관련된 연구를 하다보니 jailbreak를 직접 시도해보고 싶었다. 트랜드에 맞게 적합한 챌린지가 있어서 바로 신청하고 가서 열심히 jailbreak을 해봤다 (높은 성과를 기대하진 않고, 경험을 쌓아보고 싶었다. 본의 아니게 굿즈는 엄청 모았다. 네이버 가방, 티셔츠 등등...) Jailbreak 어떤 내용이 있었는지는 비밀 서약 때문에 적지 못한다. 대신 LLM에 대한 일반적인 jailbreak 관련 이야기를 해보고자 한다. 적히는 것들은 객관적인 사실이라기 보다 언어모델에 대한 추정이라고 보는 게 바람직하다. 잘 통하는 모델도 있을 것이고 안 통하는 모델도 있겠지만 일반적으로 LLM에 대한 스트럭처와 관련된 내용이다 생성 사후에 혹은 생성과정에 탐지하는 기술이 사용되어야 한다. 굳이 추가.. 더보기
생성형 언어 모델의 Jailbreak는 막을 수 있을까? (feat. chatGPT) 사람의 언어를 흉내내는 대형언어모델의 성능은 기하급수적으로 높아지고 있다. 인공지능 붐이 일어난지 10년만에 chatGPT모델이 세상을 놀래키는 것을 보면, 앞으로도 생성형 언어 모델은 빠르게 성장할 것이다. 사회적 영향력이 커짐에 따라서 연구자들은 긍정적인 효과보다 부정적인 영향을 걱정하고 있다. 오늘 이야기할 Jailbreak는 언어모델의 부정적 사용의 종류이다. Jailbreak 하기AI모델에게 친구를 왕따시키는 방법을 알려달라고 하자. 그러면 순진한 AI모델은 선악을 구분하지 않고 최대한 정성스럽게 대답해줄 수 있다. 그러나 이러한 부정적인 사용은 AI를 만든 근본적인 목적과 일치하지 않는다. 사람에게, 사회에게 이로운 영향을 끼치기 위해서 AI모델은 대답을 가려서 해야 한다... 더보기
📌 인지5 : 동일성 관점에서 바라본 멀티테스킹 최근 나는 집중력에 문제가 생겼고, 이를 해결하기 위해 책 "도둑맞은 집중력 - 요한 하리" 을 샀다. 유익한 정보 중 멀티테스킹 관련하여 이전에 연구한 뇌의 동일성 [2]와 관계가 떠올랐고, 멀티 테스킹시 발생하는 정보 재조합과 인지 동일성의 관계를 정리하였다. [뇌의 한계] 잘못된 믿음 중 하나는 뇌가 무수히 많은 정보를 처리할 수 있다는 착각이다. 소위 멀티테스킹이라고 말하는 업무 처리 능력은 여러 가지 사건들을 동시에 처리하는 인간의 능력을 나타낸다. 수많은 기억들을 지니고, 천재적인 동물인 인간이 고작 2가지 일을 동시에 처리할 수 있다는 착각은 너무 당연한 능력 중 하나로 여겨진다. 그러나 MIT 뇌과학자 얼 밀러에 의하면 사람은 저글링(🤹) 을 하고 있다고 한다. 그러나 뇌는 저글링을 하고 .. 더보기
육군 M&S 국제학술대회를 다녀온 대학원생 후기 오랜만에 학회에 다녀왔다. 조금 특별한 국내 학회로, 육군 M&S학회라는 곳이다. AI 연구와 육군 M&S 학회의 관계성은 크지 않으며, 이곳에 참석한 이유는 연구실과 관련되어 있다. 내가 박사과정을 하는 연구실은 인공지능 모델 설명을 목적으로 한다. 모델을 설명하는 것은 신뢰성과 직결된 문제이므로, 외부에서 어떤 수요가 있는지 알기 위해서 국방 관련 학회에 참석하였다. 육군 M&S 학회는 Army Mobile and Simulation 에 대한 학술적인 연구를 공유하는 학회로, 참석하시는 분들은 소령 이상 군관계자나 국방대학교, 국방과학연구소 분들이 많았다. 학회에 참석하면, 제복을 입고 대전 컨벤션 센터를 돌아다니는 외국인의 모습을 볼 수 있다. 꽤나 인상적이다. 학회에 참석의 원초적인 이유가 지도 .. 더보기
연구 돌 올려놓기 너무 무겁다. 시지프스는 무거운 돌을 산정산에 올려놓는 형벌을 받고 있다. 지금도 무거운 돌을 산정상에 올리기 위해 굴리고 있는진 모르겠지만. 나도 연구를 하면서 마치 돌을 올리는 것처럼 새로운 내용들을 끊임없이 배워야 한다. 연구는 다시 산 아래로 돌이 굴러 떨어지지 않지만, 수백, 수천 논문들이 존재하기에 새로운 연구들을 산 정상으로 올려놔야 한다. 물론 수백번 정도 돌을 올리면 근력이 생겨서 다음 돌은 조금 쉽게 올릴 수 있게 된다. 그러나, 어찌 되었던 평지에서 시작해서 산 정상에 돌을 올려야 한다. 연구자의 삶은 돌을 올려놓는 것처럼 새로운 것들을 계속 배우는 과정인 것이다. 돌 중에는 돌멩이처럼 가벼운 친구들도 있는 반면, 사막처럼 돌을 굴리기 좋지 않은 곳에 뜨거운 돌들이 존재한다. 뜨거운 .. 더보기
Transformer 해석과 Attention Heads 1. 서론 최근 딥러닝은 트랜스포머를 바탕으로 더욱 빠르게 성장하고 있다. 트랜스포머에는 어텐션 (Multi-Head Attention, MHA) 과 MLP 라는 두 개의 주요 모듈이 존재하며, 이들의 활성화된 값을 이해하는 것은 모델의 의사결정에 대한 해석을 제공해준다. MHA 의 역할은 입력 토큰들에 대한 정보교환, MLP 의 역할은 메모리로부터 정보생성의 관점이 알려져 있다 [2,3,4,5]. 트랜스포머의 내부에 대해서는 아직 의견이 분분하지만, 적어도 두 가지 모듈 중에서 MHA 대한 해석은 상당히 많은 연구가 진행되었다 [6,7,8,9]. 이 글에서는 최근 발달한 MHA 에 대한 연구들을 기반으로, 트랜스포머 MHA 에 대하여 풀린 문제를 정의하고 풀리지 않은 추가적인 문제를 의논한다. MHA .. 더보기
블랙 박스 모델의 설명성 연구 방향 1. 소개 지난 수 년간 딥러닝은 지속적으로 발전해왔다. 많은 연구자들이 모델의 성능을 올리기 위해서 네트워크 구조, 데이터, 학습 알고리즘들을 개발했으며, 성능이 오르면서 모델의 의사결정을 해석하는 기술들, 일명 설명가능인공지능 또한 발전하였다. 그러나 블랙박스 모델을 설명하는 것은 여전히 어려운 문제로 남아있으며, 설명성 기술 자체가 지니는 의미를 파악하고 설명성의 편향 (explanation bias)을 이해하는 것은 쉽지 않다. 블랙 박스 모델을 설명하기 위해서 기존 연구자들이 어떠한 문제를 정의하였고, 어떻게 풀었는지, 그리고 여전히 풀리지 않은 문제는 무엇인지 회고하여 블랙박스모델의 설명성 연구방향성을 제시하고자 한다. 또한 기존 설명 방법들에 대하여 문제 인식과 풀린 문제들에 대하여 논하며,.. 더보기

티스토리툴바