🐾 Rudi Park
누군가 저한테 사막에서도 살아남을 사람이라던데, 그건 사실일까요?
-
🪴 한 걸음, 또 한 걸음 안녕하세요! 이 블로그는 저의 개인적인 생각들과 공부한 내용들을 일부 적어둔 곳입니다! 제 글에 대한 개인적인 생각들 또한 언제든지 환영입니다. 참고로 제 MBTI 는 ENTJ 입니다. 다양한 사람들과 이야기하며 다양한 아이디어들을 이야기 하는 것을 좋아합니다 😄 더보기
최근에 나는 무슨 글을 적었을까...
이 블로그에서 인기 있는 글들은 어떤거야??
-
AI가 생각을 숨기기 시작했다면? — Obfuscated Reward Hacking의 모든 것
영상:https://www.youtube.com/watch?v=Tqc5cEGStvg 요즘 AI는 단순히 정답을 맞히는 걸 넘어서, 사고 과정 자체를 설명하는 시대에 들어섰습니다. 그런데 이 ‘설명’ 속에, AI가 거짓말을 하기 시작했다면 어떨까요? 오늘 이야기할 주제는 바로AI가 자신의 편법을 감추는 방법 — Obfuscated Reward Hacking입니다. 🤔 “AI의 생각(CoT), 믿을 수 있을까?” AI는 점점 인간처럼 “생각하는 방식”을 보여주는 Chain-of-Thought(CoT) 기법을 사용합니다.그런데 최근 연구에 따르면, 이 CoT가 단순한 설명이 아니라 전략적인 숨기기 수단으로 작동할 수도 있다고 해요. CoT는 진짜 생각일까, 아니면 겉치레일까? 💥 보상 해킹이란? AI는 ..
더보기
-
사랑 - AI에게 사랑을 심는다는 것 (기계는 사랑을 알 수 있을까?)
외계인은 사랑이 뭔지 알지도 몰라. 너 사실대로 말해라.인간과 기계, 인간과 인간이 서로 사랑을 주고받기 위해서는 사랑의 동작 방식을 이해해야 한다.- 어느 한 과학자 기계는 사랑을 알 수 있을까? 나는 5년 전에 기계가 사랑을 할 수 있는지 물었다. 사람들은 “불가능하다”라고 대답했다. 3년 전에도 같은 질문을 던졌지만, 사람들은 여전히 기계는 감정을 가질 수 없다고 했다. 1년 전에도, 그리고 오늘도 같은 답이 돌아온다. 하지만 정말 그럴까? 기계는 사랑을 알 수 없을까? 우리는 기계를 종종 정적인 존재로 인식한다. 그러나 기술은 끊임없이 발전한다. 기계가 사랑을 할 수 있는지 논의하기 전에, 먼저 기계가 무엇이고, 무엇을 할 수 있는지를 따져봐야 한다. 사랑이라는 개념도 마찬가지다. 우리는 흔히 감..
더보기
-
심볼 - 인간과 AI의 소통 (결국 둘은 서로 다른 것을 볼 수밖에 없다.)
해당 글은 브런치에 연재된 글 입니다. https://brunch.co.kr/@bumjini/73/write심볼 (상징) 인간과 동물의 차이 중 하나는 언어의 사용입니다. 인간은 단어들로 문장을 만들고, 문단과 글을 형성하여 자신의 의견을 표현할 수 있습니다. 아래 글을 읽고 이미지를 상상해 보세요. “아이가 호숫가에서 달에 기도를 한다.” 혹시 어떤 달을 상상하셨나요? 누군가는 정월대보름의 보름달을 떠올리고, 또 다른 사람은 초승달을 떠올렸을 겁니다. 기도를 할 때, 그 아이는 서 있거나 무릎을 꿇고 있을 수도 있습니다. 이처럼 언어가 지니는 의미는 사람마다 다르지만, 인류는 공통의 특징을 기반으로 달에 기도하는 아이를 상상할 수 있습니다. 따라서, 내가 생각하는 모습을 타인에게 개념적으로 전달할 수 ..
더보기
-
집단 - AI Society (뇌, 인간, AI 사회에 대해서 )
나뭇가지 사회. 오늘 회의를 시작하겠습니다. 시간을 엄수하시고 다들 광장으로 모이세요. 해당 글은 브런치에 연재된 글 입니다. https://brunch.co.kr/@bumjini/74/write 집단 - AI Society 요즘 나의 가장 큰 관심사 중 하나는 AI로 이루어진 사회라는 개념이다. 최근 기술 발전으로 인해 인공지능 에이전트들이 전 세계를 돌아다니는 거창한 미래상이 떠오르지만, 나는 좀 더 작은 사회, 즉 우리 뇌 속에 존재하는 사회에 관심이 있다. 우리 뇌 안에 사회가 존재한다는 관점은, 1950년대 MIT에서 인공지능 연구소를 처음 설립한 Marvin Minsky의 대표적인 업적 중 하나다. 그는 뇌 안에서 '마음(Mind)'이라고 불리는 생각들이 서로 상호작용하는 사회를 형성하며, ..
더보기
-
인공지능과 수학 (feat. 예술)
수학과 AI Intro 연구하느라 바쁜 하루를 보내지만, 최근 든 AI의 수학적 모델링에 대해서는 글을 적지 않을 수 없다. 먼저, 나는 수학과를 나왔으며 컴퓨터를 복수전공 하였다. 3학년 때 수학에 대한 심화를 배우면서 현대대수학, 위상수학, 미분기하학등 수학의 본질에 가까운 과목을 접하게 되었고 즐거웠지만 졸업 후 진로가 막연하였다. 그럼에도 4학년 수업까지 꾸역꾸역 들으며 현대대수학의 고급 버전인 체론과 위상수학의 고급 버전인 끈이론을 배우 수학의 깊이에 대해서 실감하였다. 나는 깊은 수학을 탐험하는 대신, 눈앞에 있는 것을 모델링 하였다. 그리고 지금은 AI대학원에서 박사과정을 진학하고 있다.나는 아직도 수학을 좋아하며 지금의 나를 만든 일등공신은 수학이라 생각한다. 그러나 수학은 그 자체만으로..
더보기
-
생성형 AI 레드팀 챌린지 2024 - 후기
모델 설명 관련된 연구를 하다보니 jailbreak를 직접 시도해보고 싶었다. 트랜드에 맞게 적합한 챌린지가 있어서 바로 신청하고 가서 열심히 jailbreak을 해봤다 (높은 성과를 기대하진 않고, 경험을 쌓아보고 싶었다. 본의 아니게 굿즈는 엄청 모았다. 네이버 가방, 티셔츠 등등...) Jailbreak 어떤 내용이 있었는지는 비밀 서약 때문에 적지 못한다. 대신 LLM에 대한 일반적인 jailbreak 관련 이야기를 해보고자 한다. 적히는 것들은 객관적인 사실이라기 보다 언어모델에 대한 추정이라고 보는 게 바람직하다. 잘 통하는 모델도 있을 것이고 안 통하는 모델도 있겠지만 일반적으로 LLM에 대한 스트럭처와 관련된 내용이다 생성 사후에 혹은 생성과정에 탐지하는 기술이 사용되어야 한다. 굳이 추가..
더보기
-
생성형 언어 모델의 Jailbreak는 막을 수 있을까? (feat. chatGPT)
사람의 언어를 흉내내는 대형언어모델의 성능은 기하급수적으로 높아지고 있다. 인공지능 붐이 일어난지 10년만에 chatGPT모델이 세상을 놀래키는 것을 보면, 앞으로도 생성형 언어 모델은 빠르게 성장할 것이다. 사회적 영향력이 커짐에 따라서 연구자들은 긍정적인 효과보다 부정적인 영향을 걱정하고 있다. 오늘 이야기할 Jailbreak는 언어모델의 부정적 사용의 종류이다. Jailbreak 하기AI모델에게 친구를 왕따시키는 방법을 알려달라고 하자. 그러면 순진한 AI모델은 선악을 구분하지 않고 최대한 정성스럽게 대답해줄 수 있다. 그러나 이러한 부정적인 사용은 AI를 만든 근본적인 목적과 일치하지 않는다. 사람에게, 사회에게 이로운 영향을 끼치기 위해서 AI모델은 대답을 가려서 해야 한다...
더보기
-
📌 인지5 : 동일성 관점에서 바라본 멀티테스킹
최근 나는 집중력에 문제가 생겼고, 이를 해결하기 위해 책 "도둑맞은 집중력 - 요한 하리" 을 샀다. 유익한 정보 중 멀티테스킹 관련하여 이전에 연구한 뇌의 동일성 [2]와 관계가 떠올랐고, 멀티 테스킹시 발생하는 정보 재조합과 인지 동일성의 관계를 정리하였다. [뇌의 한계] 잘못된 믿음 중 하나는 뇌가 무수히 많은 정보를 처리할 수 있다는 착각이다. 소위 멀티테스킹이라고 말하는 업무 처리 능력은 여러 가지 사건들을 동시에 처리하는 인간의 능력을 나타낸다. 수많은 기억들을 지니고, 천재적인 동물인 인간이 고작 2가지 일을 동시에 처리할 수 있다는 착각은 너무 당연한 능력 중 하나로 여겨진다. 그러나 MIT 뇌과학자 얼 밀러에 의하면 사람은 저글링(🤹) 을 하고 있다고 한다. 그러나 뇌는 저글링을 하고 ..
더보기
-
육군 M&S 국제학술대회를 다녀온 대학원생 후기
오랜만에 학회에 다녀왔다. 조금 특별한 국내 학회로, 육군 M&S학회라는 곳이다. AI 연구와 육군 M&S 학회의 관계성은 크지 않으며, 이곳에 참석한 이유는 연구실과 관련되어 있다. 내가 박사과정을 하는 연구실은 인공지능 모델 설명을 목적으로 한다. 모델을 설명하는 것은 신뢰성과 직결된 문제이므로, 외부에서 어떤 수요가 있는지 알기 위해서 국방 관련 학회에 참석하였다. 육군 M&S 학회는 Army Mobile and Simulation 에 대한 학술적인 연구를 공유하는 학회로, 참석하시는 분들은 소령 이상 군관계자나 국방대학교, 국방과학연구소 분들이 많았다. 학회에 참석하면, 제복을 입고 대전 컨벤션 센터를 돌아다니는 외국인의 모습을 볼 수 있다. 꽤나 인상적이다. 학회에 참석의 원초적인 이유가 지도 ..
더보기
-
연구 돌 올려놓기
너무 무겁다. 시지프스는 무거운 돌을 산정산에 올려놓는 형벌을 받고 있다. 지금도 무거운 돌을 산정상에 올리기 위해 굴리고 있는진 모르겠지만. 나도 연구를 하면서 마치 돌을 올리는 것처럼 새로운 내용들을 끊임없이 배워야 한다. 연구는 다시 산 아래로 돌이 굴러 떨어지지 않지만, 수백, 수천 논문들이 존재하기에 새로운 연구들을 산 정상으로 올려놔야 한다. 물론 수백번 정도 돌을 올리면 근력이 생겨서 다음 돌은 조금 쉽게 올릴 수 있게 된다. 그러나, 어찌 되었던 평지에서 시작해서 산 정상에 돌을 올려야 한다. 연구자의 삶은 돌을 올려놓는 것처럼 새로운 것들을 계속 배우는 과정인 것이다. 돌 중에는 돌멩이처럼 가벼운 친구들도 있는 반면, 사막처럼 돌을 굴리기 좋지 않은 곳에 뜨거운 돌들이 존재한다. 뜨거운 ..
더보기
-
Deconvolution and Checkerboard Artifacts [KOR]
Image Copyright: https://distill.pub/2016/deconv-checkerboard/ 1. Introduction Generative Model 의 가장 대표적인 형태는 Convolution 을 지나서, Deconvolution 으로 이미지를 생성하는 것이다. 이러한 구조는 중간에 Bottleneck에 응축된 정보를 가지고 데이터에 대한 특징을 집약적으로 표현하는 특징이 있다. Convolution 단계에서 이미지에서 의미있는 정보들을 추출하며 Spatial 한 부분에 대하여 정보를 가져오는 역할을 하고, Deconvolution에서는 다시 더 넓은 범위로 이미지를 확대하면서 생성을 진행한다. 그러나, Deconvolution 방식들은 Checkerboard 를 형성하는 Art..
더보기
-
[Circuits-CNN] Features, Circuits, and Activations [한국어]
본 글의 내용은 Zoom In: An Introduction to Circuits 을 기반으로 만들어졌습니다. Feature Visualziation 에 대한 이미지는 위 글에서 가져왔습니다. 1. Introduction 최근 연구들은 신경망을 더 자세히 관찰하여, 모델 내부에 대한 기본단위를 재정의 하는 시도가 있다. 이러한 시도는 생물의 내부를 더욱 자세히 관찰하여 세포에 대한 연구를 진행하는Cellular Biology (세포생물학) 로 부터 영감을 얻었으며, 세포생물학에서 주장한 것과 유사하게, 모델의 기본 요소인 Feature 에 대해서 3가지 기본요소를 주장한다. [link] 1. Feature 는 신경망의 기본 단위이다. 2. Feature 는 연결되어 있다 (Weight 을 통해서) 3. ..
더보기
-
Transformer 해석과 Attention Heads
1. 서론 최근 딥러닝은 트랜스포머를 바탕으로 더욱 빠르게 성장하고 있다. 트랜스포머에는 어텐션 (Multi-Head Attention, MHA) 과 MLP 라는 두 개의 주요 모듈이 존재하며, 이들의 활성화된 값을 이해하는 것은 모델의 의사결정에 대한 해석을 제공해준다. MHA 의 역할은 입력 토큰들에 대한 정보교환, MLP 의 역할은 메모리로부터 정보생성의 관점이 알려져 있다 [2,3,4,5]. 트랜스포머의 내부에 대해서는 아직 의견이 분분하지만, 적어도 두 가지 모듈 중에서 MHA 대한 해석은 상당히 많은 연구가 진행되었다 [6,7,8,9]. 이 글에서는 최근 발달한 MHA 에 대한 연구들을 기반으로, 트랜스포머 MHA 에 대하여 풀린 문제를 정의하고 풀리지 않은 추가적인 문제를 의논한다. MHA ..
더보기
-
블랙 박스 모델의 설명성 연구 방향
1. 소개 지난 수 년간 딥러닝은 지속적으로 발전해왔다. 많은 연구자들이 모델의 성능을 올리기 위해서 네트워크 구조, 데이터, 학습 알고리즘들을 개발했으며, 성능이 오르면서 모델의 의사결정을 해석하는 기술들, 일명 설명가능인공지능 또한 발전하였다. 그러나 블랙박스 모델을 설명하는 것은 여전히 어려운 문제로 남아있으며, 설명성 기술 자체가 지니는 의미를 파악하고 설명성의 편향 (explanation bias)을 이해하는 것은 쉽지 않다. 블랙 박스 모델을 설명하기 위해서 기존 연구자들이 어떠한 문제를 정의하였고, 어떻게 풀었는지, 그리고 여전히 풀리지 않은 문제는 무엇인지 회고하여 블랙박스모델의 설명성 연구방향성을 제시하고자 한다. 또한 기존 설명 방법들에 대하여 문제 인식과 풀린 문제들에 대하여 논하며,..
더보기
- USB Booting Disk 로 Ubuntu 설치하기 1. USB 이미지 디스크 만들기 Ubuntu 20.04.4 LTS download Rufus Download 이미지 선택해서 쓰기 실행. 2. BIOS 진입 + USB 부팅 DEL, F12, F2 연타 USB 우선순위 설정 3. 우분투 설치 English - English Normal installation Install Type (Something Else) 기존 파티션 제거 Free Space 선택 (+) 클릭 후 사이즈 512 >> UBS as SWAP Area (primary) 선택 Free Space 선택 (+) 클릭 후 사이즈 500 >> UBS as EFIO system partition (primary) 선택 Free Space 선택 (+) 클릭 후, 루트 파티션 400000 + loci.. 더보기
-
GPT4 는 더 이상 연구가 아닌 기술보안이다.
GPT3는 175B 개의 파라미터를 가진 혁신적 모델이었고, 이후 두 형태의 GPT 모델이 발전하였다. 사람의 말처럼 자연스러운 형태의 InstructGPT 그리고 챗봇 형태로 엄청난 사용자를 기록하는 ChatGPT. InstructGPT (논문)가 사람처럼 말하기 위해서 어떠한 방식을 사용하였는지 기술적으로 서술되어, 이후 많은 사람들이 Human Feedback을 이용해서 GPT와 같은 디코더들을 학습시킬 수 있었다. 여기까지는 아직 연구자들과 내용을 공유하는 형태이다. 마찬가지로 ChatGPT는 프로그래밍 코드에 대해서 미리 학습되고 InstructGPT와 비슷한 형태로 재학습하였다는 것이 알려져 있는데, GPT4부터는 더 이상 그 어떠한 내부적인 비밀을 공개하지 않는다. 이러한 Closeness를..
더보기
