본문 바로가기

딥러닝

[논문 리뷰] Very Deep Transformers for Neural Machine Translation 트랜스포머가 훈련이 잘 안되는 이유와 그걸 가능하게 만든 방법. Abstract 인코더 60층, 디코더 12층 까지 쌓아서 트랜스포머를 훈련시키는데 성공했습니다. $\color{blue}{WMT14 English-French}$ 밴치마크에서 SOTA를 찍었습니다. (43.8BLEU and 24.4 BLEU with back-translation) 1 Introduction Deeper model은 더 더양한 표현을 소화할 수 있습니다. 현재 NMT에서 SOTA인 모델의 사이즈는 Enc6/Dec12밖에 되지 않습니다.* Optimization Challenge : 각 층의 분산이 쌓여서 훈련이 불안정하고 발산하게 됩니다. 최근에 나온 초기화 방법인 ADMIN방법으로 Variance problem을 해소합니.. 더보기
Transformer 모델 학습은 생각보다 어렵다. Computational Linguistics의 발달로 모델의 성능을 인간을 뛰어넘는 경우가 종종 생기고 있다. Squad 2.0의 Q&A모델이 대표적인 예인데, 사람이 정답을 찾는 것보다 모델이 찾는 게 훨씬 더 정확도가 높으며 사람들은 모델이 생성해낸 가짜 뉴스를 쉽게 구분하지 못하고 있습니다.[1] NLP의 경우, 데이터의 양이 어마무시하고, 모델의 사이즈가 크기 때문에, 훈련하는 게 마냥 쉽지만은 않다. Facebook의 fairseq[2]는 sequential모델에 대한 open source 라이브러리로 직접 transformer 모델을 훈련시키고 내부를 변화시킬 수 있습니다. 현재 이 모델을 훈련하고 있는데, 트랜스포머의 주변에 새로운 모듈을 추가해서 그 성능을 높이는 일을 하고 있습니다. 따.. 더보기
MARL-DRONE DRON Deep Reinforcement Opponent Network Approach jointly learn a policy and the behavior of opponents into a DQN Using Mixture-of-Experts architecture(discover different strategy patterns of opponents) Stated Questions how to combine the two networks what supervision signal to use. predicting Q-values only, as our goal is the best reward instead of accurately simulating opponents also predictin.. 더보기
MARL - MADDPG 이해하기 MADDPG(Multi-Agent Deep Deterministic Gradient) [paper] Model Architecture Policy $\pi_i$는 Policy Network로 상태에 대해서 행동을 결정하고 Critic Network $Q_i$는 Agent의 관찰과 행동에 대한 적정한 값인 Return을 계산합니다. 이는 기존 single-agent의 actor-critc과 동일합니다. N개의 Agent가 있을 때, 각각의 Agent는 자신만의 Policy, Critic Network를 가지고 있습니다. MADDPG에서 특이한 점은 Q네트워크의 인풋으로, 다른 Agent의 정보가 모두 들어간다는 것 입니다. 학습시: Q-network에 다른 agent의 관찰과 행동이 모두 들어가서, age.. 더보기
나만의 자연어처리 공부방법 1. 학습교재 📚 '김기현의 자연어처리 딥러닝 캠프'를 사용했습니다. 자연어 처리에 대한 배경지식이 부족해서 전반적으로 이 분야를 설명해주는 책을 선택했습니다. 내용에 대해서 부족한 점은 많지만 한번 훑어보기에는 적당합니다. 2. 학습방법 👩‍🏫 자연어에 대한 설명을 건너 뛰고 시퀀스 모델링부터 학습을 진행했습니다. 딥러닝에 대한 단편적인 지식이 있으므로 NLP 모델에 중점을 뒀습니다. A. 모델링 [중요도 :🌟🌟🌟🌟] 모델을 스터디한 순선대로 나열했습니다. 모델 중요도 설명 RNN ⭐⭐⭐⭐ NLP 모델들의 기초가 됩니다. 순차적으로 학습시키는 모델로 생각하면 됩니다. LSTM ⭐⭐ 장기기억이 불가능한 RNN 를 개선했습니다 GRU ⭐ LSTM의 복잡성을 개선했습니다. light versi.. 더보기
About NLP Turing Test 기계가 작성한 문서와 사람이 작성한 문서가 있을 때, 두 개를 구분하지 못한다면 머신은 인공지능이 아닐까? History Ambiguity 단어가 지니는 의미는 Contextual할 수 있기 때문에, 머신이 그 의미를 파악하는 게 쉽지 않다. Syntactic ambiguity : 문맥을 해석하는 순서 Lexical ambiguity : verb, noun, what does it mean? Semantic ambiguity : 의미를 해석하는 방법 Perplexity 외부 평가(extrinsic evaluation) : 모델에 대한 결과를 사람들이 수동적으로 평가한다. N : 문장의 길이 W : 단어 더보기
Colab에서 한글 사용하기 Colab에서 matplotlib를 사용할 때 설정된 폰트는 한글이 지원이 안되기 때문에, 코렙에서 한글 폰트를 다운 받고 matplotlib에서 폰트를 설정해줘야 합니다. # 주의 사항 # 한글 설치. 설치 후 [ ctrl + M + . ] 으로 런타임 다시 시작해야 함. import matplotlib import matplotlib.pyplot as plt import matplotlib.font_manager as fm # 폰트 다운 받기 !apt -qq -y install fonts-nanum # 폰트 설정하기 path = '/usr/share/fonts/truetype/nanum/NanumBarunGothic.ttf' font = fm.FontProperties(fname=path, size=.. 더보기
Word2Vec을 활용한 단어 유사성 Word2Vec을 활용한 단어 시각화 이미 학습된 모델 Word2Vec을 활용한 유사단어 ⭐⭐⭐ coffee와 유사한 단어 tea : 69.4% cocoa : 64.3% beans : 61.9% espresso : 61.3% drinks : 60.4% drink : 58.9% beer : 58.7% wine : 58.4% starbucks : 58.2% sugar : 55.7% 나라 분류 모델 만들기 ⭐ 나라로 분류한 단어: ['senegal', 'latvia', 'colombia', 'serbia', 'nepal', 'maldives', 'croatia', 'brazil', 'uganda', 'slovakia'] 나라가 아닌 단어 :['qbs', 'allmänna', '1,617', 'zingiber'.. 더보기

티스토리툴바