딥러닝 썸네일형 리스트형 [Analyse RLLib] 1. Ray와 RLlib의 전체적인 구조 Ray-RLLib 1 Ray의 전체적인 구조 2 RLlib 2. Policy 2 Sample Batches 3 Trainer Ray RLlib Overall View Contents References Ray-RLLib 1 Ray의 전체적인 구조 Ray는 분산처리를 위한 프로젝트로 파이썬으로 작성되었습니다. 이를 바탕으로 시간이 오래 걸리는 강화학습을 더욱 효율적으로 할 수 있습니다. 강화학습 라이브러리로 유명한 OpenAI Gym과도 연동된다는 점은 Ray로 학습을 해야 하는 중요한 이유입니다. 이러한 라이브러리를 만든 목적도 OpenAI Gym형태의 Envrionment에 대해서 RLlib를 적용시켜서 학습하는 것. 2 RLlib RLlib에서 바꿀 수 있는 부분은 다음과 같다. 해당 부분에 대해서 .. 더보기 NLP의 모든 분야 탐색 (Update 중) NLP Tasks Machine Translation Question Answering SQUAD 2.0 SQUAD 1.0 Language Modeling Text Classification Text Classification Topic Models Document Classification Sentence Classification Emotion Classification Sentiment Analysis Data Augmentaiton Text Generation Named Entity Recognition Text Summarization Extractive Summarization Abstractive Summarization Reading comprehension Relation Extraction 더보기 [Fairseq 1] Robert Pretrain 코드 돌리기 How to run pretraining code with fairseq 1. Download unlabeled dataset for pretraining. 먼저 데이터를 다운받습니다. train, valid로 나눠져 있는 데이터라면 아무 데이터나 상관없습니다. wget https://s3.amazonaws.com/research.metamind.io/wikitext/wikitext-103-raw-v1.zip unzip wikitext-103-raw-v1.zip 2. Encode text with GPT-2 BPE GPT-2의 Byte Pair Encoding을 진행합니다. mkdir -p gpt2_bpe wget -O gpt2_bpe/encoder.json https://dl.fbaipublicfile.. 더보기 [Paper Short Review] Do sequence-to-sequence VAEs learn global features of sentences [Paper Short Review] Do sequence-to-sequence VAEs learn global features of sentences Keypoints Questions and Answers Which model has it used? What is data? Dealing with posterior collapse. Contribution Experiments References [Paper Short Review] Do sequence-to-sequence VAEs learn global features of sentences Keypoints VAE architecture. Classification but uses quite intersting training step. It i.. 더보기 Bayesian 1 - Think Bayesian approach Think Bayesian approach 👨🌾 확률론에서 Frequentist와 Bayesian은 빼놓을 수 없는 논쟁 중 하나입니다. 두 개의 접근법은 근간이 되는 가정이 서로 다르기 때문에, 모델과 데이터에 대한 서로 다른 견해를 보여줍니다. 데이터와 모델에 대한 이야기로 시작해보겠습니다. 로또를 구매했을 때, 우리는 당첨이 될 확률이 굉장이 낮다는 것을 알고 있고, 실제로 그 확률을 수치상으로 표현할 수 있습니다. 그러나 수치를 안다고 해서 내가 로또에 당첨될 수 있는 것은 아닙니다. 이러한 불확실한 현상과 랜덤의 성질이 Frequentist와 Bayesian을 나누는 근간이 됩니다. 2월의 넷째 주 토요일에 로또 번호 X 가 나왔습니다. X는 어떠한 모델 θ에 의해서 생성된.. 더보기 Text Summarization 분야 탐색 Text Summarization Text Summarization의 목표 Text Summarization의 세분화 Text Summarization🧾 Text Summarization은 문서에서 중요한 정보만을 선정하여 Summary를 만드는 테스크입니다. 최근 Transformer 아키텍쳐의 발명으로 Summarize의 성능은 크게 향상되었습니다. 여기서 더욱 발전하기 위해서, Text Summarization에 대하여 어떠한 연구들이 진행되었는지 알고 이를 바탕으로 중요하게 다뤄야 하는 부분을 알고자 합니다. 본 포스팅에서는 자연어처리(NLP)의 하위 테스크인 Text Summarization에 대한 기존 연구들을 정리하였습니다. Text Summarization의 목표🧾 주어진 문서에 대해서 단.. 더보기 Transformer와 인간의 뇌 구조 Transformer를 발전시키고자 노력한 것들이 뜻대로 되지 않아서, 조금 더 근본적으로 무엇을 연구하기 생각하게 되었다. Transformer가 인간 이상의 능력을 보여주는 것을 보며, 사람의 뇌와 트랜스포머를 비교하는 것이 연구에 도움이 될 거 같아서 비교를 해보고자 한다. 차이점 인간의 뇌는 다양한 층으로 이루어져있다. 가장 바깥쪽에 위치하며 다른 동물과 인간을 구분 짓는 결정적인 역할을 한 대뇌피질부터 그 속으로 내려간다면, 기억과 감정을 담당하는 부분, 그리고 더 밑으로 내려간다면, 파충류도 가지고 있는 본능을 나타내는 부분이 있다. 트랜스포머는 이중에서 제일 바깥쪽인 대뇌피질에 해당한다. 단어들의 상관관계를 연산하며, 원하는 정보를 세밀하게 찾아낸다. 차이점이라면, 트랜스포머의 구조는 일방적.. 더보기 Byte Pair Encoding 방법 Bype Pair Encoding How to encode 1. Learn - BPE operation 2. Encoding with Byte-Level Subwords References Bype Pair Encoding How to encode 1. Learn - BPE operation 1. 띄어씌기로 단어를 선정하고 캐릭터 레벨로 단어를 분리합니다. 현재 4개의 단어가 있으며, : 뒤의 숫자는 횟수를 나타냅니다. 'l o w ': 5 'l o w e r ': 2 'n e w e s t ': 6 'w i d e s t ': 3 2. 가장 많이 나오는 Pair를 찾고, 두 케릭터를 바꿔줍니다. best : ('e', 's') vocab : {'l o w ': 5, 'l o w e r ': 2, 'n .. 더보기 이전 1 ··· 3 4 5 6 7 8 다음 목록 더보기
