딥러닝/메타러닝(Meta) 썸네일형 리스트형 Metric 기반 메타러닝 알고리즘 (Match, Proto, Relation Network) Metric 기반 메타러닝 메타러닝은 크게 Gradient 기반과 Metric 기반으로 나뉩니다. 포스팅에서는 Metric 기반 메타러닝 알고리즘을 알아보겠습니다. 여기서 말하는 Metric이란 데이터 사이의 거리는 재는 것을 나타내는 것으로 거리가 가깝다면 비슷한 클래스, 반대로 멀리 떨어진 경우 다른 클래스로 분류하고자 합니다. 데이터 클래스에 대해서 Metric은 🔖 Intra-Class 와 🔖 Inter-Class 두 가지로 고려 될 수 있습니다. 🔖 inter-Class : 클래스 끼리 거리 (붉은색) 🔖 intra-Class : 클래스 내부 데이터 사이의 거리 (파란색) Metric 기반 메타러닝에서 중요한 것은 주어지는 적은 양의 데이터에 대해서 🔖Inter-class 를 잘 구분하는 것입니.. 더보기 [Meta-Learning] 3. 메타러닝의 데이터셋 Dataset for Meta Learning Meta Learning 의 Task distribution view에 의하면 Meta Learning 은 Task들에 대한 학습을 통해서 가장 잘 학습하는 알고리즘 $w$를 찾는 것 입니다. 이로부터 새로운 Task에 대해서 빠른 학습, 더 높은 성능을 가지도록 학습합니다. Meta Learning의 데이터셋은 알고리즘을 찾기 위한 Source Task, 찾은 알고리즘으로 새로운 테스크에 대해서 모델을 훈련시키기 위한 Target Task으로 구분됩니다. 그리고 각각의 M과 Q개의 Task들로 이루어져 있습니다. Machine Learning Machine Learning에서는 Dataset에 대해서 다음 Loss를 최소화 하는 파라미터 찾는 것을 목적으로.. 더보기 [Meta-Learning] 2. 메타러닝의 Formal한 정의 저번 포스팅에서는 Meta Learning이 의미하는바를 알아보았습니다 [메타러닝이란 뭘까?]. 이번 포스팅에서는 Meta Learning의 Background에 대해서 살펴보겠습니다. 포스팅의 내용은 Meta Learning in Neural Networks: Survey 논문의 내용을 토대로 작성되었습니다. 메타러닝은 두 단계의 Learning으로 이루어집니다. 먼저 base learning 은 inner learning algorithm을 이용해서 dataset과 objective로 이루어진 Task에 대한 학습을 진행합니다. 예를 들어서, MNIST의 Categorical data에 대한 학습을 진행한다면, algorithm=(Adam Optimizer, 2 Linear Layer), datase.. 더보기 [Meta-Learning] 1. 메타, 메타러닝이란 뭘까? 메타, 메타러닝이란 뭘까? What is Meta? 메타 라는 용어는 한 단계 더 위에 있는 것을 가리킬 때 사용됩니다. 대표적인 예시로, 데이터에 대한 정보를 나타날 때, 데이터에 대한 데이터인 meta-data가 있고, 생각을 잘하고 있는지 생각한다면, 메타인지라고 부르게 됩니다. Meta-Learning? 머신러닝 분야를 공부하다보면 메타러닝이라는 말이 자주 등장합니다. 아마도 대부분의 사람들은 학습하는 방법을 학습한다는 표현은 많이 들어봤을 거에요. 메타의 뜻에 의하면, 메타러닝이랑 러닝에 대해서 한 단계 더 위에 있는 것을 가리킵니다. 여기서 나타나는 학습을 두 단계로 나눠서, 두 단계의 학습에 대해서 알아보겠습니다. 첫 번째 학습 모델이 학습이라는 것은 주어진 데이터로부터 패턴이나 특징을 찾고.. 더보기 이전 1 다음
