딥러닝/머신러닝(ML) 썸네일형 리스트형 Machine Learning에서 Overfitting과 Underfitting은 뭘까..? 머신러닝이 하는 일은 크게 두 가지로 구분될 수 있습니다. 학습: 데이터로부터 모델을 학습시킨다. 추론: 학습된 모델로 새로운 데이터에 대하여 예측한다. 모델에는 학습과 추론이라는 두 가지 행동이 있습니다. 학습은 Train Data로부터 데이터의 패턴을 배우는 것으로 학습을 진행하면서 데이터에 대한 Loss를 줄이게 됩니다. 일반적으로 학습이 제대로 이루어 진다면 다음과 같은 Loss Graph가 그려집니다. 그런데 학습을 하다보면 Loss가 0에 가까이 떨어지지만, 0까지 떨어지지 않는 경우도 볼 수 있습니다. 이는 모델의 학습방법 및 구조와 관련되어 있습니다. -> Loss 가 0 근처에서 더이상 떨어지지 않는 것은 모델의 사이즈 보다 데이터의 정보가 크기 때문입니다. 모든 데이터를 커버할 수 없는.. 더보기 [Essay] Deep learning으로 조합 문제를 풀 수 있을까? - Neural Combinatorial Optimization 소개글 축구 리그 시즌에 감독은 로테이션을 돌려서 선수들을 경기에 내보내야 합니다. 많은 후보 선수들 중에서 어떤 선수를 내보낼지 결정하는 것은 그 선수가 가진 능력뿐만 아니라 상대팀에 대한 분석, 경기 일정 등 다양한 조건들이 추가됩니다. 예를 들어, 이틀 연속으로 경기가 있다면 한 선수를 90분 풀타임, 2경기 모두 출전시키는 것은 좋지 않은 선택이겠죠. 이러한 선택의 순간은 일상에서도 다양하게 존재하며 사람들은 최대한 괜찮은 선택을 하고자 합니다. 축구 경기보다 조금더 일상적인 문제로 접근해보겠습니다. 서울역에서 출발해서, [여수, 부산, 울산, 속초, 강릉, 대구, 대전]을 한 번씩 들리고 다시 서울로 돌아오는 경로를 짜고자 한다면, 어떻게 짜는 게 가장 최단거리일까요? 이 문제를 풀기 위해서 두.. 더보기 [Bias 3/3] Bias-Variance Trade-off 란 무엇인가? Bias-Variance Trade-off 란 무엇인가? Machine Learning Bias 란 파라미터 추정 ˆθ의 평균 E[ˆθ] 값이 실제파라미터 θ와 발생하는 차이를 나타냅니다. 따라서 Bias 가 크다면 실제 파라미터와 차이가 크다고 이해할 수 있습니다. Bias-Variacne Trade-off를 한 줄로 설명하면, 파라미터 추정 ˆθ들 간의 차이가 클수록, 값들이 멀리 퍼져있는 대신에 그 평균이 실제 파라미터와 비슷해진다는 것 입니다. 이전 포스팅의 예제처럼 남성의 키를 예시로 들어보겠습니다. 실제 평균이 174.21인데, 추정을 Variance가 높게 $173, 174, 170, 178, 176, \cdo.. 더보기 [Bias 2/3] Biased Estimator, Unbiased Estimator란 무엇인가? Biased Estimator and Unbiased Estimator Bias [1]는 추정된 파라미터가 실제 파라미터와 다른 정도를 나타내는 스칼라 값입니다. 모델의 파라미터 θ를 추정했을 때, Bias 의 값이 크다면, 추정된 파라미터가 실제 파라미터와는 상당이 멀리 떨어져있음을 나타냅니다. 그렇다면 Bias 값이 작은 경우가 실제 파라미터와 값이 비슷할 것이고 대체적으로 Bias값이 0인 경우가 좋습니다. [2] Bias 가 낮은 게 좋을 수도 있고, 높은 게 좋을 수도 있다. Bias 는 무조건 낮은 게 좋은 것 같은데, 컷을 때 좋은 점이 있다는 게 잘 믿기지 않습니다. 여기에 한 가지 연결고리가 필요합니다. Bias의 정의를 다시 살펴보겠습니다. $$ E(\hat\theta) =.. 더보기 [Bias 1/3] Machine Learning에서 Bias란 무엇인가? Bias [1]는 Machine Learning에서 필수적인 개념 중 하나 입니다. Bias 는 어느 한쪽으로 치우쳐 있다는 상태를 나타내는 편향이라는 단어를 뜻합니다. 용어가 일상에서 사용될 때는 주로 생각이 치우쳐 있는 것을 나타내는데, Machine Learning에서는 어떤 게 치우쳐 있다는 것을 나타내는 것일까요? 이 포스팅에서는 머신러닝에서 치우쳐있는 편향에 대해서 알아보겠습니다. Machine Learning의 목적 머신러닝은 데이터로부터 패턴을 익히고 관찰하지 못한 새로운 데이터에 대해서 예측하기 위한 모델을 훈련합니다. MNIST, Titanic과 같은 데이터셋은 각각 CNN, XGBoost와 같은 모델로 훈련하고 새로운 문자그림과 승객의 정보가 주어졌을 때, 훈련된 모델로 예측합니다. .. 더보기 이전 1 2 다음
