모델 썸네일형 리스트형 Overfitting을 해결하는 방법 3가지 머신러닝은 학습 데이터로부터 배우고 테스트 데이터에 대해서 예측하는 것을 목표로 합니다. Overfitting은 학습 데이터의 성능은 높지만, 테스트 데이터에 대해서 성능이 나오지 않는 경우를 말합니다. Overfitting을 해결하는 방법은 대표적으로 3가지가 있습니다. 데이터의 수를 늘린다. 모델의 Complexity를 줄인다. Regularization을 사용한다. 편의상 모델의 파라미터에 대한 복잡도를 M, 데이터에 대한 복잡도를 D라고 하겠습니다. Overfitting은 M>D 인 경우에, 학습이 경과됨에 따라서 학습데이터를 모두 학습한 상태를 말합니다. (모델의 복잡도가 충분하므로 데이터를 모두 학습할 수 있습니다.) 문제는 완료된 학습이 데이터에 대한 패턴을 배우는 것이 아니라 데이터를 기억.. 더보기 Machine Learning에서 Overfitting과 Underfitting은 뭘까..? 머신러닝이 하는 일은 크게 두 가지로 구분될 수 있습니다. 학습: 데이터로부터 모델을 학습시킨다. 추론: 학습된 모델로 새로운 데이터에 대하여 예측한다. 모델에는 학습과 추론이라는 두 가지 행동이 있습니다. 학습은 Train Data로부터 데이터의 패턴을 배우는 것으로 학습을 진행하면서 데이터에 대한 Loss를 줄이게 됩니다. 일반적으로 학습이 제대로 이루어 진다면 다음과 같은 Loss Graph가 그려집니다. 그런데 학습을 하다보면 Loss가 0에 가까이 떨어지지만, 0까지 떨어지지 않는 경우도 볼 수 있습니다. 이는 모델의 학습방법 및 구조와 관련되어 있습니다. -> Loss 가 0 근처에서 더이상 떨어지지 않는 것은 모델의 사이즈 보다 데이터의 정보가 크기 때문입니다. 모든 데이터를 커버할 수 없는.. 더보기 다중공선성은 모델에 어떤 영향을 미치는가? 다중공선성 (Multicolinearity) 데이터를 다루다 보면 특징에 대해서 서로 관계성이 있는 경우가 많이 있습니다. 회귀분석의 4가지 가정(선형, 독립, 등분산, 정규) 중에서 Feature들 간에 독립성을 만족시켜야 하는데, 실제 데이터는 그렇지 못한 경우가 많습니다. 머신러닝 모델을 만들면서 이러한 다중공선성이 모델에 어떤 영향을 미치는지 파악하는 것은 특징(Feature)를 전처리하고 다루는데 중요하기에 포스트에서 이에 대해서 다루고자 합니다. Def. 다중공선성 통계학의 회귀분석에서 독립변수들 간에 강한 상관관계가 나타나는 문제 Def. 완전공선성 독립변수들간에 정확한 선형관계가 존재하는 현상 이러한 공선성은 회귀분석의 가정을 위반하기 떄문에, 회귀분석을 위해서는 다중공선성이 있는 변수에 .. 더보기 [CNN] LeNet-5 CNN 모델 구조 LeNet은 1998년 Yann LeCun,Leon Bottou,Yoshua Bengio, andPatrick Haffner 의 논문 “Gradient-Based Learning Applied To Document Recognition”에서 소개되었습니다. 구성 요소 LeNet-5 CNN Architecture는 7개의 층으로 이루어져있습니다. 3개의 Convolution layer 2개의 Subsampling layer 2개의 Fully Connected layer 모델 구조 LeNet-5 CNN의 모델 구조는 다음과 같습니다. Layer Layer Type Feature Maps Kernel (Filter) Input size Trainable param Activation Input image - .. 더보기 이전 1 다음
