tradeoff 썸네일형 리스트형 [Bias 3/3] Bias-Variance Trade-off 란 무엇인가? Bias-Variance Trade-off 란 무엇인가? Machine Learning Bias 란 파라미터 추정 $\hat\theta$의 평균 $\mathbb{E}[\hat\theta]$ 값이 실제파라미터 $\theta$와 발생하는 차이를 나타냅니다. 따라서 Bias 가 크다면 실제 파라미터와 차이가 크다고 이해할 수 있습니다. Bias-Variacne Trade-off를 한 줄로 설명하면, 파라미터 추정 $\hat\theta$들 간의 차이가 클수록, 값들이 멀리 퍼져있는 대신에 그 평균이 실제 파라미터와 비슷해진다는 것 입니다. 이전 포스팅의 예제처럼 남성의 키를 예시로 들어보겠습니다. 실제 평균이 174.21인데, 추정을 Variance가 높게 $173, 174, 170, 178, 176, \cdo.. 더보기 [Bias 2/3] Biased Estimator, Unbiased Estimator란 무엇인가? Biased Estimator and Unbiased Estimator Bias [1]는 추정된 파라미터가 실제 파라미터와 다른 정도를 나타내는 스칼라 값입니다. 모델의 파라미터 $\theta$를 추정했을 때, Bias 의 값이 크다면, 추정된 파라미터가 실제 파라미터와는 상당이 멀리 떨어져있음을 나타냅니다. 그렇다면 Bias 값이 작은 경우가 실제 파라미터와 값이 비슷할 것이고 대체적으로 Bias값이 0인 경우가 좋습니다. [2] Bias 가 낮은 게 좋을 수도 있고, 높은 게 좋을 수도 있다. Bias 는 무조건 낮은 게 좋은 것 같은데, 컷을 때 좋은 점이 있다는 게 잘 믿기지 않습니다. 여기에 한 가지 연결고리가 필요합니다. Bias의 정의를 다시 살펴보겠습니다. $$ E(\hat\theta) =.. 더보기 [Bias 1/3] Machine Learning에서 Bias란 무엇인가? Bias [1]는 Machine Learning에서 필수적인 개념 중 하나 입니다. Bias 는 어느 한쪽으로 치우쳐 있다는 상태를 나타내는 편향이라는 단어를 뜻합니다. 용어가 일상에서 사용될 때는 주로 생각이 치우쳐 있는 것을 나타내는데, Machine Learning에서는 어떤 게 치우쳐 있다는 것을 나타내는 것일까요? 이 포스팅에서는 머신러닝에서 치우쳐있는 편향에 대해서 알아보겠습니다. Machine Learning의 목적 머신러닝은 데이터로부터 패턴을 익히고 관찰하지 못한 새로운 데이터에 대해서 예측하기 위한 모델을 훈련합니다. MNIST, Titanic과 같은 데이터셋은 각각 CNN, XGBoost와 같은 모델로 훈련하고 새로운 문자그림과 승객의 정보가 주어졌을 때, 훈련된 모델로 예측합니다. .. 더보기 이전 1 다음
