Gradient Boosting Classifier의 첫번째 트리를 제거하면 무슨 일이 발생하는가?

Gradient Boosting 🚀

Tree Based Models

 Gradient Boosted Tree는 하나의 트리에 대해서 학습하고 오분류가 일어난 부분을 집중적으로 학습함으로써 예측율을 높이는 방식을 사용합니다. 그래서 Gradient Boosted Tree의 하이퍼파라미터 중에는 n_estimator : 트리의 개수가 있습니다. 예를 들어서 n_estimator가 5000이라면 5000개의 트리에 대해서 순차적인 분류를 진행하게 됩니다. 

 

---

Number of Trees 🌲

만일 충분한 수의 트리를 찾았다면 트리가 더 많다고 해서 예측이 더 잘 일어나지 않으며, 예측 성능을 더욱 향상시키지 않습니다. Random Forest가 병렬적으로 트리를 사용하는 것과 다르게 Gradient Boosting Tree는 순차적으로 계산이 일어납니다. 따라서 트리의 순서와 성능의 관계를 파악해 보겠습니다. 

n_trees : 800 이후로는 성능이 향상하지 않았다

 

여기서는 실험 결과만 올려두겠습니다. 

실험 소스코드는 깃허브에서 확인할 수 있습니다. 

(1) Logloss using all trees: 0.0003138062408693649
(2) Logloss using all trees but last: 0.0003138062408693649
(3) Logloss using all trees but first: 0.00032031490565337053

Logloss는 값이 낮을수록 좋습니다. 

전체트리를 사용한 경우(1)와 마지막 트리를 제거한 경우(2)의 성능차이는 없습니다. 

전체트리를 사용한 경우(1)와 첫번째 트리를 제거한 경우(3)의 성능차이는 눈으로 확인 가능한 정도 입니다. 

 

# With higher learning rate
Logloss using all trees: 3.0493086180356206e-06
Logloss using all trees but last: 3.054629157905757e-06
Logloss using all trees but first: 2.097409130044673

만일 학습율을 높이게 된다면 성능차이는 눈으로 확인 가능한 수준입니다.

---

Conclusion

 

Decision Tree는 단 하나의 트리만 사용합니다. 

Random Forest는 병렬로 트리를 사용하므로 각각의 트리의 중요성은 동일합니다. 

Gradient Boosted Tree는 순차적으로 학습이 일어나며 앞쪽의 트리가 예측에 있어서 중요합니다. 

 

 

---

Ref.

https://www.coursera.org/learn/competitive-data-science/