training vision transformer with cifar 10 썸네일형 리스트형 Vision Transformer로 CIFAR 10 학습하기 ✍🏻 EXP Vision Transformer로 CIFAR 10 학습하기 [Korean] ViT 결론 (TL;DR) 🔖 MNIST 는 학습이 아주 쉽다. 🔖 CIFAR 10 을 CrossEntropy로 Scratch 학습은 어렵다. 🔖 Pretrain 된 모델을 사용하면 1 epoch 만에 높은 성능을 보인다. 이 실험을 진행하기 전에 모델에 대해서 한 가지 믿음이 있었다. 학습데이터에 대해서 Loss를 줄이는 것은 Validation Loss를 어느정도 줄인다. " Decreasing training loss ensures large portion of validation" 그러나 그렇지 않은 모델이 있음을 알게 되었다. ✍🏻Post Structure 1. ViT 설명 2. MNIST 학습 3. CIF.. 더보기 이전 1 다음
