pre-training과 fine-tuning 그리고 전이 학습
·
AI
전이학습이란 전이학습은 특정 분야에서 학습된 신경망의 일부 능력을 유사하거나 새로운 분야에서 사용하는 신경망의 학습에 이용하는 방법이다. 이미 잘 훈련된 모델을(학습된 신경망) pretrained model이라고 부르며 대표적으로 ImageNet, ResNet, VGGNet 등이 있다. 대규모의 데이터셋으로 잘 훈련된 pretrained model들을 사용자가 원하는 task(downstream task)에 맞게 모델의 가중치를 약간씩 변화하여 사용한다. 앞서 만든 모델로 호랑이, 표범을 구분시키게 하기 위해 새로운 데이터셋 (x,y)로 다시 학습시킴. Pre-training 밑바닥부터 만들었고 이미 학습이 완료되어 output이 도출이 가능한 이 모델을 pre-trained model이라고 부른다. M..