딥러닝 - Transfer Learning(전이학습), Fine Tuning(미세조정)

Transfer Learning (전이 학습)

개념

• 하나의 문제를 해결하고 새로운 유사한 문제에 적용하면서 얻은 지식을 저장하는데 초점을 맞춘 것
  • 예시) 자동차를 인식하는 하는 법을 학습하면서 학습을 토대로 트럭을 인식하려고 할 때 적용
• 인공지능에서의 전이 학습은 사전학습모델(Pre-trained Model)을 이용하는 것을 의미
• 특징을 추출할 레이어(pretrained model)와 데이터를 분류 할 레이어로 사용

---

전체 학습과 부분 학습으로 사용 가능

• Frozon Layer와 Trainable Layer 존재
• 두 레이어를 이용하여 학습의 범위를 설정 가능
  • 부분 학습 : 참조하여 만든 모델(Base Model)은 학습하지 않게 설정 (trainable=False)
  • 전체 학습 : 참조하여 만든 모델(Base Mode)도 새로운 데이터를 같이 학습

< 부분학습, Frozen Layer를 동결>

 

< 전체학습, trainable=True >

---

Fine Tuning (미세 조정)

• 전이 학습 단계에서 모델의 동결을 해제하고 새로운 데이터에 대한 재훈련을 하는 것
• 사전 훈련된 특성을 새로운 데이터에 점진적으로 적용함으로써 의미있는 개선을 달성 할 수 있음
• 기존에 학습이 된 상태에서 수행하는 방법
  • 즉, 성능 향상을 위한 Fully Connected Layer만 재설계하는 작업
  • 가중치를 미세하게 조정하여 학습

---

사전학습모델(Pre-trained Model) 사용 절차

사용 할 사전학습모델 - MobileNetV2

• 모바일이나 임베디드에서도 실시간 작동이 가능하도록 경량화 된 모델
• 정확도를 많이 떨어지지 않게 하여 속도와 정확도 사이의 문제를 어느정도 해결한 네트워크

 

1. MobileNetV2 기반 모델 생성 (Input Layer)
2. 분류 작업을 할 모델 생성 후 모델링 (Output Layer (=Fully-connected Layer))
3. Input 모델과 Output모델 병합
4. 학습 기준에 맞는 모델 컴파일
5. 모델 학습