딥러닝 - 콜백을 이용하여 가장 좋은 모델과 로그 저장하기

이번 포스팅은 콜백을 이용하여 모델/로그를 저장하는 것을 중점으로 작성하였습니다. 딥러닝의 모델링 부분은 포함하지 않습니다. 모델/로그 저장 할 디렉토리 만들기 # 파이썬으로 디렉토리를 만드는 코드 작성 PROJECT_PATH = '.' # 기본 경로 설정, 현재 위치 model_type='mobilenetv2' # 사용중인 모델 # 모델과 로그기록 저장 경로 설정 # CHECKPOINT_PATH: ./checkpoints/mobilenetv2/mobilenetv2.h5 CHECKPOINT_PATH = PROJECT_PATH+'/checkpoints/'+model_type+'/'+model_type+'.h5' # LOGFILE_PATH: ./log/mobilenetv2/mobilenetv2-trainin..

• format_list_bulleted AI & ML/Machine Learning (Python)
• · 2022. 6. 19.
• textsms

Tensorflow - Transfer Learning(전이학습)을 이용하여 딥러닝하기

Transfer Learning (전이 학습) 하나의 문제를 해결하고 새로운 유사한 문제에 적용하면서 얻은 지식을 저장하는데 초점을 맞춘 것 예시) 자동차를 인식하는 하는 법을 학습하면서 학습을 토대로 트럭을 인식하려고 할 때 적용 인공지능에서의 전이 학습은 사전학습모델(Pre-trained Model)을 이용하는 것을 의미 개념 알기 : https://luvris2.tistory.com/176 데이터 준비 이미지 데이터셋 다운로드 !wget --no-check-certificate \ https://storage.googleapis.com/mledu-datasets/cats_and_dogs_filtered.zip \ -O ./cats_and_dogs_filtered.zip 다운로드 파일 압축 해제 압축..

• format_list_bulleted AI & ML/Machine Learning (Python)
• · 2022. 6. 16.
• textsms

딥러닝 - Transfer Learning(전이학습), Fine Tuning(미세조정)

Transfer Learning (전이 학습) 개념 하나의 문제를 해결하고 새로운 유사한 문제에 적용하면서 얻은 지식을 저장하는데 초점을 맞춘 것 예시) 자동차를 인식하는 하는 법을 학습하면서 학습을 토대로 트럭을 인식하려고 할 때 적용 인공지능에서의 전이 학습은 사전학습모델(Pre-trained Model)을 이용하는 것을 의미 특징을 추출할 레이어(pretrained model)와 데이터를 분류 할 레이어로 사용 전체 학습과 부분 학습으로 사용 가능 Frozon Layer와 Trainable Layer 존재 두 레이어를 이용하여 학습의 범위를 설정 가능 부분 학습 : 참조하여 만든 모델(Base Model)은 학습하지 않게 설정 (trainable=False) 전체 학습 : 참조하여 만든 모델(Bas..

• format_list_bulleted AI & ML/Machine Learning (Python)
• · 2022. 6. 16.
• textsms

파일을 train/test로 디렉토리를 나눠서 저장하는 방법

해당 포스팅은 구글 코랩(Colab)을 기준으로 작성하였습니다. 데이터 파일 데이터 파일 다운로드 후 압축해제 # /tmp 경로에 압축파일을 다운로드 받고 압축 푼다. !wget --no-check-certificate \ "https://block-edu-test.s3.ap-northeast-2.amazonaws.com/kagglecatsanddogs_5340.zip" \ -O "/tmp/cats-and-dogs.zip" import zipfile local_zip = '/tmp/cats-and-dogs.zip' zip_ref = zipfile.ZipFile(local_zip, 'r') zip_ref.extractall('/tmp') zip_ref.close() 파일을 분리하고 저장 할 디렉토리 생성 ..

• format_list_bulleted AI & ML/Machine Learning (Python)
• · 2022. 6. 15.
• textsms

Tensorflow - ImageDataGenerator (전처리와 이미지 데이터 증강)

ImageDataGenerator 인공지능은 배열의 형태로 학습 가능하다. 하지만 파일이 이미지로 구성되어있을 경우, 이미지 파일을 배열의 형태로 변환해주어야 한다. 이를 변환해주는 라이브러리가 ImageDataGenerator이다. 라이브러리 호출 from tensorflow.keras.preprocessing.image import ImageDataGenerator 이미지 전처리 (Image Preprocessing) ImageDataGenerator(rescale=1/255.0) : 이미지를 0~255의 값으로 정규화된 배열로 변환 rescale : 크기 재조절 인수, 디폴트값은 None, None/0의 경우 크기 재조절 적용X, 데이터를 주어진 값으로 곱함 인공지능 학습용과 검증용으로 두 개의 변..

• format_list_bulleted AI & ML/Machine Learning (Python)
• · 2022. 6. 15.
• textsms

딥러닝 - 합성곱신경망(Convolution Neural Network, CNN)

합성곱 신경망 Convolution Neural Network (CNN) 시각적인 영상을 분석하는데 사용되는 다층의 순전파(Feedforward)적인 인공신경망의 한 종류 필터링 기법을 인공신경망에 적용(Convolution 작업)하여 이미지를 효과적으로 처리 할 수 있는 심층신경망 기법 행렬로 표현된 필터의 각 요소가 데이터 처리에 적합하도록 자동으로 학습되는 과정을 통해 이미지를 분류하는 기법 심층신경망(DNN), 합성곱신경망(CNN)의 차이 심층 신경망 (DNN) 1차원의 데이터로 학습 다차원일 경우 flatten 작업을 통해 1차원으로 변경, 이미지의 경우 공간적/지역적 정보가 손실 추상화 과정 없이 바로 연산 과정으로 넘어가기 때문에 학습 시간과 효율성이 저하 합성곱 신경망 (CNN) 그대로의 ..

• format_list_bulleted AI & ML/Machine Learning (Python)
• · 2022. 6. 14.
• textsms