인공지능 - 일반화/과대적합/과소적합 개념, 과대적합 줄이기(Dropout)

Generalization(일반화) 모델이 처음 보는 데이터에 대해 정확하게 예측 할 수 있으면 이를 훈련 세트에서 테스트 세트로 일반화 되었다고 함 Overfitting(과대적합) 너무 많은 데이터를 학습하여 학습한 결과가 학습에 사용된 데이터와 거의 일치하여 새로운 데이터가 들어왔을 때 예측이 틀려버리는 상태 Underfitting(과소적합) 학습의 데이터가 적어서 학습 데이터도 일치하지 않고 새로운 데이터가 들어왔을 때 예측도 틀려버리는 상태 Dropout 딥러닝 학습에 있어서의 문제중 하나인 Overfitting을 해소하기 위한 방법 hidden layer의 일부 유닛이 동작하지 않게 하여 overfitting 되는 것을 막는 방법 인공지능 모델링시 계층(레이어) 설정에서 정의 0.2 : 20% ..

• format_list_bulleted AI & ML/Machine Learning (Python)
• · 2022. 6. 13.
• textsms

tensorflow - 분류 문제에서 활성 함수와 손실 함수 설정

분류 문제에서의 활성함수 (Activation Function) Sigmoid 2개의 분류 문제를 다룰 때 쓰는 활성 함수 알려지지 않는 파라미터를 데이터로부터 추정해 0과 1로 분류하는 것 Softmax 3개 이상의 분류 문제를 다룰 때 쓰는 활성 함수 데이터를 0~1사이의 값으로 정규화하여 출력되는 값들의 총 합이 1이 되는 함수 분류 문제에서의 손실함수(Loss Function) binary_crossentropy 2개의 분류 문제를 다룰 때 쓰는 손실 함수 categorical_crossentropy 3개 이상의 분류 문제를 다룰 때 쓰는 손실 함수 원핫 인코딩되어 있는 카테고리컬 데이터에 적용 sparse_categorical_crossentropy 3개 이상의 분류 문제를 다룰 때 쓰는 손실 ..

• format_list_bulleted AI & ML/Machine Learning (Python)
• · 2022. 6. 13.
• textsms

Tensorflow - Fashion MNIST

Fashion MNIST MNIST 손으로 쓴 숫자들로 이루어진 대형 데이터베이스 다양한 화상 처리 시스템을 트레이닝하기 위해 일반적으로 사용되는 데이터베이스 Fashion MNIST MNIST가 무엇인지 이해하면 이제 Fashion MNIST도 이해가 쉬울 것이다. 즉, 의류에 대한 데이터베이스를 인공지능이 학습하여 의류를 구분 할 수 있게 하는 라이브러리 예시에 사용 될 데이터프레임 fashion_mnist 데이터 : tf.keras datasets API에 포함(자체적 제공) 10개로 분류된 의류 이미지를 분류하는 인공지능 모델 만들기 데이터프레임 호출 데이터셋은 텐서플로우 라이브러리 자체에 포함 tf.keras.datasets으로 호출 학습/검증을 위한 이미지와 레이블 각각 2개씩 총 4개의 데이..

• format_list_bulleted AI & ML/Machine Learning (Python)
• · 2022. 6. 13.
• textsms

Tensorflow - EarlyStopping/Callback클래스 (인공지능 학습 중단)

EarlyStopping 인공지능 학습시 성능 향상이 없을 경우 학습을 조기 종료 시킬 때 사용 tf.keras.callbacks.EarlyStopping(monitor= 'val_loss', patience= N) monitor='val_loss' : validation 검증 손실률의 값 모니터링 patience= N : N번의 횟수 동안, 에포크당 1회 즉 N번의 횟수동안 손실률의 값을 모니터링하여 손실률이 줄어들지 않을 경우 학습을 조기 종료 early_stop = tf.keras.callbacks.EarlyStopping(monitor = 'val_loss', patience=10) 인공지능 학습 시 EarlyStopping 라이브러리 적용 방법 model.fit(X_train, y_train, ..

• format_list_bulleted AI & ML/Machine Learning (Python)
• · 2022. 6. 13.
• textsms

Tensorflow - validation/evaluation(검증과 평가), validation_data, validation_split, evaluate

Validation (검증) 학습 과정에서 검증에 관여, 즉 에포크가 끝날 때마다 검증 학습되지 않은 데이터에 검증을 통한 오차/손실률을 표현 학습 과정에서 관여되므로 모델을 학습 시킬 때 사용 validation_split 학습시 test 데이터셋에서 지정한 수치만큼 검증용 데이터 분리 검증에 사용된 데이터는 학습하지 않음 예시 : train 75%, test 25%, validation_split = 0.2 test 25%에서 test80%, validation 20% 소스 코드 model.fit(validation_split= N ) : N * 100 퍼센트만큼 데이터를 검증에 사용 model은 임의의 인공지능 모델을 지칭하는 변수 이름 # validation_split : 0.2 -> 학습 데이터..

• format_list_bulleted AI & ML/Machine Learning (Python)
• · 2022. 6. 13.
• textsms

Tensorflow - learning rate(학습률)

Learning Rate(학습률) 딥러닝을 할 때 학습률은 적당한 값을 넣어주는 것이 가장 중요, 학습률에 따라 인공지능 성능 좌우 일반적으로 Learning Rate의 값을 0.01로 설정, 필요에 따라 조금씩 조정 학습률 값을 너무 크게 설정 할 경우 지그재그의 방향으로 이상하게 학습하는 오버슈팅(Overshooting) 문제 발생 학습률 값을 너무 적게 설정 할 경우 학습 단계가 너무 많이 필요, 하이퍼 파라미터를 찾는 과정에서 국소 최저치(Local Minima) 현상 발생 국소 최저치(Local Minima) 경사 하강법(gradient descent)을 시도할 때 최적의 해인 전역 최저치(global minima)가 아닌 학습 데이터의 특성으로 인해 국소적으로 낮은 값이 부분적 해(partia..

• format_list_bulleted AI & ML/Machine Learning (Python)
• · 2022. 6. 13.
• textsms