딥러닝 분석의 개념
인공신경망(ANN)
- 기계학습과 인지과학에서 생물학의 신경망을 통해 영감을 얻은 통계학적 학습 알고리즘
- 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)이 학습을 통해 시냅스의 결합 세기를 변화시켜 문제 해결 능력을 가지는 모델을 지칭
인공신경망의 문제점
- 계산속도의 저하 : 1980년대 컴퓨터의 연산수준이 해당알고리즘 수행의 최적수준까지 발달하지 못함
- 초기치의 의존성 : 최초 시작점의 선택에 따라 수렴, 발산, 진동 등 다양한 형태로 결과가 바뀌는 문제 발생
- 과적합 문제 : 트레이닝 셋에만 최적화되어 실제 테스트와 예상 결과의 괴리 발생
2023.03.18 - [이론/빅데이터 분석 기사] - 빅데이터 모델링 - 분석기법 - 인공신경망(ANN)
2022.06.09 - [Programming/Machine Learning (Python)] - 인공신경망과 딥러닝의 기초, 개념
딥러닝(Deep Learning)
- 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화를 시도하는 기계학습 알고리즘의 집합
- 추상화 : 다량의 데이터나 복잡한 자료들 속에서 핵심적인 내용 또는 기능을 요약하는 작업
- 큰 틀에서 사람의 사고방식을 컴퓨터에게 가르치는 기계학습의 한 분야
- 인공신경망의 단점(계산속도 저하, 과적합 문제) 등이 극복되면서 재조명되고 부각된 기계학습
딥러닝의 원리
- 기존 : 하나의 은닉층에 은닉노드를 동일 레이어 내 수직으로 여러 개 구성
- 딥러닝 : 은닉층 자체를 여러 개로 만들어 여러 단계를 거치도록 신경망 구성
- 정확도 향상
- 노드
- 신경계 뉴런
- 가중치와 입력값으로 활성함수를 통해 다음 노드로 전달
- 가중치
- 신경계 시냅스
- 노드와의 연결계수
- 활성함수
- 임계값을 이용
- 노드의 활성화 여부 결정
- 생물학적 뉴런에서 입력 신호가 일정 크기 이상일 때만 신호를 전달하는 메커니즘을 모방한 함수
- 시그모이드(sigmoid), 탄젠트 쌍곡선함수(tanh), 정류선형유닛함수(ReLU) 등 사용
딥러닝 분석 알고리즘
심층 신경망(DNN)
- 입력층과 출력층 사이에 여러 개의 은닉층들로 이뤄진 인공 신경망
- 일반적인 인공신경망과 마찬가지로 복잡한 비선형 관계 모델링 가능
- 예) 물체 식별 모델을 위한 심층 신경망 구조에서는 각 물체가 영상의 기본적 요소들의 계층적 구성으로 표현
2022.06.09 - [Programming/Machine Learning (Python)] - 딥러닝 - 심층신경망(Deep Neural Network, DNN)
합성곱 신경망(CNN)
- 최소한의 전처리를 사용하도록 설계된 다계층 퍼셉트론의 한 종류
- 하나 또는 여러 개의 합성곱 계층과 그 위에 올려진 일반적인 인공 신경망 계층들로 구성
- 가중치와 통합(pooling layer) 계층들을 추가로 활용
- 이러한 구조 덕분에 2차원 구조의 입력 데이터 충분히 활용 가능
- 즉, 영상, 음성 분야에서 좋은 성능을 보여줌
- 오차 역전파(Back Propagation)를 통해 훈련
- 다른 순방향(feed forward) 인공신경망 기법들보다 쉽게 훈련되는 편이며 적은 수의 매개변수를 사용
- 파생 알고리즘 : 합성곱 심층 신뢰 신경망(CDBN, Convolutional Deep Belief Network)
- CNN과 심층 신뢰 신경망(DBN, Deep Belief Network)의 결합으로 만들어진 알고리즘
- 영상과 신호처리분야에서 주로 사용
2022.06.14 - [Programming/Machine Learning (Python)] - 딥러닝 - 합성곱신경망(Convolution Neural Network, CNN)
순환 신경망(RNN)
- 인공신경망을 구성하는 유닛 사이의 연결이 순환적 구조를 갖는 신경망을 의미
- 임의의 입력을 처리하기 위해 신경망 내부의 메모리 활용
- 필기체 인식과 같은 분야에 활용, 높은 인식률을 나타냄
- 시퀀스 데이터를 모델링하기 위해 등장, 사람이 시퀀스를 처리하는 방식과 비슷
- 내부 메모리를 활용하여 네트워크의 메모리를 지금까지의 입력 데이터의 요약 정보로 표현
- 새로운 입력이 들어올 때마다 네트워크는 자신의 메모리를 조금씩 수정
- 결국 입력을 모두 처리하고 난 후 네트워크에 남겨진 메모리는 시퀀스 전체를 요약하는 정보가 됨
- 파생 알고리즘 : 완전 순환망(Fully Recurrent Network), LSTM 등
2023.03.18 - [이론/빅데이터 분석 기사] - 빅데이터 모델링 - 분석기법 - 인공신경망(ANN)
심층 신뢰 신경망(DBN)
- 기계학습에서 사용되는 그래프 생성 모델(generative graphical model)
- 딥러닝에서는 잠재변수(latent variable)의 다중계층으로 이루어진 심층 신경망을 의미
- 심층 신뢰 신경망(Deep Belief Network)의 특징
- 계층 간에 연결이 있지만 계층 내 유닛 간에는 연결 없음
- 선행학습을 통해 초기 가중치를 학습한 후 역전파 혹은 다른 판별 알고리즘을 통해 가중치 미조정
- 훈련용 데이터가 적을 때 굉장히 유용
- 가중치의 초기값이 결과적인 모델에 끼치는 영향이 세지기 때문
- 선행학습된 가중치 초기값은 임의로 설정된 가중치 초기값에 비해 최적의 가중치에 가깝게 됨
- 즉, 미조정 단계의 성능과 속도향상