빅데이터 모델링 - 분석기법 - 군집분석

군집분석 정의 비지도학습의 일종 주어진 각 개체들의 유사성을 분석해서 높은 대상끼리 일반화된 그룹으로 분류하는 기법 군집에 속한 개체들의 유사성과 서로 다른 그룹간의 상이성을 분류 규칙 내지 결과 없이 주어진 데이터들을 가장 잘 설명하는 그룹 또는 클러스터를 찾을 수 있는 방법 군집분석 활용 분야 컴퓨터 : 인터넷 사기/스팸 패턴 발견, 보안, 클러스터 구성 생물학 : 생물체 분류 연구 천문학 : 천체 데이터 분석 도시계획 : 주거 그룹 판별 조사 환경 : 지구 환경, 기상/해양 변화 조사 금융 : 주식 군집 분석(관계 분석) 마케팅 : 고객분석, 시장세분화 기타 : 소셜 네트워크 분석, 이미지 분할 등 군집분석 기본 가정 하나의 군집 내에 속한 개체들의 특성은 동일함 군집의 개수 또는 구조와 관계없이 ..

• format_list_bulleted 이론/빅데이터 분석
• · 2023. 3. 19.
• textsms

빅데이터 모델링 - 분석기법 - 연관성분석(Association Rule Learning)

연관성분석 개요 둘 이상의 거래, 사건에 포함된 항목들의 관련성을 파악하는 탐색적 데이터 분석 유사한 개들을 그룹화하여 각 집단의 특성 파악에 활용 사건의 연관규칙을 찾는 기법으로 목표변수가 없는 비지도 학습 컨텐츠 기반 추천(Contents-based Recommendation)의 기본 방법론 그룹에 대한 특성 분석으로 군집분석과 병행 가능하며 장바구니 분석으로도 불림 연관규칙(Assocication Rule) 순서 데이터 간 규칙 생성 if 조건절(Antecedent) > 결과절(Consequent) 어떤 규칙이 데이터 특성에 부합되는지 기준 설정 지지도(supprt) 데이터 전체에서 해당 물건을 고객이 구입한 확률 신뢰도(confidence) 어떤 데이터를 구매했을 때 다른 제품이 구매될 조건부 확..

• format_list_bulleted 이론/빅데이터 분석
• · 2023. 3. 18.
• textsms

빅데이터 모델링 - 분석기법 - 서포트벡터머신(SVM)

개요 지도 학습 기법으로 고차원 또는 무한 차원의 공간에서 초평면(의 집합)을 찾아 이를 이용하여 분류와 회귀 수행 두 카테고리 중 어느 하나에 속한 데이터의 집합이 주어졌을 때, 주어진 데이터 집합을 바탕으로 새로운 데이터가 어느 카테고리에 속할지를 판단하는 비확률적 이진 선형 분류 모델을 만드는 기법 만들어진 분류 모델은 데이터가 사상된 공간에서 경계로 표현, 그 중 가장 큰 폭을 가진 경계를 찾는 알고리즘 비선형 분류에서 사용 시 주어진 데이터를 고차원 특징 공간으로 사상하는 작업 필요, 이를 효율적으로 하기 위해 커널 트릭 사용 커널 트릭 : 선형 분류가 불가능한 데이터에 대한 처리를 위해 데이터의 차원을 증가시켜 하나의 초평면으로 분류할 수 있도록 도와주는 커널 함수를 이용하는 것 주요 요소 벡..

• format_list_bulleted 이론/빅데이터 분석
• · 2023. 3. 18.
• textsms

빅데이터 모델링 - 분석기법 - 인공신경망(ANN)

인공신경망 개요 인간의 두뇌 신경세포인 뉴런을 기본으로 한 기계학습 기법 하나의 뉴런이 다른 뉴런들과 연결되어 신호를 전달, 처리하는 구조 입력데이터가 들어가면서 신호의 강도에 따라 가중치 처리, 활성화함수를 통해 출력 계산 학습을 거쳐 원하는 결과가 나오게끔 가중치 조정 신경망 모델은 높은 복잡성으로 입력 자료 선택에 민감 신경망 모델 구축 시 고려사항 범주형 변수 : 일정 빈도 이상의 값으로 비슷하고 범주가 일정한 구간이어야 함 연속형 변수 : 입력변수 값들의 범위가 큰 차이가 없어 표준화가 가능한 경우 2022.06.09 - [Programming/Machine Learning (Python)] - 인공신경망과 딥러닝의 기초, 개념 인공신경망 발전 기존 신경망 다층 퍼셉트론이 가진 문제 사라지는 경..

• format_list_bulleted 이론/빅데이터 분석
• · 2023. 3. 18.
• textsms

빅데이터 모델링 - 분석기법 - 의사결정나무(Decision Tree, 결정트리)

의사결정나무 정의 나무 모양으로 나타내어 전체 자료를 몇 개의 소집단으로 분류하거나 예측을 수행하는 기법 상위노드로부터 하위노드로 트리구조를 형성 매 단계마다 분류 변수와 분류 기준값의 선택 중요 상위노드에서 분류된 각각의 하위노드는 노드 내 동질성이 커지고, 노드 간에는 이질성이 커지는 방향으로 분류 변수와 기준값 선택 모델의 크기는 과대적합(또는 과소적합)되지 않도록 적절히 조절 예) 시장조사, 광고조사, 품질관리, 타겟 고객 분류, 고객 신용분류, 행동 예측 등 의사결정나무 구성 뿌리 마디(Root Node, 뿌리 노드) 나무가 시작되는 마디 부모가 없는 마디로 대상이 되는 모든 자료집합 포함 중간 마디(Internal Node) 뿌리 마디에서 나온 각 나무줄기 중간에 있는 마디 끝 마디(Termi..

• format_list_bulleted 이론/빅데이터 분석
• · 2023. 3. 18.
• textsms

빅데이터 모델링 - 분석기법 - 회귀분석

회귀분석(Regression) 회귀분석 개요 특정 변수가 다른 변수에 영향을 미치는지를 수학적 모델로 설명, 에측하는 기법 독립변수로 종속변수를 예측하는 기법 독립변수 : 입력값 또는 원인을 설명하는 변수 종속변수 : 결과값 또는 효과를 설명하는 변수 회귀선(회귀계수) : 독리변수가 주어질 때 종속변수의 기댓값으로 일반적으로 최소제곱법 이용 최소제곱법(최소자승법, Method of Least Squares) : 관측값 y와 예측값 y 간 차이의 제곱의 합이 최소가 되게 하는 직선을 찾는 방법 회귀 분석 모형 진단 적합도 검정(Goodness-of-fit Test) 추정된 회귀식이 표본의 실제값을 얼마나 잘 설명하는지에 대해 확인하는 방법 계산식 : 회귀제곱합(SSR) / 총제곱합(SST) 1에 가까울수록..

• format_list_bulleted 이론/빅데이터 분석
• · 2023. 3. 18.
• textsms