빅데이터 모델링 - 분석기법 개요

학습 유형에 따른 데이터 분석 모델 (아래 포스팅에서 학습 유형에 대한 좀 더 많은 정보 확인이 가능합니다.) 2022.05.31 - [Programming/Machine Learning (Python)] - 인공지능 머신러닝의 기초, 개념, 종류 지도 학습(Supervised Learning) 정답이 있는 데이터를 활용해 데이터를 학습시키는 방법 입력값이 주어질 때 정답이 무엇인지 알려주면서 컴퓨터를 학습시키는 방법 대표적으로 분류(Classification)와 회귀(Regression)으로 구분 분류 : 주어진 데이터를 여러 가지 중 하나로 분류하는 것 이진분류 : 두 가지중 하나로 분류 다중 분류 : 여러 가지 중 하나로 분류 예) 의사결정트리, 랜덤 포레스트, 인공신경망, SVM, 로지스틱 회귀분..

• format_list_bulleted 이론/빅데이터 분석
• · 2023. 3. 18.
• textsms

빅데이터 모델링 - 분석 모델 설계 - 분석 환경 구축

분석 도구 선정 R 통계분석과 자료의 시각화를 위해 개발한 오픈소스 분석용 프로그래밍 언어 객체지향 언어 모든 데이터가 객체 형태로 관리되어 효율적인 조작과 저장방법 제공 일반 데이터, 함수, 차트 등 고속메모리 처리 모든 객체는 메모리로 로딩되어 고속으로 처리되고 재사용 가능 다양한 자료 구조 벡터, 배열, 행렬, 데이터프레임, 리스트 등 다양한 자료구조와 연산기능 제공 최신 패키지 제공 오픈소스 커뮤니티(www.r-project.org) CRAN 사이트를 통해 데이터 분석에 필요한 최신 알고리즘과 방법론 제공 시각화 데이터 분석과 표현을 위한 다양항 그래픽 도구 제공 장점 지속적 업데이트 되는 다양한 패키지 그래픽 및 도표, 시각화 기능에 특화 단점 대용량 메모리 처리가 어려우며 보안 기능 취약 별도..

• format_list_bulleted 이론/빅데이터 분석
• · 2023. 3. 17.
• textsms

빅데이터 모델링 - 분석 모델 설계 - 분석 모델 구축 절차

분석 시나리오 작성 데이터 분석 대상 및 범위를 요구사항에 맞게 정의 분석을 통해 해결할 수 있는 문제와 목표 그리고 분석 목표별 구현 모델과 예상 결과 작성 분석 과정에 필요한 데이터, 절차, 분석 기법 등의 세부사항 정의 데이터의 경우 사전 확보 및 유형 분석 필요 기존에 잘 구현되어 활용되는 경우 유사 분석 시나리오 및 솔루션 고려 분석 모델 설계 분석 모델 설계시 사전 확인 사항 필요한 데이터 항목이 정해졌는가? 데이터 단위를 고려, 항목에 따른 표준화 방법을 정하였는가? 데이터를 수집한 항목에 따라, 단계별로 모델이 설계되었는가? 분석 검증 통계 기법을 선정하였는가? 분석 모델링 설계와 검정 분석 목적에 기반한 가설 검정 방법 수립 추정방법에 대한 기술 검토 분석 모델링 설계와 검정 방법 수립 ..

• format_list_bulleted 이론/빅데이터 분석
• · 2023. 3. 16.
• textsms

빅데이터 모델링 - 분석 모델 설계 - 분석 모델 선정과 정의

분석 모델 선정 필요성 의사 결정 여러 대안 중 하나의 행동을 고르는 일을 해내는 정신적 지각 활동 최종적으로 하나의 선택을 가지게 되고 이로 인한 결과 도출 불확실성 해소 불확실성은 의사결정의 가장 큰 문제 분석을 통해 불확실성을 제어하면 시장 대응에 큰 도움을 줌 요약 현 상황을 쉽고 빠르게 파악 가능 다음 대응할 방안 등 대비 인과관계 파악 데이터 간 연관관계 분석으로 원인과 결과를 파악 인과관계 파악으로 세부적인 판단 가능 예측 원인과 결과로 어떤 패턴을 파악하게 되면 다음에 생길 결과에 대한 예측 또한 가능 반드시 같은 패턴으로 이어지는 결과는 아니지만 미래에 생길 결과에 대한 대비 가능 빅데이터 분석 근본 목적 과거의 데이터를 토대로 원인에 대해 분석하고 그 결과로 미래 에측 데이터는 후행성 ..

• format_list_bulleted 이론/빅데이터 분석
• · 2023. 3. 16.
• textsms

빅데이터 모델링 - 통계기법 이해 - 확률분포 - 이산확률분포의 종류

베르누이 분포(Bernoulli Distribution) 결과가 성공 아니면 실패, 두가지로 귀결되어 나오는 이산확률분포 이항분포(Binomial Distribution) 베르누이 시행을 n번 독립적으로 시행할 때 성공횟수를 X로 정의한 이산확률분포 p : 성공확률 q : 실패확률 = 1-p 예) 동전을 3번 던졌을 때 앞면이 나오는 횟수를 X라고 할 때 앞면이 두번 나올 확률? 확률은 3/8 기댓값은 np, 즉 3 * 1/2 = 3/2 분산은 npq, 즉 3 * 1/2 * 1/2 = 3/4 다항분포(Multinomial Distribution) 여러 개의 값을 가질 수 있는 독립 확률변수들에 대한 확률분포 여러 번의 독립적 시행에서 각각의 값이 특정 횟수가 나타날 확률을 정의하는 분포 예) 어느 공항의..

• format_list_bulleted 이론/빅데이터 분석
• · 2023. 3. 16.
• textsms

빅데이터 탐색 - 통계기법 이해 - 확률변수, 확률분포

확률변수(Random Variable) 확률변수의 개념 사건의 시행의 결과(확률)를 하나의 수치로 대응시킬 때의 값(확률) 일반적으로 대문자 X로 표기 예) 동전 두 개를 던져 앞면이 나오는 횟수를 확률변수 X라고 가정 4가지의 경우 발생 { (뒤,뒤), (앞,뒤), (뒤,앞), (앞,앞) } 확률변수 X의 값 X(뒤,뒤) = 0 X(앞,뒤) = 1 X(뒤,앞) = 1 X(앞,앞) = 2 { 0,1,2 } 총 3가지 확률변수 X가 특정한 값 x를 가질 때 그에 대한 확률 P(X=x)로 표기 앞면이 2개 나올 확률 P(X=2) 확률변수의 종류 이산확률변수(Discrete Random Variable) 확률변수가 취할 수 있는 값의 수가 유한한 변수 확률변수 X가 X={0,1,2,3} 같이 셀 수 있는 값을..

• format_list_bulleted 이론/빅데이터 분석
• · 2023. 3. 14.
• textsms