빅데이터 모델링 - 분석 모델 설계 - 분석 모델 선정과 정의

반응형

 

분석 모델 선정 필요성

  • 의사 결정
    • 여러 대안 중 하나의 행동을 고르는 일을 해내는 정신적 지각 활동
    • 최종적으로 하나의 선택을 가지게 되고 이로 인한 결과 도출
  • 불확실성 해소
    • 불확실성은 의사결정의 가장 큰 문제
    • 분석을 통해 불확실성을 제어하면 시장 대응에 큰 도움을 줌
  • 요약
    • 현 상황을 쉽고 빠르게 파악 가능
    • 다음 대응할 방안 등 대비
  • 인과관계 파악
    • 데이터 간 연관관계 분석으로 원인과 결과를 파악
    • 인과관계 파악으로 세부적인 판단 가능
  • 예측
    • 원인과 결과로 어떤 패턴을 파악하게 되면 다음에 생길 결과에 대한 예측 또한 가능
    • 반드시 같은 패턴으로 이어지는 결과는 아니지만 미래에 생길 결과에 대한 대비 가능
  • 빅데이터 분석 근본 목적
    • 과거의 데이터를 토대로 원인에 대해 분석하고 그 결과로 미래 에측
      • 데이터는 후행성 성격을 지니지만 성행성 성격도 지님

분석 모델 선정 프로세스

  1. 문제요건 정의 또는 비즈니스 이해에 따른 대상 데이터 선정과 분석 목표/조건 정의
  2. 데이터 수집, 정리 및 도식화
  3. 데이터 전처리(데이터 정제, 종속/독립변수 선정, 데이터 변환, 데이터 통합, 데이터 축소 등)
  4. 최적의 분석 모델 선정

분석 모델 정의와 종류

  • 예측 분석 모델
    • 현재까지의 데이터와 상황에 따른 가설을 기반하여 미래에 대한 현상을 사전에 분류하고 예측하는 모델
    • "어떤 일들이 발생할 것인가?"에 대한 모델
      • 적조, 날씨, 주가, 범죄/위험, 쇼핑아이템 등 예측 및 추천
  • 현황 진단 모델
    • 과거 데이터를 통해 현재 상황을 객관적으로 진단하는 모델
    • 미래 예측이 아닌 현재를 이해함에 활용
    • "과거에 어떠한 상황이 왜 어떻게 일어났는가? 그리고 현재 어떠한 상황인가?"에 대한 모델
  • 최적화 분석 모델
    • 분석 모델을 최적화하는데 중점을 둔 모델
      • 제한된 자원, 환경 내에서의 최대의 효용성, 이익과 같은 결과 생성을 위함

분석 모델 정의를 위한 사전 고려사항

  • 분석 모델 정의 전 분석이 실제 추진될 가능성을 확인하는 것
  • 상황에 맞는 평가 기준표, 테이블을 작성하여 항목별로 점수를 부여한 총점으로 분석 모델 가능성 판별
  • 추진시급성과 구현가능성만으로 사전 판별 기준 활용 가능

분석 모델 정의와 판별을 위한 평가기준표 예시

기준 판단근거
필요성 개인이나 기관 관점에서 분석 과제가 필요한지 판단
파급효과 정성적, 정량적 기대효과의 정도 판단
추진 시급성 당장 해소되어야 할 사회현안 여부 판단, 장기과제 성격 분리
구현 가능성 과제를 구현함에 있어서 어려움이 없는지 현실성 판단
데이터 수집 가능성 공공기관 협조나 데이터 확보, 데이터 구매 등 제약사항 판단
모델 확장성 과제가 시범과제로 끝나지 않고 전체 데이터 모델로 확장 가능한지 판단
  • 분석 모델 정의에 필요한 데이터가 충분히 확보되어 있는지를 판단
  • 관련 과거 분석 사례 또는 솔루션 최대 활용할 수 있는지 검토
  1. 상향식(Bottom-up) 접근
    • 문제 정의가 어려울 경우 많은 양의 데이터 분석을 통해 인사이트 도출
    • 특정 영역을 지정하여 의사결정 지점으로 진행하는 과정에서 분석 과제를 발굴하는 방식
  2. 하향식(Top-down) 접근
    • 문제 정의가 가능할 시 문제 탐색과 연관되어 비즈니스 모델, 외부 참조 모델, 분석 유즈 케이스 기반 모델로 발굴하는 방식
      • 비즈니스 모델 : 어떻게 수익을 찰출할 것인가에 대한 검증으로 문제해결 위한 분석 과제 발굴
      • 외부 참조 모델 : 벤치마킹으로 분석 테마 후보 Pool 구축, 선택하는 것
      • 분석 유즈 케이스 : 문제에 대한 상세 설명과 해결 시 효과에 대해 명시함으로써 구체적인 분석 과제 도출

참고

반응형