빅데이터 - 분석 기획 - 데이터 분석 계획

분석 절차

데이터 분석의 시발점이 되는 문제 인식에서부터 시작하여 데이터를 확보하고 분석하여 결과를 도출 및 제시하는 단계까지의 일반적인 과정을 정형화한 프로세스

문제 인식
- 문제를 인식하고 분석 목적 명확히 정의
- 분석 주제는 가설 형태 또는 결과 해석 중심
연구 조사
- 문제해결을 위한 각종 문헌 조사, 조사 내용을 바탕으로 문제에 대한 해결 방안 정의
- 중요한 요인이나 변수 파악
모델링 (모형화)
- 복잡한 문제를 논리적이면서도 단순화하는 과정
- 많은 변수가 포함된 현실 문제를 특징적 변수로 정의
- 문제들 변수들 간의 관계로 정의
데이터 수집
- 데이터 수집 또는 변수를 측정하는 과정
- 기존 데이터 활용이 불가능한 경우 추가적인 데이터 수집 고려
데이터 분석
- 수집된 데이터로부터 인사이트 발굴, 변수들간의 관계 분석
분석 결과 제시
- 변수들 간 인과관계나 상관관계를 포함한 분석 결과 제시 및 공유
- 표, 그림, 차트, 그래프 등을 활용하여 시각화

통계 기반의 전통적 데이터 분석을 위한 고려사항
- 문제에 대한 구체적 정의
- 필요 데이터 보유
- 분석 역량
문제에 대한 구체적 정의가 없을 경우의 고려사항
- 인사이트 발굴 : 데이터 마이닝 기반으로 데이터 분석
- 개선 결과 : 일단 데이터 분석을 시도한 후 결과를 확인해 가면서 반복적으로 개선 결과 도출
데이터 분석 절차 정의 : 수집 > 저장 > 처리 > 분석 > 시각화 > 이용 > 폐기

단계	내용
프로젝트 소요비용 배분	- 주어진 시스템 및 데이터 환경 고려하여 현실성 있는 계획이 되도록 프로젝트 일정 수립 - 사전에 작성해 놓은 데이터 분석목표정의서의 내용 모두 반영
프로젝트 작업분할구조 수립	- 데이터 분석목표정의서와 프로젝트 소요비용 배분 계획을 참고하여 데이터 분석 절차에 맞게 수립
프로젝트 업무 분장 계획 및 배분	- 배분된 인건비를 기준으로 단계별 인원 투입 계획

단계	내용
데이터 분석과제 정의	- 데이터 분석목표정의서를 기준으로 프로젝트 전체 일정에 맞춰 사전에 준비 - 각 단계별 필요 산출물과 보고서 작성 시기, 세부 일정 등 정리
데이터 준비 및 탐색	- 데이터 엔지니어가 데이터를 수집하고 정리하는 일정 수립 - 데이터 분석가가 분석에 필요한 데이터들로부터 변수 후보를 탐색하고 최종 산출물 도출 일정 수립 - 데이터 분석 가설을 세우고 유의미한 검정을 수행하는 일정 포함
데이터 분석 모델링 및 검증	- 실행방법 및 절차를 구분하고 검증하는 내용과 수행일정을 상세하게 수립 - 데이터 분석 모델링 작업이 1회 이상 수행되므로 검증일정을 고려하여 세부일정 수립
산출물 정리	- 데이터 분석 단계별 산출물을 정리하고 모델링 과정에서 개발된 분석 스크립트를 최종 산출물로 정리 - 전체 일정에서 산출물 정리 과정 필수 포함

원천 데이터 조사
- 데이터 정보
  - 데이터 축적 기간, 획득 주기, 테이블 스키마, 메타 데이터 확인
- 데이터 수집 난이도
  - 데이터 수집 및 정제 과정, 시기와 방법 확인
  - 데이터 수집 난이도가 높을 경우 데이터 활용 재고
분석 방안 및 적용 가능성 판단
- 개선 목표와 현시점의 분석 목표 간 차이 고려하여 분석 목표를 조정하거나 상황에 따라 우선순위 조정
- 분석 목표에 부합한 데이터 분석 기법일지라도 현재 적합한 분석 환경이 구축되지 않았다면 분석 목표 조정
성과평가 기준
- 정성적 평가
  - 분석 기법이나 기술의 활용 가능성 평가
  - 신규 데이터나 외부 데이터의 활용 가능성 평가
  - 세분화나 군집화를 통해 집단 선정
  - 이 외 관련 시스템별 정성적 요소 평가
- 정량적 평가
  - 기존 방법 대비 효과의 증감 비율 평가
  - 유효한 가설의 수나 목표 대비 증감 비율 평가
  - 데이터 모델의 정확도 평가
  - 기타 분석 특성에 따른 자체 KPI에 의한 성과 측정