빅데이터 - 분석 기획 - 데이터 수집 및 저장 계획 - 데이터 수집 및 전환

데이터 수집 데이터 처리 시스템에 들어갈 데이터를 모으는 과정 여러 장소에 있는 데이터를 한 곳으로 모으는 것 데이터 수집 수행 자료 용어집 원천 데이터 소유 기관 정보 서비스 흐름도 데이터 수집 기술 매뉴얼 업무 매뉴얼 인프라 구성도 데이터 명세서 소프트웨어 아키텍처 개념도 데이터 수집 계획서 수집 솔루션 매뉴얼 원천 데이터 담당자 정보 하둡 오퍼레이션 매뉴얼 비즈니스 및 원천 데이터 파악을 위한 비즈니스 모델 기초 데이터 수집 수행 절차 비즈니스 도메인 정보 수집 전문가 인터뷰 인터뷰 결과 분석 분석기획서 기반 도메인, 서비스 이해 비즈니스 현황(이슈) 원천데이터 습득 현황 수집 데이터 탐색 수집 데이터 선정 데이터 위치, 유형, 수집 방법, 비용 기초 데이터 수집 체크 리스트 기초 데이터 수집 데이..

• format_list_bulleted 이론/빅데이터 분석
• · 2023. 2. 25.
• textsms

빅데이터 - 분석 기획 - 데이터 분석 계획 - 분석 프로젝트 관리

분석 프로젝트 과제 형태로 도출된 분석 기회를 프로젝트화하여 그 가치를 증명하기 위한 수단 도출된 결과의 재해석을 통한 지속적인 반복과 정교화가 수행되는 경우가 대부분 프로젝트 관리방안 수립 데이터 영역과 비즈니스 영역에 대한 이해 지속적인 반복이 요구되는 분석 프로세스의 특성 이해 프로젝트 구성원들과의 협업 필요 지속적인 개선 및 변경을 염두에 두고 프로젝트 기한 내 가능한 최선의 결과 도출 분석 프로젝트의 추가적 속성 데이터를 다루면서 분석 모델을 생성하는 프로젝트 특성상 추가적인 중점 관리 영역 고려 관리 영역 내용 데이터 크기 (Data Size) - 데이터가 지속적으로 생성되어 증가하는 점 고려 데이터 복잡도 (Data Complexity) - 정형, 비정형 데이터와 다양한 시스템에 산재되어 있..

• format_list_bulleted 이론/빅데이터 분석
• · 2023. 2. 22.
• textsms

빅데이터 - 분석 기획 - 데이터 분석 계획 - 분석 절차와 작업 계획

분석 절차 데이터 분석의 시발점이 되는 문제 인식에서부터 시작하여 데이터를 확보하고 분석하여 결과를 도출 및 제시하는 단계까지의 일반적인 과정을 정형화한 프로세스 분석 절차의 특징 데이터 분석을 수행하기 위한 기본적인 과정 명시 분석 방법론을 구성하는 최소 요건 상황에 따라 단계를 추가할 수도 있으며 생략 가능 일반적인 분석 절차 문제 인식 문제를 인식하고 분석 목적 명확히 정의 분석 주제는 가설 형태 또는 결과 해석 중심 연구 조사 문제해결을 위한 각종 문헌 조사, 조사 내용을 바탕으로 문제에 대한 해결 방안 정의 중요한 요인이나 변수 파악 모델링 (모형화) 복잡한 문제를 논리적이면서도 단순화하는 과정 많은 변수가 포함된 현실 문제를 특징적 변수로 정의 문제들 변수들 간의 관계로 정의 데이터 수집 데이..

• format_list_bulleted 이론/빅데이터 분석
• · 2023. 2. 21.
• textsms

빅데이터 - 분석 기획 - 데이터 분석 계획 - 데이터 확보 계획

데이터 확보를 위한 사전 검토사항 필요 데이터 분석 목적에 맞는 데이터 정의 필요한 데이터를 확보할 수 있는지 확인 확보할 수 없다면 대안 고려 보유 데이터 현황파악 사전에 정의한 데이터의 존재 여부 분석 품질이 보장된 우수한 데이터 충분한 데이터 존재하는지 확인 분석 데이터의 유형 분석 데이터 확보를 위해 수집 대상 데이터의 유형 고려 어떤 데이터를 어떤 기법을 이용하여 분석할 것인지 수립된 계획에 따라 데이터 유형을 선택하고 변수 정의 편향되지 않고 충분한 양의 데이터 규모 데이터 분석 기법에 따라 훈련 데이터셋, 검증 데이터 셋, 테스트 데이터셋 필요 신뢰성 높은 데이터 분석 모델 개발과 정확한 데이터 분석을 위함 내부 데이터의 사용 필요 데이터에 대한 데이터 목록 작성 변수 명칭, 설명, 형태, ..

• format_list_bulleted 이론/빅데이터 분석
• · 2023. 2. 21.
• textsms

빅데이터 - 분석 기획 - 데이터 분석 기획 - 분석 작업 개요

분석 작업 분석 작업 계획을 수립하기 위해 데이터 처리 프로세스에 대한 이해 필요 데이터 처리 영역과 데이터 분석 영역으로 분류 데이터 처리 프로세스 데이터 처리 영역 데이터 분석을 위한 기초 데이터를 정의하고 수집 및 저장, 분석하기 수월하도록 물리적인 환경을 제공하는 영역 단계 내용 데이터 소스 - 기업 내 각 부서나 서비스별 적재되고 있는 내부 데이터 - 다른 기업이나 공공 데이터 등 외부 데이터 데이터 수집 - 사용자로부터 데이터를 직접 입력 - 로그수집기, 크롤링, 센서네트워크 등 데이터 저장 - 데이터를 유형별로 나눠 최적의 설계를 하여 데이터 스토리지에 저장 데이터 처리 - 저장된 대용량의 데이터를 신속하고 정확하게 처리하기 위해 실시간 처리 및 분산 처리 등 시도 데이터 분석 영역 저장되어..

• format_list_bulleted 이론/빅데이터 분석
• · 2023. 2. 21.
• textsms

빅데이터 - 분석 기획 - 데이터 분석 계획 - 데이터 분석 수준진단

데이터 분석 수준진단 필요성 조직 경쟁력 강화를 위한 데이터 분석의 도입 여부와 활용을 위해 현 상태에 대한 명확한 점검 필요 데이터 분석의 수준진단을 통해 데이터 분석 기반을 만들기 위해 무엇을 준비하고 더 보완해야하는지 확인 가능 데이터 분석의 유형이나 방향을 결정 목표 각 조직이 현재 수행하고 있는 데이터 분석 수준을 명확히 이해 수준진단 결과를 바탕으로 미래 목표 수준 정의 데이터 분석을 위한 기반이나 환경이 타사 대비 어느 정도 수준인지 어느 영역에 선택과 집중을 해야 하는지 무엇을 보완해야 하는지 등 개선 방안 도출 분석 수준진단 프레임워크는 6개의 분석 준비도와 3개의 영역 분석 성숙도를 동시에 평가 분석 준비도(Readiness) 데이터를 분석하여 업무 및 의사결정에 활용하기 위해 준비가 ..

• format_list_bulleted 이론/빅데이터 분석
• · 2023. 2. 20.
• textsms