빅데이터 - 분석 기획 - 빅데이터의 이해 - 빅데이터 처리기술
빅데이터 처리과정과 요소기술 데이터 (생성) 데이터베이스나 파일 관리 시스템과 같은 내부 데이터 존재 인터넷으로 연결도니 외부로부터 생성된 파일이나 데이터 존재 수집 크롤링을 통해 데이터 원천으로부터 데이터 검색하여 수집 크롤링(Crawling) : 웹사이트 등 외부에 저장되어 있는 정보자원을 자동화된 방법으로 수집, 분류, 저장하는 것 ETL(추출, 정제, 가공)을 통해 소스 데이터로부터 추출, 변환, 적재 단순한 수집이 아니라 검색 및 수집, 변환 과정 모두 포함 로그 수집기나 센서 네트워크 및 Open API 등 활용 저장 (공유) 저렴한 비용으로 데이터를 쉽고 빠르게 많이 저장 정형 데이터뿐만 아니라 반정형, 비정형 데이터도 포함 벙렬 DBMS나 하둡(Hadoop), NoSQL 등 다양한 기술 사..
