반응형
반응형
빅데이터 처리과정과 요소기술 데이터 (생성) 데이터베이스나 파일 관리 시스템과 같은 내부 데이터 존재 인터넷으로 연결도니 외부로부터 생성된 파일이나 데이터 존재 수집 크롤링을 통해 데이터 원천으로부터 데이터 검색하여 수집 크롤링(Crawling) : 웹사이트 등 외부에 저장되어 있는 정보자원을 자동화된 방법으로 수집, 분류, 저장하는 것 ETL(추출, 정제, 가공)을 통해 소스 데이터로부터 추출, 변환, 적재 단순한 수집이 아니라 검색 및 수집, 변환 과정 모두 포함 로그 수집기나 센서 네트워크 및 Open API 등 활용 저장 (공유) 저렴한 비용으로 데이터를 쉽고 빠르게 많이 저장 정형 데이터뿐만 아니라 반정형, 비정형 데이터도 포함 벙렬 DBMS나 하둡(Hadoop), NoSQL 등 다양한 기술 사..
STS4로 스프링부트 연습하다가 IntelliJ로 바꾸니 페이지가 새로고침이 안되길래 찾아보았다.알아보니 인텔리제이는 기본적으로 새로고침이 미설정으로 되어있어서 설정해줘야 한다고 하더라... 인텔리제이 자동 새로고침 설정IDE Settings(인텔리제이에서) File - Settings Build, Execution, Deployment - CompilerBuild project automatically 체크 Build, Execution, Deployment - Build Tools - GradleBuild and run using : IntelliJ IDEA 로 변경 Advanced SettingsAllow auto-make to start ~ 체크Project Settingsapplication.y..
빅데이터 플랫폼 빅데이터 수집부터 저장, 처리, 분석 등 전 과정을 통합적으로 제공 제공된 기술들을 잘 사용할 수 있도록 준비된 환경 빅데이터를 분석 또는 활용하는데 필요한 필수적인 것, 빅데이터 기술의 집합체 빅데이터 플랫폼의 등장배경 비즈니스 요구사항 변화 빠른 의사결정 속도보다 장기적이고 전략적인 접근 필요 초저가의 대규모 프로세싱과 클라우드 컴퓨팅 기반의 분석 환경 등장 데이터 규모와 처리 복잡도 증가 다양한 형태의 데이터 수집과 복잡한 로직을 이용한 대용량 처리 필요 분산 처리가 불가피하며 이를 제어할 수 있는 고도의 기술 필요 데이터 구조의 변화와 신속성 요구 SNS 데이터나 로그 파일, 스트림 데이터 등 비정형 데이터의 비중과 실시간 처리에 대한 높은 요구 약한 관계형 스키마나 반정형 데이터..
Error 인텔리제이로 그레이들 프로젝트를 불러왔는데 다음과 같은 에러가 발생하였다. A problem occurred configuring root project 'example'. > Could not resolve all files for configuration ':classpath'. > Could not resolve org.springframework.boot:spring-boot-gradle-plugin:3.0.2. Required by: project : > org.springframework.boot:org.springframework.boot.gradle.plugin:3.0.2 > No matching variant of org.springframework.boot:spring-boo..
스크롤 체이닝이란? (Scroll Chaining) 기본적으로 모바일 브라우저는 페이지 상단 또는 하단(또는 다른 스크롤 영역)에 도달하면 화면이 흔들리는 "바운스" 효과 또는 페이지 새로고침을 제공하는 경향이 있습니다. 스크롤 콘텐츠 페이지 위에 스크롤 콘텐츠가 있는 경우, 페이지 위에 있는 스크롤 콘텐츠의 경계에 도달하면 기본 페이지가 스크롤되기 시작합니다. 이러한 현상을 스크롤 체인이라고 합니다. 즉, 페이지에 스크롤이 되는 콘텐츠가 두 개 이상일 경우, 하나의 콘텐츠의 스크롤이 마지막에 도달하면 다른 콘텐츠의 스크롤이 스크롤 되는 현상입니다. 이는 주로 모바일에서 스크롤 체이닝을 방지하여 페이지의 새로고침을 막는 용도로도 자주 사용합니다. 스크롤 체이닝, 예시를 통해 이해해보기 예시) 두 개의 박..
빅데이터 조직 및 인력 데이터 분석 활용을 통한 성과 창출은 조직 역량의 개발, 인력의 영입 등과 같은 전사 관점의 전략 필요 기업의 경쟁력 확보를 위해 비즈니스 질문을 도출 이를 충족하기 위한 가치 발굴 비즈니스를 최적화하기 위한 빅데이터 조직 및 인력 구성 방안 수립 필요성 빅데이터와 관련된 기술적인 문제들은 기술의 발전으로 어느정도 해소 데이터 분석 및 활용을 위한 조직체계나 분석 전문가 확보에 어려움 존재 데이터 분석 관점의 컨트롤 타워에 대한 필요성 제기 조직의 역할 전사 및 부서의 분석 업무를 발굴 전문적인 분석 기법과 도구를 활용하여 빅데이터 속에서 인사이트를 확인 발견한 인사이트를 전파하고 이를 실행 * 인사이트(Insight) : 통찰력, 사물이나 현상을 통찰하는 능력 조직의 구성 통게학..