반응형
반응형
모수(매개변수, 파라미터, Parameter) 정의 수학과 통계학에서 어떠한 시스템이나 함수의 특정한 설징을 나타내는 변수 일반적으로 θ라고 표현, 다른 표시는 각각 독특한 뜻을 지님 함수의 수치를 정해진 변역에서 구하거나 시스템의 반응을 결정할 때, 독립변수는 변하지만 매개변수는 일정 다른 매개변수를 이용해 함수의 다른 수치를 다시 구하거나 시스템의 다른 반응 확인 가능 비모수 통계(Non-Parametric Statistics) 개념 통계학에서 모수에 대한 가정을 전제로 하지 않고 모집단의 형태에 관계없이 주어진 데이터에서 직접 확률을 계산하여 통계학적 검정을 하는 분석 상대적으로 모수 통계는 데이터의 분포를 알거나 모수(평균이나 분산) 등을 안다고 가정하고 통계적 검정 및 추론을 하는 것 비모수 통..
앙상블 분석 정의 주어진 자료로부터 여러 개의 학습 모델을 만든 후 학습 모델들을 조합하여 하나의 최종 모델을 만드는 개념 모델의 분산을 줄여주는 효과를 가짐 입력값의 작은 차이에도 민감하게 반응하는 문제에 유용 동일한 학습 알고리즘 이용 시, 한 개의 단일학습기에 의한 분석보다 더 나은 분석성능을 이끌어 낼 수 있음 다양한 약학습기를 통해 강학습기를 만들어가기 때문 약학습기(약분류기, Weak Learner) 무작위 선정이 아닌 성공확률이 높은, 즉 오차율이 일정 이하(50% 이하)인 학습 규칙 가능성 있는 다양한 복수의 학습 규칙 예) 스팸 메일 처리 방법 스팸 여부를 판단하는 기준 제목에 광고가 붙은 경우 : 스팸(Yes) 본문에 보험/대출이 들어간 경우 : 스팸(Yes) 보낸이가 내 주소록에 있는..
비정형 데이터(Unstructured-Data) 데이터 세트가 아닌 하나의 데이터가 수집 데이터로 객체화되어 있는 것 숫자 데이터와 달리 그림이나 영상, 문서처럼 형태와 구조가 복잡해 정형화 되지 않은 데이터 대표적으로 언어 분석이 가능한 텍스트 데이터나 이미지, 동영상 같은 멀티미디어 데이터 웹에 존재하는 데이터의 경우 html 형태로 존재하여 반정형 데이터로 구분 특정한 경우 텍스트 마이닝을 통해 데이터를 수집하는 경우도 존재, 명확한 구분 어려움 데이터 수집의 난이도 정형 데이터 (수집난이도 : 하) 내부 시스템인 경우가 대부분이라 수집이 쉬움 파일 형태의 스프레드시트라도 내부에 형식을 가지고 있어 처리가 쉬운 편 반정형 데이터 (수집난이도 : 중) 보통 API 형태로 제공 데이터 처리 기술 요구 ..
예시 데이터 엑셀의 중복 값 확인하기 중복 확인할 셀 범위 선택 조건부 서식 - 셀 강조 규칙 - 중복 값 원하는 조건에 맞게 강조 규칙 설정 엑셀의 중복 값 제거하기 중복 제거할 셀 범위 선택 상단의 데이터 탭 - 중복된 항목 제거 중복 제거할 열 선택 - 확인
딥러닝 분석의 개념 인공신경망(ANN) 기계학습과 인지과학에서 생물학의 신경망을 통해 영감을 얻은 통계학적 학습 알고리즘 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)이 학습을 통해 시냅스의 결합 세기를 변화시켜 문제 해결 능력을 가지는 모델을 지칭 인공신경망의 문제점 계산속도의 저하 : 1980년대 컴퓨터의 연산수준이 해당알고리즘 수행의 최적수준까지 발달하지 못함 초기치의 의존성 : 최초 시작점의 선택에 따라 수렴, 발산, 진동 등 다양한 형태로 결과가 바뀌는 문제 발생 과적합 문제 : 트레이닝 셋에만 최적화되어 실제 테스트와 예상 결과의 괴리 발생 2023.03.18 - [이론/빅데이터 분석 기사] - 빅데이터 모델링 - 분석기법 - 인공신경망(ANN) 2022.06.09 - [Programm..
베이즈 추론 베이즈(베이지안) 확률론을 기반으로 통계적 추론의 한 방법 추론 대상의 사전 확률과 추가적인 정보를 통해 해당 대상의 사후 확률을 추론하는 방법 추론하는 대상을 확률변수로 보아 그 변수의 확률분포를 추정하는 것 확률론적 의미해석(조건부 확률) 베이즈 기법의 개념 객관적 관점 베이즈 통계의 법칙은 이성적, 보편적으로 증명될 수 있으며 논리의 확장으로 설명될 수 있음 주관주의 확률 이론의 관점 지식의 상태는 개인적인 믿음의 정도(Degree of Belief)로 측정 확률에 대한 여러 개념 중 가장 인기있는 것 중 하나로 심리학, 사회학, 경제학 이론에 많이 응용 어떤 가설의 확률을 평가하기 위해 사전 확률을 먼저 밝히고 새로운 관련 데이터에 의한 새로운 확률값 변경 베이즈 기법 적용 회귀분석모..