My Data Story

◈ '군집 활용' 목차 ◈ 1. 개요 2. 이미지 분할, 전처리, 준지도 학습 3. 이상치 탐지, 특이치 탐지 사이킷런에서 이상치 탐지와 특이치 탐지 전용으로 사용할 수 있는 가지 알고리즘을 살펴보자. 사이킷런에는 이상치 탐지와 특이치 탐지 전용으로 사용할 수 있는 몇 가지 알고리즘이 구현되어 있다. 이 알고리즘들은 임의의 모양을 가진 클러스터를 다룰 수 있다. 1. PCA 보통 샘플의 재구성 오차와 이상치의 재구성 오차를 비교하면 일반적으로 후자가 훨씬 크다. 이는 간단하고 종종 매우 효과적인 이상치 탐지 기법이다. PCA 외에도 inverse_transform() 메서드를 가진 다른 차원 축소 기법도 동일한 방법으로 이상치 탐지한다. 2. Fast-MCD(Minimum Covariance Determ..

◈ '시계열 데이터 분석 절차' 목차 ◈ 1. 시계열 데이터 분석 절차(1/6) - 시계열 데이터 패턴 추출 2. 시계열 데이터 분석 절차(2/6) - 시계열 데이터 분리 3. 시계열 데이터 분석 절차(3/6) - 시계열 데이터 전처리(1) 시계열 데이터 내 X요인들간의 관계를 파악하고 X요인에 대한 데이터 전처리 방법을 살펴보자 4. 시계열 데이터 분석 절차(4/6) - 시계열 데이터 전처리(2) 5. 시계열 데이터 분석 절차(5/6) - 시계열 레퍼런스 모델 구현 및 성능 확인 6. 시계열 데이터 분석 절차(6/6) - 분석 종료 위한 잔차 진단 시계열 예측 정확성을 높일 수 있도록 현실적인 데이터 패턴을 반영하여 X요인과 Y요인에 대해 데이터 전처리를 진행해야 한다. X요인에 필요한 데이터 전처리는..

◈ '차원 축소' 목차 ◈ 1. 투영, 매니폴드 2. PCA, 랜덤 PCA, 점진적 PCA PCA, 랜덤 PCA, 점진적 PCA 에 대해 살펴보고, 적절한 축소 차원의 수를 결정하는 방법과 PCA 활용에 대해 알아보자. 3. 커널 PCA 4. MDS, Isomap 5. 지역 선형 임베딩 LLE 6. t-SNE PCA 주성분 분석은 가장 인기 있는 차원 축소 알고리즘이다. 데이터에 가장 가까운 초평면을 정의한 다음, 데이터를 이 평면에 '투영' 시킨다. 1. PCA 알고리즘 step1. 주성분 찾기 투영하기 전에 올바른 초평면을 선택해야 한다. 올바른 초평면은 분산이 최대로 보존되는 축에 투영한 것이다. 이는 분산이 최대로 보존되는 축을 선택하는 것이 정보가 적게 손실되기 때문이다. 다시 말해, 원본 데이..