데이터사이언스
Level 3 공부

분류와 결측·이상치

• 정형은 질적(명목·서열)과 양적(연속·이산), 반정형은 JSON·XML, 비정형은 텍스트·음성·영상. 빅데이터는 3V(양·속도·다양성)에 정확성·가치를 더해 5V.
• 결측 유형은 MCAR(완전 무작위) · MAR(관측된 다른 변수에 의존) · MNAR(값 자체에 의존). 결측 자체가 정보일 수 있어 무조건 삭제하는 것은 틀린 선택지다.
• 대치: 평균·중앙값·최빈값, Hot-deck(현재 표본에서 비슷한 응답), Cold-deck(외부·이전 연구), 회귀, KNN, 다중 대치(MICE). Hot/Cold deck 을 헷갈리지 말 것.
• 이상치 탐지: IQR(Q1−1.5·IQR, Q3+1.5·IQR), Z-score(|z|>3), ESD, DBSCAN, Isolation Forest, LOF, One-Class SVM, 박스플롯. VIF 는 다중공선성 진단이지 이상치 탐지가 아니다(기출).

변환과 시각화

• MinMax는 [0,1], Standard는 평균 0·표준편차 1, Robust는 중앙값·IQR 기준. Box-Cox는 양수만, Yeo-Johnson은 음수도 가능. 거듭제곱 변환에서 λ=0 이면 로그.
• 범주형: One-Hot(k개) · 더미(k−1) · Label · Target · Frequency · Hashing. 회귀에서 더미를 k개 다 넣으면 완전 공선성.
• 바이올린은 박스플롯+KDE, 줄기-잎은 분포와 값을 함께, 평행좌표는 다차원 패턴·군집, Q-Q plot 은 정규성을 눈으로.

분포 — 평균과 분산

가설검정의 말

• 1종 오류(α): H0 가 참인데 기각. 2종 오류(β): H0 가 거짓인데 기각 못함. 검정력은 1−β. 표본이 늘면 둘 다 줄어드는 경향.
• p-value < α 이면 H0 기각. 신뢰수준은 1−α. 정규성 검정의 귀무가설은 「정규분포를 따른다」다.
• 베이즈: P(A|B) = P(B|A)·P(A) / P(B). 사전확률 · 우도 · 증거 · 사후확률 이름을 매칭할 것.

검정 선택표

회귀와 분산분석

• 가정은 선형성·독립성·등분산·정규성, 거기에 독립변수 간 다중공선성 없음. 진단은 VIF(통상 10 초과면 의심), 상관행렬.
• SST = SSR + SSE, R² = SSR/SST = 1 − SSE/SST. 모형 유의성은 F-검정. 영향점은 레버리지 · Cook's distance · DFFITS · DFBETAS.
• AIC = −2lnL + 2p, BIC = −2lnL + p·ln n — 낮을수록 좋고 BIC 가 표본 수까지 벌점. 변수 선택은 전진·후진·단계적이며 PCA 는 변수 선택이 아니다. Mallow's Cp 는 p+1 에 가까운 것.
• 오즈 = p/(1−p), 오즈비 = exp(β). 로지스틱 회귀의 계수 해석은 한 단위 증가 시 오즈가 exp(β)배.
• ANOVA 는 정규·등분산·독립. 표본 수가 같을 필요는 없다. 요인이 둘이면 이원분산분석, 요인의 효과가 다른 요인의 수준에 따라 달라지면 교호작용(교호항마다 관측 2개 이상). 사후검정은 Tukey HSD 등.

• 모수 모델은 분포·함수형을 가정하고 계수를 학습(선형·로지스틱·신경망), 비모수 모델은 가정 없이 데이터로(결정트리·KNN).
• 일반화가 목표다. 과대적합 대응: 규제(L1·L2), 조기 종료, 드롭아웃, 데이터 증가, 앙상블, 교차검증, 변수 축소.
• 검증: hold-out · K-fold · Stratified(타깃 분포 유지) · Group(학습에 없는 범주를 평가에) · 시계열(T 이전 학습, T 이후 평가) · LOOCV. 데이터가 적고 정밀한 검증이 필요하면 교차검증.
• 하이퍼파라미터는 그리드·랜덤·베이지안 탐색, 매개변수는 경사하강법으로. 학습률이 크면 발산, 작으면 느림.
• 차원의 저주: 차원이 늘면 데이터가 희소해지고 거리의 변별력이 떨어져 과대적합 위험이 커진다. 대응은 변수 선택·차원축소·규제.
• 변수 선택 — Filter(통계 특성: 상관·카이제곱·정보이득) · Wrapper(모델로 탐색: RFE·전진·후진·유전알고리즘) · Embedded(모델에 내장: Lasso·Ridge·Elastic Net·트리 중요도).
• 클래스 불균형 — 언더샘플링(랜덤·Tomek link·CNN·OSS), 오버샘플링(랜덤·SMOTE·Borderline·ADASYN), 비용 함수(소수 클래스 손실 가중치를 더 크게), 임계값 이동, 앙상블. SMOTE 는 소수 클래스 이웃 사이를 선형 보간해 합성하며 클래스 수를 정확히 맞추는 것은 아니다. MCMC 는 불균형과 무관.

• Ridge(L2)는 계수를 줄이지만 0 으로 만들지 않고 닫힌 해가 있다. Lasso(L1)는 일부 계수를 정확히 0 으로 만들어 변수 선택 효과가 있고 닫힌 해가 없다(좌표하강). Elastic Net은 둘의 혼합. 람다가 클수록 규제가 강하다.
• GLM: 반응변수 분포에 맞는 연결함수 — 이항은 logit(로지스틱 회귀), 푸아송은 log. 종속변수의 정규성이 없어도 쓴다.
• 결정트리: 지니 = 1 − Σp², 엔트로피 = −Σp·log p, 정보이득이 큰 분할. 깊이를 키우면 과대적합 → 가지치기. 스케일링 불필요.
• 나이브 베이즈는 특징 간 조건부 독립 가정, 라플라스 스무딩. KNN은 지도학습이며 학습이 없는 lazy 모델, K 가 작으면 과대적합, 스케일링 필수.
• SVM: 마진 최대화, 서포트 벡터만 결정에 관여. C 가 크면 마진이 좁고 과대적합, 비선형은 커널 트릭(RBF·poly)으로 고차원 매핑 없이 계산. 스케일링 필수.
• 배깅: 부트스트랩 표본으로 병렬 학습해 분산을 줄임. 랜덤 포레스트는 배깅 + 노드마다 변수 무작위 선택, 분류와 회귀(트리 예측 평균) 모두 가능, OOB 평가.
• 부스팅: 순차 학습으로 편향을 줄임. AdaBoost는 이전 모델이 틀린 샘플의 가중치를 올리고, 약한 학습기는 「랜덤보다 약간 나은」 모델이며 신뢰도로 가중합한다. Gradient Boosting은 잔차(손실의 음의 기울기)에 다음 트리를 맞춘다. XGBoost는 정규화·2차 근사·subsample·colsample 을 더한 것.
• Voting은 hard(다수결)·soft(확률 평균), Stacking 은 메타 모델.

분류 지표

연관규칙

• 지지도 = P(A∩B), 신뢰도 = P(B|A), 향상도 = P(B|A)/P(B). 향상도 >1 양의 관계, =1 독립, <1 음의 관계. Apriori · FP-Growth.

• K-means: SSE(distortion)는 반복마다 증가하지 않고 수렴하지만 초기값에 따라 결과가 달라진다(K-means++). 구형·비슷한 크기·비슷한 밀도를 가정해 이상치·밀도 차·비볼록 군집에 약하다.
• K-medoids는 중심을 실제 데이터 점으로 잡아 이상치에 강건하다.
• 계층적 군집: 단일(최단) 연결은 사슬 효과, 완전(최장) 연결은 지름이 작은 군집, 평균 연결, 중심 연결, Ward(분산 증가 최소). 덴드로그램을 자르는 높이로 군집 수 결정.
• DBSCAN: eps 와 min_samples 두 개, 핵심·경계·잡음 점. 군집 수를 정하지 않아도 되고 비구형도 찾으며 잡음을 분리한다. 밀도 차가 큰 데이터에는 약하다.
• 평가: 실루엣(−1~1, 클수록 좋음), Dunn(군집 간 최소거리 / 군집 내 최대거리), Davies-Bouldin(낮을수록 좋음), elbow.
• 차원축소: PCA(분산 최대 축, 비지도, 스케일링 필요) · 요인분석(잠재요인, 개수는 분석 중 결정, 요인은 대등) · LDA(지도, 클래스 간 분산 / 클래스 내 분산 최대화) · MDS(거리 보존) · t-SNE(시각화용, 비선형) · SVD · PLS.
• 이상탐지: Isolation Forest 는 무작위 분할로 한 점이 고립되는 경로가 짧을수록 이상치(비지도·앙상블). LOF 는 이웃 대비 밀도. One-Class SVM, Autoencoder 재구성 오차.

• 단일 퍼셉트론은 선형 분리만(XOR 불가). 3클래스 이상은 다층 퍼셉트론·RNN·CNN 에 softmax 를 쓰면 가능하고, 오토인코더는 분류 모델이 아니다.
• 활성화: 비선형 활성화가 없으면 층을 쌓아도 하나의 선형 변환이다(그래서 쓴다). sigmoid·tanh 는 기울기 소실, ReLU 는 dying ReLU. 출력층은 이진 sigmoid, 다중 softmax — ReLU 는 부적절. 다중 분류 라벨은 원-핫.
• 학습: 역전파, 경사하강법(SGD·Momentum·RMSProp·Adam). 과대적합 방지는 규제·드롭아웃·배치 정규화·조기 종료·Max pooling. 기울기 소실은 역전파에서 기울기가 매우 작아지는 현상.
• CNN: 합성곱·풀링. 출력 크기 = ⌊(W − K + 2P) / S⌋ + 1.
• RNN: 시퀀스, 긴 의존성은 LSTM(게이트)·GRU 로. Autoencoder: 인코더–디코더, 차원축소·잡음 제거·이상탐지.

파라미터 수 (엑셀 메모에 있던 항목)

import numpy as np, pandas as pd
from sklearn.preprocessing import StandardScaler, MinMaxScaler, PowerTransformer
from sklearn.model_selection import train_test_split
from scipy import stats

df.duplicated(subset=['id'], keep='first').sum()          # 중복 개수
df = df.drop_duplicates(subset=['id'], keep='last')       # keep: 'first' | 'last' | False

df['x'] = df['x'].fillna(df['x'].median())                # 한 열
df[cols] = df[cols].fillna(df[cols].mean())               # 여러 열
df['x'] = df.groupby('g')['x'].transform(lambda s: s.fillna(s.median()))   # 그룹별 중앙값

df['d'] = pd.to_datetime(df['d'])                         # day 인지 yymmdd 인지: format='%y%m%d'
df['dow'] = df['d'].dt.dayofweek                          # 월=0 … 일=6, 주말은 >= 5
pd.get_dummies(df, columns=['cat'], drop_first=True)

z_pd = (s - s.mean()) / s.std()                           # pandas 의 std 는 ddof=1
z_sk = StandardScaler().fit_transform(s.to_frame())       # sklearn 은 ddof=0 → 두 값이 다르다
MinMaxScaler(feature_range=(0, 1))                        # 범위가 지정되면 그대로
stats.boxcox(x)                                           # (변환값, λ), 양수만
PowerTransformer(method='yeo-johnson')                    # 음수 가능

q1, q3 = s.quantile([.25, .75]); iqr = q3 - q1
mask = (s < q1 - 1.5*iqr) | (s > q3 + 1.5*iqr)           # IQR 이상치

X_tr, X_te, y_tr, y_te = train_test_split(X, y, test_size=0.3, random_state=42, stratify=y)
# 지문이 「정렬 후 앞 70%」면 shuffle=False 나 iloc — 지문이 우선

from scipy import stats

stats.shapiro(a)                          # 귀무: 정규분포. 표본이 많으면 stats.kstest(표준화값, 'norm')
stats.levene(a, b, c)                     # 등분산. center='median' 이 기본이라 정규성 불필요
stats.bartlett(a, b, c)                   # 등분산. 정규성 가정
stats.ttest_1samp(a, popmean=0)
stats.ttest_ind(a, b, equal_var=True)     # 이분산이면 equal_var=False (Welch)
stats.ttest_rel(before, after, alternative='less')   # 대응·단측: 「before 평균 < after 평균」이 대립가설
stats.f_oneway(a, b, c)                   # 일원 ANOVA
stats.kruskal(a, b, c)                    # 비모수 대안
stats.mannwhitneyu(a, b); stats.wilcoxon(x, y)

tab = pd.crosstab(df['a'], df['b'])
chi2, p, dof, exp = stats.chi2_contingency(tab, correction=False)   # 2x2 는 기본이 Yates 보정(True)
stats.chisquare(f_obs, f_exp)             # 적합도

n, m, sd = len(a), a.mean(), a.std(ddof=1)
stats.t.interval(0.95, df=n-1, loc=m, scale=stats.sem(a))   # 95% 신뢰구간
h = stats.t.ppf(0.975, n-1) * sd / np.sqrt(n)                 # 직접 쓰면 (m - h, m + h)
stats.norm.pdf(x, loc=0, scale=1); stats.norm.cdf(1.96); stats.norm.ppf(0.975)

import statsmodels.api as sm, statsmodels.formula.api as smf

X = sm.add_constant(df[['x1', 'x2']])                 # add_constant 를 안 하면 절편이 없다
m = sm.OLS(df['y'], X).fit()
m.params; m.pvalues; m.rsquared; m.aic; m.bic; m.fvalue

smf.ols('y ~ x1 + x2', data=df).fit()                 # formula 는 절편이 자동 포함
smf.ols('y ~ x1 + x2 - 1', data=df).fit()             # 「절편 제외」
sm.stats.anova_lm(smf.ols('value ~ C(group)', data=df).fit(), typ=2)   # 일원 ANOVA 표
smf.ols('v ~ C(a) * C(b)', data=df).fit()             # 이원 + 교호작용

from statsmodels.stats.outliers_influence import variance_inflation_factor
[variance_inflation_factor(X.values, i) for i in range(1, X.shape[1])]   # 0번은 const
# AIC 후진선택: 변수를 하나씩 뺀 모델의 aic 를 비교해 가장 작아지는 변수를 제거, 더 안 줄면 중단

from sklearn.linear_model import LinearRegression, Ridge, Lasso
LinearRegression(fit_intercept=False)                 # 절편 제외
Ridge(alpha=1.0); Lasso(alpha=0.1)                    # 문제가 준 규제식과 sklearn 목적함수의 스케일이 다를 수 있다

from sklearn.cluster import KMeans, DBSCAN, AgglomerativeClustering
from sklearn.metrics import silhouette_score
from scipy.spatial.distance import pdist, cdist, squareform

km = KMeans(n_clusters=3, random_state=42, n_init=10).fit(X)
km.labels_; km.cluster_centers_; km.inertia_          # inertia_ = 군집 내 제곱거리 합
silhouette_score(X, km.labels_)

DBSCAN(eps=0.5, min_samples=5).fit(X).labels_         # min_samples 에 자기 자신 포함, 잡음은 -1
DBSCAN(eps=0.5, min_samples=5, metric='precomputed').fit(squareform(pdist(X)))   # 거리행렬을 직접 줄 때
AgglomerativeClustering(n_clusters=3, linkage='complete')   # 최장 complete · 최단 single · average · ward

def dunn(X, lab):                                     # 군집 간 최소거리 / 군집 내 최대거리
    ks = np.unique(lab)
    inter = min(cdist(X[lab == a], X[lab == b]).min() for i, a in enumerate(ks) for b in ks[i+1:])
    intra = max(pdist(X[lab == k]).max() for k in ks if (lab == k).sum() > 1)
    return inter / intra

from sklearn.ensemble import IsolationForest
from sklearn.neighbors import LocalOutlierFactor
IsolationForest(contamination=0.05, random_state=42).fit_predict(X)     # -1 이 이상치
LocalOutlierFactor(n_neighbors=20, contamination=0.05).fit_predict(X)   # -1 이 이상치

from sklearn.decomposition import PCA

pca = PCA(n_components=2).fit(Xs)             # 스케일링 후
pca.explained_variance_ratio_; pca.components_
Xr = pca.inverse_transform(pca.transform(Xs))  # 복원
((Xs - Xr) ** 2).mean()                        # 재구성 오차

U, S, Vt = np.linalg.svd(Xs - Xs.mean(0), full_matrices=False)   # PCA = 중심화 후 SVD
Z = (Xs - Xs.mean(0)) @ Vt[:k].T               # k 차원으로 축소 (np.matmul, np.linalg.inv 를 직접 쓰라는 문제도 있었다)

from imblearn.over_sampling import SMOTE, RandomOverSampler
from imblearn.under_sampling import RandomUnderSampler
X_res, y_res = SMOTE(random_state=42).fit_resample(X_tr, y_tr)   # train 에만. valid·test 는 그대로

from sklearn.model_selection import GridSearchCV, StratifiedKFold
from sklearn.ensemble import RandomForestClassifier, AdaBoostClassifier, VotingClassifier
from xgboost import XGBClassifier
xgb = XGBClassifier(n_estimators=300, learning_rate=0.1, max_depth=4,
                    subsample=0.7, colsample_bytree=0.7, random_state=42)
gs = GridSearchCV(xgb, {'max_depth': [3, 5], 'learning_rate': [0.05, 0.1]},
                  scoring='f1_macro', cv=StratifiedKFold(5, shuffle=True, random_state=42), n_jobs=-1)
gs.fit(X_tr, y_tr); gs.best_params_, gs.best_score_      # 「선정한 모형을 재학습시키지 마라」 같은 지문이 있다
vote = VotingClassifier([('xgb', xgb), ('rf', RandomForestClassifier(random_state=42))], voting='soft')

from sklearn.linear_model import LogisticRegression
lr = LogisticRegression(penalty='l1', solver='liblinear', C=1/lam, class_weight={0: 1, 1: w})   # C = 1/λ
np.exp(lr.coef_)                          # 오즈비. 다중 클래스의 coef_ 는 (클래스, 변수)
# sklearn 1.8 부터 penalty 는 deprecated → l1_ratio=1 (공식 문서 기준)

from sklearn.metrics import (f1_score, precision_score, recall_score, roc_auc_score,
                             mean_absolute_error, mean_absolute_percentage_error, root_mean_squared_error, r2_score)
f1_score(y, p, average='macro')           # macro = 클래스별 F1 의 단순 평균
roc_auc_score(y, proba[:, 1])             # 이진
roc_auc_score(y, proba, multi_class='ovr')   # 다중 클래스. 0 번 확률은 proba[:, 0]
mean_absolute_percentage_error(y, p)      # 0.1 = 10% (퍼센트가 아니라 비율)
root_mean_squared_error(y, p)             # 구버전이면 np.sqrt(mean_squared_error(y, p))

t.pivot_table(index='cust', columns='cat', values='days', aggfunc='min', fill_value=999)   # 없는 칸은 R=999, F·M=0

from sklearn.model_selection import TimeSeriesSplit
list(TimeSeriesSplit(n_splits=14).split(X))     # 백테스트: 시간 순서 유지, 미래가 학습에 들어가지 않는다

import networkx as nx
nx.degree_centrality(G)                         # 정규화됨 = 차수 / (n-1).  G.degree(v) 는 그냥 차수

from sklearn.metrics.pairwise import cosine_similarity
from scipy.spatial.distance import jaccard, cdist
cdist(A, B, metric='minkowski', p=3)            # 유클리드는 p=2, 맨해튼은 p=1