결측치(Missing Values) 처리

결측치란?

데이터 분석에서는 데이터가 완전한 경우가 거의 없습니다.

예를 들어 "누군가 설문을 제출했지만 나이를 안 적었다", "센서가 잠깐 오작동해서 온도가 기록되지 않았다."

등 수많은 이유로 인해 결측치는 자연스럽게 발생합니다.

 

이 결측치를 제대로 처리하지 않으면 모델 성능이 급격히 떨어지고, 분석 결과가 왜곡되는 치명적인 문제가 생깁니다.

 

결측치가 발생하는 대표적인 이유는 다음과 같습니다.

$이 외에도 다양한 이유가 있습니다.$

원인	예시
입력 누락	사용자가 설문 항목을 건너뜀
수집 오류	센서 고장, API 응답 없음
시스템 마이그레이션 문제	새로운 시스템에 값이 안 옮겨짐
의도적 생략	민감 정보 $수입 등$ 미기재

 

만일 위와같은 원인으로 결측치가 발생했는데 무시하고 분석할 경우 다음과 같은 오류 및 실패가 발생할 수 있습니다.

• 통계량 계산 오류
  • 평균, 분산, 상관관계 등에서 NaN이 섞이면 정확한 결과가 나오지 않음
• 시각화 오류
  • 결측치가 있는 데이터를 시각화하면 이상한 그래프가 그려지거나 에러 발생.
• 모델 학습 실패
  • 대부분의 머신러닝 라이브러리$scikit-learn 등$는 결측치를 포함한 상태로 학습 불가.

이제 부터 결측치 탐지 및 처리 방법에 대해 알아보도록 하겠습니다.

 

결측치 탐지 및 처리 방법

이번에 사용할 데이터 셋은 kaggle의 Titanic-Dataset.csv 입니다.

Titanic-Dataset.csv

0.06MB

 

import pandas as pd

df = pd.read_csv('titanic.csv')
df.isnull().sum()

• .isnull 또는 .isna 는 True/False 반환
• .sum 으로 각 열에 몇 개의 결측치가 있는지 파악

또는 .info 로 전체 데이터 타입과 결측 유무를 확인할 수 있습니다.

df.info()

 

결측치 처리 방법

1. 삭제 $Drop$

 - 단순하고 안전한 방법이지만 정보 손실이 클 수 있습니다. 

$그리고 Drop을 하기전에 df를 복사해서 원본 데이터를 저정하는 방법을 추천드립니다.$

df_copy = df.copy() # 원본 데이터 셋 복사


df_copy.dropna(inplace=True) # 행 삭제
df_copy.isnull().sum() # 결측치가 삭제되었는지 확인

# 특정 열만 삭제
df.drop(columns=['Cabin'], inplace=True)

 

상황에 따라 다르겠지만 삭제하는 방법보다는 대체$Imputation$을 사용하는 방법이 더 좋습니다.

 

2. 평균/중앙값 대체 $수치형에 자주 사용$

# Age: 평균값으로 대체
df['Age'].fillna(df['Age'].mean(), inplace=True)

 

3. 최빈값 대체 $범주형에 자주 사용$

# Embarked: 최빈값으로 대체
df['Embarked'].fillna(df['Embarked'].mode()[0], inplace=True)

 

4. KNNImputer $다른 특성 기반 예측 값으로 채움$ 

KNNImputer의 대해서 간단하게 설명하자면 scikit-learn에서 제공하는 클래스입니다.

비슷한 값을 가진 샘플끼리 비교하여 결측치를 보완합니다.

예를 들어 Age가 결측인 승객의 나이 외 다른 특징$성별, 객실 등$이 유사한 사람들의 Age 평균으로 채워집니다.

from sklearn.impute import KNNImputer
import pandas as pd

# 분석에 사용할 수치형 열 선택 (예: Age, Fare 등)
num_cols = ['Age', 'Fare']

# KNNImputer는 수치형 데이터만 처리 가능하므로 해당 열만 추출
imputer = KNNImputer(n_neighbors=5)
df[num_cols] = imputer.fit_transform(df[num_cols])

# 확인
print(df[num_cols].isnull().sum())

 

 

• n_neighbors=5: 결측치를 채울 때 기준이 될 주변 5개 이웃의 평균값을 사용
• weights='uniform' $기본$: 이웃 가중치 동일, 'distance'를 설정하면 가까운 이웃일수록 가중치를 높임

주의 사항

- 모든 입력값은 스케일이 비슷해야 합니다. Fare처럼 값의 범위가 큰 경우 StandarScaler로 사전 정규화가 필요할 수 있습니다.

- 범주형 변수는 Label Encoding 후에 사용할 수 있지만, KNNImputer는 수치형에만 직접 적용해야 합니다.

 

전략	장점	단점	사용 조건
삭제	간단하고 빠름	정보 손실, 샘플 수 감소	결측치가 적거나 무작위로 분포할 때
평균/최빈값 대체	통계적으로 합리적이고 구현 쉬움	데이터의 분산을 축소하거나 왜곡 가능	데이터가 정규분포에 가까울 때
예측 기반 대체	가장 정확한 추정 가능	구현 복잡, 계산량 많음	고품질 데이터가 있고 성능이 중요할 때

 

결측치 관련 실수들

• 범주형 데이터에 평균값 대체: 범주형은 최빈값을 사용해야 함
• 학습용/테스트용 데이터에 다른 방식 적용: 일관된 처리 필요
• 대체 후 타입이 바뀌는 현상: .astype$int$으로 수치형 복원
• 숫자 0을 결측치로 오해: 0은 결측치가 아님

결측치가 많은 열은 Drop을 우선 고려하되, 해당 열이 의미 있는 정보를 담고 있다면 예측 기반 대체를 활용해야합니다.

.fillna는 inplace=True 옵션으로 원본 변경이 가능합니다.

sklearn의 SimpleImputer나 KNNImputer를 통해 파이프라인화도 가능합니다.

 

정리

결측치는 데이터 분석의 정확성을 해치는 대표적 원인 중 하나입니다.

반드시 탐지 후 원인 분석, 처리 전략 결정의 순서를 따라야 합니다.

처리 방식에 따라 분석 결과나 모델 성능이 크게 달라집니다.

 

참고 자료

• Kaggle Titanic Dataset
• Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow
• Scikit-learn 공식 문서: Imputation strategies