과적합(overfitting)과 과소적합(underfitting)이란 무엇인가요?

Question

Accepted Answer

**과적합**(모델이 훈련 데이터를 암기해 새 데이터에 실패)과 **과소적합**(모델이 패턴을 포착하기에 너무 단순)은 ML의 두 가지 근본적 문제입니다. 이 둘의 균형 — 좋은 일반화를 달성하는 것 — 은 효과적인 모델 구축의 핵심입니다.

## 과적합 vs 과소적합

```text
과적합(OVERFITTING) → model이 훈련 데이터를 너무 잘 학습(노이즈까지 포함) →
  → 훈련 데이터에서는 훌륭하지만 새/미본 데이터에서 부진(일반화 안 됨)
  → 너무 복잡; 일반 패턴을 학습하기보다 암기
  → 개념을 이해하는 대신 답을 암기하는 것과 같음
과소적합(UNDERFITTING) → model이 기저 패턴을 포착하기에 너무 단순 →
  → 훈련 데이터와 새 데이터 둘 다에서 부진
  → 패턴을 학습할 복잡성/용량이 부족
→ 목표는 일반화: 실제 패턴을 학습 → 새 데이터에서 잘 수행
```

## 인식하기

```text
→ 과적합 → 높은 훈련 정확도, 낮은 테스트 정확도(큰 격차)
→ 과소적합 → 낮은 훈련 정확도 AND 낮은 테스트 정확도(전반적으로 부진)
→ 좋은 적합 → 좋은 훈련 정확도 AND 좋은 테스트 정확도(잘 일반화)
→ 훈련 대 테스트 성능 격차가 과적합을 드러냄
```

## 해결하기

```text
과적합 → 단순화 또는 정규화:
  → 더 많은 훈련 DATA; 정규화(REGULARIZATION, 복잡성 페널티); 더 단순한 model; dropout(NN);
    조기 종료; 교차 검증
과소적합 → 용량 증가:
  → 더 복잡한 model; 더 나은 특성(FEATURES); 더 오래 훈련; 정규화 감소
→ 암기하지 않고 데이터에 적합하도록 model 복잡성의 균형을 맞춤(편향-분산 트레이드오프)
```

## 왜 중요한가

과적합과 과소적합을 이해하는 것은 가치 있습니다. 이들은 모델이 실제로 작동하는지를 결정하는 **ML의 근본적 문제**이므로, 이를 이해하는 것은 필수적인 ML 지식입니다.

이 두 문제는 효과적인 모델 구축의 핵심입니다.

**과적합**(model이 노이즈까지 포함해 훈련 데이터를 암기, 훈련에서는 잘 수행하지만 새 데이터에서 부진 — 너무 복잡해 일반 패턴 학습 대신 암기)과 **과소적합**(model이 패턴을 포착하기에 너무 단순, 훈련과 새 데이터 둘 다에서 부진)을 이해하면 두 가지 실패 모드가 명확해지며, 목표는 **일반화**(새 데이터에서 잘 수행하도록 실제 패턴을 학습)입니다.

**인식하는 법** — 과적합은 높은 훈련 정확도지만 낮은 테스트 정확도(큰 격차), 과소적합은 둘 다 낮은 정확도, 좋은 적합은 둘 다 좋은 정확도 — 을 이해하는 것은 모델 문제를 진단하는 실무 지식이며, 훈련 대 테스트 격차가 과적합의 핵심 신호입니다.

**해결하는 법** — 과적합은 더 많은 데이터, 정규화, 더 단순한 model, dropout, 조기 종료, 교차 검증으로; 과소적합은 더 복잡한 model, 더 나은 특성, 더 오래 훈련으로 — 을 이해하면 이 문제들을 고치는 실용적 도구를 얻으며, model 복잡성(편향-분산 트레이드오프)의 균형을 맞춥니다.

특히 과적합은 ML에서 만연하고 결정적인 문제(훈련에서는 작동하지만 프로덕션에서 실패하는 모델)이며, 이(와 과소적합)를 이해하는 것은 실제로 일반화되어 실제 데이터에서 작동하는 모델을 구축하는 데 필수입니다.

과적합과 과소적합은 모델이 실제로 작동하는지(새 데이터로 일반화)를 결정하는 근본적 ML 문제이고 이를 이해하고 인식하고 해결하는 것이 효과적인 모델 구축에 필수이므로, 과적합과 과소적합을 이해하는 것은 가치 있고 필수적인 ML 지식입니다. 이는 작동하는(일반화하는) 모델 구축의 핵심인 근본적 문제이며, 훈련/테스트 격차로 과적합을 진단하고 둘 다 해결하는 기법을 다루어 ML 모델을 구축하거나 이해하는 모든 이에게 필수입니다.