overfitting と underfitting とは何ですか？

Question

Accepted Answer

**Overfitting** は model が training data を memorizing し、新しい data で失敗することです。**Underfitting** は model が単純すぎて pattern を捉えられないことです。両者の balance を取り、良い generalization を得ることが effective model 作成の中心です。

## Overfitting vs underfitting

```text
OVERFITTING → training data を TOO well に学ぶ (noise まで含む):
  → training data では great、new/unseen data では POOR
  → model が complex すぎ、general pattern ではなく memorization になる
UNDERFITTING → model が TOO SIMPLE で underlying patterns を capture できない:
  → training data と new data の BOTH で poor performance
→ goal は GENERALIZATION: real patterns を学び NEW data で良く動くこと
```

## 見分け方

```text
→ OVERFITTING → high training accuracy, LOW test accuracy (big gap)
→ UNDERFITTING → LOW training AND test accuracy
→ GOOD FIT → good training AND test accuracy
```

## 対処方法

```text
OVERFITTING → simplify or regularize:
  → more training DATA, REGULARIZATION, simpler model, dropout, early stopping, cross-validation
UNDERFITTING → increase capacity:
  → more complex model, better FEATURES, train longer, reduce regularization
→ model complexity を balance する (bias-variance trade-off)
```

## なぜ重要なのか

overfitting と underfitting は、model が本当に使えるかを決める fundamental ML problem です。特に overfitting は training では良く見えるのに production で失敗する典型的な原因です。train/test gap を読み、complexity と regularization を調整できることは ML の基本です。