Aşırı uyum (overfitting) ve yetersiz uyum (underfitting) nedir?

Question

Accepted Answer

**Aşırı uyum** (model eğitim verilerini ezberlediği için yeni veriler üzerinde başarısız olması) ve **yetersiz uyum** (model desenleri yakalamak için çok basit olması) ML'deki iki temel sorundur. Bunları dengelemek — iyi genelleştirme başarmak — etkili modeller oluşturmanın merkezinde yer alır.

## Aşırı uyum vs yetersiz uyum

```text
OVERFITTING → the model learns the training data TOO well (including noise) →
  → performs great on training data but POORLY on new/unseen data (doesn't generalize)
  → too complex; memorizes rather than learns general patterns
  → like memorizing answers vs understanding the concept
UNDERFITTING → the model is TOO SIMPLE to capture the underlying patterns →
  → performs poorly on BOTH training and new data
  → not enough complexity/capacity to learn the patterns
→ the goal is GENERALIZATION: learn real patterns → perform well on NEW data
```

## Bunları tanımak

```text
→ OVERFITTING → high training accuracy, LOW test accuracy (big gap)
→ UNDERFITTING → LOW training AND test accuracy (poor overall)
→ GOOD FIT → good training AND test accuracy (generalizes well)
→ the train-vs-test performance gap reveals overfitting
```

## Bunları çözmek

```text
OVERFITTING → simplify or regularize:
  → more training DATA; REGULARIZATION (penalize complexity); simpler model; dropout (NNs);
    early stopping; cross-validation
UNDERFITTING → increase capacity:
  → a more complex model; better FEATURES; train longer; reduce regularization
→ balance model complexity to fit the data without memorizing (the bias-variance trade-off)
```

## Neden önemli

Aşırı uyum ve yetersiz uyumu anlamak değerlidir çünkü bunlar **ML'deki temel sorunlar** olup modellerin gerçekten çalışıp çalışmadığını belirledikleri için, bunları anlamak temel ML bilgisidir.

Bu iki sorun etkili modeller oluşturmanın merkezindedir.

**Aşırı uyumu** (modelin eğitim verilerini gürültü de dahil olmak üzere ezberlediği, eğitim verilerine iyi performans göstermesine rağmen yeni veriler üzerinde kötü performans göstermesi — çok karmaşık olup genel desenleri öğrenmek yerine ezberlemesi) ve **yetersiz uyumu** (modelin desenleri yakalamak için çok basit olması, hem eğitim hem de yeni veriler üzerinde kötü performans göstermesi) anlamak iki başarısızlık modunu açıklığa kavuşturur ve hedef **genelleştirmedir** (gerçek desenleri öğrenerek yeni veriler üzerinde iyi performans göstermek).

**Bunları tanıyabilmek** — aşırı uyum yüksek eğitim ancak düşük test doğruluğu göstermesi (büyük bir boşluk), yetersiz uyum her ikisinde de düşük doğruluk göstermesi ve iyi uyum her ikisinde de iyi doğruluk göstermesi — model sorunlarını teşhis etmek için pratik bilgidir ve eğitim-test boşluğu aşırı uyumun temel göstergesidir.

**Bunları ele almayı bilmek** — aşırı uyum için daha fazla veri, düzenlileştirme, daha basit modeller, `dropout`, erken durdurma ve çapraz doğrulama; yetersiz uyum için daha karmaşık modeller, daha iyi özellikler ve daha uzun eğitim — bu sorunları çözmek için pratik araç takımını sağlar ve model karmaşıklığını (yanlılık-varyans ödünleşimi) dengeler.

Özellikle aşırı uyum ML'de yaygın ve kritik bir sorundur (eğitim verilerinde çalışan ancak üretimde başarısız olan modeller) ve bunu (ve yetersiz uyumu) anlamak modellerin gerçekten genelleştirilmesi ve gerçek veriler üzerinde çalışması için gereklidir.

Aşırı uyum ve yetersiz uyum temel ML sorunları olduğundan — modellerin gerçekten çalışıp çalışmadığını (yeni verilere genelleşip genelleşmediğini) belirlemeleri — ve bunları anlamak, tanımak ve ele almak etkili modeller oluşturmak için gerekli olduğundan, aşırı uyum ve yetersiz uyumu anlamak değerli, temel ML bilgisidir — çalışan modeller oluşturmanın merkezinde yer alan temel sorunlar (genelleştirme), eğitim/test boşluğu aşırı uyumu teşhis etmesi ve her ikisini ele almak için teknikler — ML modelleri oluşturan veya anlamaya çalışan herkes için gereklidir.