Što su overfitting i underfitting?

Question

Accepted Answer

**Overfitting** (model memorira podatke iz skupa za treniranje i ne uspijeva na novim podacima) i **underfitting** (model je previše jednostavan da bi uhvatio obrasce) su dva temeljna problema u ML-u. Uravnotežavanje između njih — postizanje dobre generalizacije — je ključno za izgradnju učinkovitih modela.

## Overfitting nasuprot underfitting

```text
OVERFITTING → the model learns the training data TOO well (including noise) →
  → performs great on training data but POORLY on new/unseen data (doesn't generalize)
  → too complex; memorizes rather than learns general patterns
  → like memorizing answers vs understanding the concept
UNDERFITTING → the model is TOO SIMPLE to capture the underlying patterns →
  → performs poorly on BOTH training and new data
  → not enough complexity/capacity to learn the patterns
→ the goal is GENERALIZATION: learn real patterns → perform well on NEW data
```

## Njihovo prepoznavanje

```text
→ OVERFITTING → high training accuracy, LOW test accuracy (big gap)
→ UNDERFITTING → LOW training AND test accuracy (poor overall)
→ GOOD FIT → good training AND test accuracy (generalizes well)
→ the train-vs-test performance gap reveals overfitting
```

## Njihovo rješavanje

```text
OVERFITTING → simplify or regularize:
  → more training DATA; REGULARIZATION (penalize complexity); simpler model; dropout (NNs);
    early stopping; cross-validation
UNDERFITTING → increase capacity:
  → a more complex model; better FEATURES; train longer; reduce regularization
→ balance model complexity to fit the data without memorizing (the bias-variance trade-off)
```

## Zašto je to važno

Razumijevanje overfitting-a i underfitting-a je vrijednih jer su **temeljni problemi u ML-u** koji određuju da li modeli zapravo funkcioniraju, pa je razumijevanje njih esencijalno ML znanje.

Ova dva problema su centralna za izgradnju učinkovitih modela.

Razumijevanje **overfitting-a** (model memorira podatke iz skupa za treniranje uključujući šum, dobro radi na treniranju ali slabo na novim podacima — previše je kompleksan i memorira umjesto da nauči općenite obrasce) i **underfitting-a** (model je previše jednostavan da bi uhvatio obrasce, loše radi i na treniranju i na novim podacima) pojašnjava dva moda neuspjeha, s ciljem biti **generalizacija** (učenje pravih obrazaca kako bi se dobro pokazao na novim podacima).

Razumijevanje kako ih **prepoznati** — overfitting pokazuje visoku točnost treniranja ali nisku točnost testa (veliki razmak), underfitting pokazuje nisku točnost na oboje, a dobar fit pokazuje dobru točnost na oboje — je praktično znanje za dijagnozu problema modela, s razmakom između treniranja i testa kao ključnim signalom overfitting-a.

Razumijevanje kako ih **riješiti** — overfitting preko više podataka, regularizacije, jednostavnijih modela, dropout-a, ranog zaustavljanja i unakrsne validacije; underfitting preko složenijih modela, boljih svojstava i duljeg treniranja — daje praktični skup alata za rješavanje ovih problema, balansirajući kompleksnost modela (trade-off između pristranosti i varijance).

Overfitting je osobito raširen, kritičan problem u ML-u (modeli koji rade pri treniranju ali ne uspijevaju u produkciji), i razumijevanje ga (i underfitting-a) je esencijalno za izgradnju modela koji zapravo generaliziraju i rade na stvarnim podacima.

Budući da su overfitting i underfitting temeljni ML problemi koji određuju da li modeli zapravo rade (generaliziraju na nove podatke) i razumijevanje njih, njihovo prepoznavanje i rješavanje je esencijalno za izgradnju učinkovitih modela, razumijevanje overfitting-a i underfitting-a je vrijedko, esencijalno ML znanje — temeljni problemi centralni za izgradnju modela koji rade (generaliziraju), s razmakom između treniranja i testa koji dijagnosticira overfitting i tehnike za rješavanje obojega, esencijalne za svakoga tko gradi ili razumije ML modele.