Kaip vertinate mašininio mokymo modelius?

Question

Accepted Answer

Mašininio mokymo modelių vertinimas reiškia matavimą, kaip gerai jie veikia — naudojant atitinkamas **metrikos** (tikslumą, precizikumą, pilnumą ir kt.) **testiniuose duomenimis**, kuriuos modelis anksčiau nematė. Tinkamas vertinimas yra būtinas norint sužinoti, ar modelis iš tikrųjų veikia ir yra patikimas.

## Vertinimas nematytais duomenimis

```text
→ evaluate on a TEST set the model did NOT train on → measures GENERALIZATION (real performance)
→ training accuracy alone is misleading (a model can memorize training data)
→ train/validation/test split; cross-validation → reliable performance estimates
```

## Dažniausios metrikos

```text
CLASSIFICATION:
  ACCURACY → % correct (but misleading for IMBALANCED data — e.g. 99% 'not fraud')
  PRECISION → of predicted positives, how many are actually positive (avoid false positives)
  RECALL → of actual positives, how many were found (avoid false negatives/missing cases)
  F1 → balance of precision and recall
  CONFUSION MATRIX → true/false positives/negatives breakdown
REGRESSION:
  MAE, MSE/RMSE → average prediction error (how far off predictions are)
→ choose metrics that fit the problem (accuracy isn't always right)
```

## Kodėl reikšminga teisinga metrika

```text
⚠️ ACCURACY can MISLEAD on imbalanced data (predict 'no disease' always → high accuracy,
  useless model)
→ PRECISION vs RECALL trade-off → depends on the cost of false positives vs false negatives
  (e.g. medical: high recall to not miss disease; spam: precision to not block real emails)
→ pick metrics aligned with what MATTERS for the use case
```

## Kodėl tai svarbu

Supratimas, kaip vertinti mašininio mokymo modelius, yra vertingas, nes **tinkamas vertinimas yra būtinas norint sužinoti, ar modelis iš tikrųjų veikia**, todėl tai svarbi mašininio mokymo žinių dalis.

Be tinkamo vertinimo negalite sužinoti, ar modelis yra patikimas.

Supratimas apie **vertinimą nematytais duomenimis** — testinimą duomenimis, kuriuos modelis netreniravosi, siekiant išmatuoti apibendrinimą (realų veikimą), nes tik treniravimo tikslumas gali būti klaidinantis (modeliai gali įsiminti treniravimo duomenis), naudojant treniravimo/validacijos/testų padalijimus ir kryžminį patikrinimą — yra prasmingo vertinimo pagrindas.

Supratimas apie **dažniausias metrikos** — klasifikacijai: tikslumą (% teisingų, bet klaidinantis nesubalansuotiems duomenims), **precizikumą** (iš numatytų teigiamų, kiek iš jų iš tikrųjų teigiami), **pilnumą** (iš tikrųjų teigiamų, kiek jų buvo rasta), F1 (balansuojant precizikumą ir pilnumą) ir sumaišymo matricą; regresijai: MAE ir RMSE (vidutinė paklaida) — suteikia priemones veikimui matuoti, svarbiausia, kad **teisinga metrika priklauso nuo problemos**.

Supratimas apie **kodėl reikšminga teisinga metrika** yra pagrindinė įžvalga: **tikslumas gali klaidinti nesubalansuotus duomenis** (visada numatant dažniausią klasę gaunamas aukštas tikslumas, bet nenaudingas modelis — kritinis spąstai), o **precizikumo ir pilnumo kompromisas** priklauso nuo klaidingai teigiamų ir klaidingai neigiamų kaštų (didelis pilnumas medicinos diagnostikoje, kad neprarastumėte ligos, didelis precizikumas šlamšto filtravime, kad nebūtų blokuojami tikri laiškai).

Metrikų parinkimas, suderintas su tuo, kas svarbūs naudojimo atvejui, yra būtinas, nes neteisinga metrika (pavyzdžiui, tikslumas nesubalansuotiems duomenims) suteikia klaidingą modelio veikimo įspūdį.

Tinkamas vertinimas (nematyti duomenys, atitinkamos metrikos) yra būtinas patikimam mašininiam mokymuim — modelis, kuris nėra tinkamai vertinamas, gali nepavykti produkcijoje, nors ir atrodo geras.

Kadangi tinkamas vertinimas yra būtinas norint sužinoti, ar modelis iš tikrųjų veikia (apibendrina, yra patikimas) ir jo supratimas — vertinimas nematytais duomenimis, dažniausios metrikos ir svarbiausia — teisingo metrikos pasirinkimas (vengiant tikslumo nesubalansuotiems duomenims ir balansuojant precizikumą/pilnumą pagal naudojimo atvejį) — yra svarbi mašininio mokymo žinių dalis, mašininio mokymo modelių vertinimo supratimas yra vertingas, praktiškai svarbi mašininio mokymo žinių dalis — būtina norint sužinoti, ar modeliai iš tikrųjų veikia (per nematytų duomenų vertinimą ir atitinkamas metrikos), atsižvelgiant į kritinę įžvalgą, kad teisinga metrika priklauso nuo naudojimo atvejo (vengiama klaidinančių metrikų, tokių kaip tikslumas nesubalansuotiems duomenims), svarbi patikimam mašininiam mokymuim.