Kodėl duomenų kokybė ir kiekis yra svarbūs ML?

Question

Accepted Answer

ML sistemose **duomenys yra kritiniai** — mokymo duomenų kokybė ir kiekis labai didelę dalį lemia modelio veiksmingumą. Principas "į — iš" (angl. "garbage in, garbage out") čia labai tinka: net puikūs algoritmai nesugeba dirbti su blogais duomenimis, o geri duomenys dažnai yra svarbesnė nei algoritmo pasirinkimas.

## Kodėl duomenys tokie svarbūs

```text
ML models LEARN from data → the data fundamentally shapes what they learn:
  → GARBAGE IN, GARBAGE OUT → poor data → poor model (no algorithm fixes bad data)
  → good DATA is often MORE impactful than the algorithm (data > model tweaks, often)
  → models can only be as good as the data they learn from
→ data is frequently the most important factor in ML success
```

## Duomenų kokybė

```text
✓ ACCURATE/correct → wrong labels/values → the model learns wrong things
✓ RELEVANT → data representative of the real problem/distribution
✓ CLEAN → handle missing values, errors, duplicates, noise
✓ UNBIASED → biased data → biased model (perpetuates/amplifies bias — a serious issue)
✓ CONSISTENT, well-labeled → good labels are crucial for supervised learning
```

## Duomenų kiekis ir reprezentatyvumas

```text
✓ ENOUGH data → models (especially deep learning) need sufficient examples to learn patterns
✓ REPRESENTATIVE → data should cover the real-world cases/distribution the model will face
  → if training data doesn't represent reality → poor real-world performance
⚠️ data issues: too little, unrepresentative, biased, mislabeled, leakage → cause model failures
→ much ML effort goes into DATA (collecting, cleaning, labeling) — often the hard part
```

## Kodėl tai svarbu

Supratimas, kodėl duomenų kokybė ir kiekis yra svarbūs, yra vertingas, nes **duomenys dažnai yra svarbiausias veiksnys ML sėkmėje**, todėl suprasti jų kritinį vaidmenį yra būtina ML žinių dalis.

Principas, kad **duomenys yra kritiniai** ML sistemose — kai kokybė ir kiekis labai didelę dalį lemia modelio veiksmingumą — yra fundamentali intuicija, kurią dažnai nepakankamam pavertina tie, kurie sutelkti į algoritmus.

Supratimas, **kodėl duomenys tokie svarbūs** — kad modeliai mokosi iš duomenų, taigi duomenys formuoja tai, ką jie išmoksta, kad **„į — iš" principas** (blogi duomenys duoda blogus modelius, kuriuos niekas neatitaisys), ir kad **geri duomenys dažnai yra svarbesnė nei algoritmas** (duomenys yra svarbesni nei modelio reguliavimas) — paaiškina duomenų centrinį vaidmenį, ištaisydamas paprastą algoritminį perdėmą.

Supratimas, **duomenų kokybę** — reikalingus tikslius/teisingus duomenis (neteisingi žymėjimai dėsto neteisias dalykus), relevantiškus ir reprezentatyvius duomenis, valytus duomenis (tvarkant trūkstamas reikšmes, klaidas, triukšmą), **negatyviai paslinktus duomenis** (nes slinkti duomenys duoda slinktus modelius, rimta problema), ir gerus žymėjimus (esminius prižiūrimamame mokymėjimui) — paaiškina duomenų kokybės aspektus, veikiančius modelius.

Supratimas, **duomenų kiekį ir reprezentatyvumą** — reikalingus pakankamai duomenų (ypač giluminiame mokymėjimui) ir **reprezentatyvius duomenis** (apimančius realaus pasaulio atvejai, nes nereprezentacyvūs mokymo duomenys daro blogą realaus pasaulio veiksmingumą) — paaiškina kiekio ir aprėpties reikalavimus.

Supratimas, kad **didelė ML pastanga skirta duomenims** (surinkimas, valymas, žymėjimas — dažnai sunkiausia dalis) atspindi praktinę ML darbo realybę.

Šis supratimas (duomenų kritinis vaidmuo, kokybės aspektai, įskaitant šališkumą, kiekis ir reprezentatyvumas) yra būtinas, nes duomenų problemos (bloga kokybė, šališkumas, nereprezentayvumas) yra dažniausiai ML gedimų priežastys, ir pripaţinti duomenų pirmenybę yra raktas į ML sėkmę.

Kadangi duomenys dažnai yra svarbiausias veiksnys ML sėkmėje (kai kokybė ir kiekis labai didelę dalį lemia veiksmingumą, „į — iš" principas, ir duomenys dažnai daug svarbesnė nei algoritmas) ir supratimas apie jų kritinį vaidmenį — kokybės aspektus, įskaitant šališkumą, kiekį ir reprezentatyvumą — yra būtina ML žinių dalis, supratimas, kodėl duomenų kokybė ir kiekis yra svarbūs, yra vertingas, būtinas ML žinias — aiškindamas duomenų kritinį, dažnai nepakankamam vertintą vaidmenį ML sėkmėje (kokybė, kiekis, reprezentatyvumas ir šališkumo išvengimas), ištaisydamas algoritminį perdėmą, ir būtinas suprasti, kodėl ML sėkmės ar nesėkmes (dažniausiai dėl duomenų).