ਤੁਸ ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਮਾਡਲਾਂ ਦਾ ਮੁਲਾਂਕਣ ਕਿਵੇਂ ਕਰਦੇ ਹੋ?

Question

Accepted Answer

ML ਮਾਡਲਾਂ ਦਾ ਮੁਲਾਂਕਣ ਕਰਨਾ ਮਤਲਬ ਉਹਨਾਂ ਦੀ ਕਾਰਜਕੁਸ਼ਲਤਾ ਨੂੰ ਮਾਪਣਾ — ਢੁਕਵੇਂ **metrics** (accuracy, precision, recall, ਆਦਿ) ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ **test data** ਉੱਪਰ ਜੋ ਮਾਡਲ ਨੇ ਪਹਿਲਾਂ ਨਹੀਂ ਦੇਖਿਆ। ਸਹੀ ਮੁਲਾਂਕਣ ਜ਼ਰੂਰੀ ਹੈ ਤਾਂ ਕਿ ਪਤਾ ਚਲ ਸਕੇ ਕਿ ਮਾਡਲ ਅਸਲ ਵਿੱਚ ਕੰਮ ਕਰਦਾ ਹੈ ਅਤੇ ਭਰੋਸੇਮੰਦ ਹੈ।

## ਨਾ ਦੇਖੇ ਡੇਟਾ ਉੱਪਰ ਮੁਲਾਂਕਣ

```text
→ evaluate on a TEST set the model did NOT train on → measures GENERALIZATION (real performance)
→ training accuracy alone is misleading (a model can memorize training data)
→ train/validation/test split; cross-validation → reliable performance estimates
```

## ਸਾਧਾਰਨ metrics

```text
CLASSIFICATION:
  ACCURACY → % correct (but misleading for IMBALANCED data — e.g. 99% 'not fraud')
  PRECISION → of predicted positives, how many are actually positive (avoid false positives)
  RECALL → of actual positives, how many were found (avoid false negatives/missing cases)
  F1 → balance of precision and recall
  CONFUSION MATRIX → true/false positives/negatives breakdown
REGRESSION:
  MAE, MSE/RMSE → average prediction error (how far off predictions are)
→ choose metrics that fit the problem (accuracy isn't always right)
```

## ਸਹੀ metric ਕਿਉਂ ਮਾਇਨੇ ਰੱਖਦੀ ਹੈ

```text
⚠️ ACCURACY can MISLEAD on imbalanced data (predict 'no disease' always → high accuracy,
  useless model)
→ PRECISION vs RECALL trade-off → depends on the cost of false positives vs false negatives
  (e.g. medical: high recall to not miss disease; spam: precision to not block real emails)
→ pick metrics aligned with what MATTERS for the use case
```

## ਇਹ ਮਾਇਨੇ ਕਿਉਂ ਰੱਖਦਾ ਹੈ

ML ਮਾਡਲਾਂ ਦਾ ਮੁਲਾਂਕਣ ਕਰਨਾ ਕਿਵੇਂ ਕਰਨਾ ਹੈ ਇਹ ਸਮਝਣਾ ਮੁੱਲਵਾਨ ਹੈ ਕਿਉਂਕਿ **ਸਹੀ ਮੁਲਾਂਕਣ ਜ਼ਰੂਰੀ ਹੈ ਤਾਂ ਕਿ ਪਤਾ ਚਲ ਸਕੇ ਕਿ ਮਾਡਲ ਅਸਲ ਵਿੱਚ ਕੰਮ ਕਰਦਾ ਹੈ**, ਇਸ ਲਈ ਇਹ ਮਹੱਤਵਪੂਰਨ ML ਗਿਆਨ ਹੈ।

ਸਹੀ ਮੁਲਾਂਕਣ ਤੋਂ ਬਿਨਾਂ, ਤੁਸ ਨਹੀਂ ਦੱਸ ਸਕਦੇ ਕਿ ਮਾਡਲ ਭਰੋਸੇਮੰਦ ਹੈ।

**ਨਾ ਦੇਖੇ ਡੇਟਾ ਉੱਪਰ ਮੁਲਾਂਕਣ** ਨੂੰ ਸਮਝਣਾ — ਉਸ ਡੇਟਾ ਉੱਪਰ ਟੈਸਟ ਕਰਨਾ ਜੋ ਮਾਡਲ ਨੇ ਸਿਖਿਆ ਨਹੀਂ, ਤਾਂ ਕਿ generalization (ਅਸਲ ਕਾਰਜਕੁਸ਼ਲਤਾ) ਨੂੰ ਮਾਪਿਆ ਜਾ ਸਕੇ, ਕਿਉਂਕਿ training accuracy ਇਕਲੌਤੀ ਗੁਮਰਾਹ ਕੁੰਨ ਹੈ (ਮਾਡਲ training data ਨੂੰ ਯਾਦ ਕਰ ਸਕਦੇ ਹਨ), train/validation/test splits ਅਤੇ cross-validation ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ — ਅਰਥਵਾਲੇ ਮੁਲਾਂਕਣ ਦੀ ਬੁਨਿਆਦ ਹੈ।

**ਸਾਧਾਰਨ metrics** ਨੂੰ ਸਮਝਣਾ — classification ਲਈ: accuracy (% ਸਹੀ, ਪਰ ਅਸੰਤੁਲਿਤ ਡੇਟਾ ਲਈ ਗੁਮਰਾਹ), **precision** (ਪਵਿਛਾ ਹੋਏ positives ਵਿੱਚੋਂ, ਕਿਤਨੇ ਅਸਲ ਵਿੱਚ positive ਹਨ), **recall** (ਅਸਲ positives ਵਿੱਚੋਂ, ਕਿਤਨੇ ਮਿਲੇ), F1 (precision ਅਤੇ recall ਦੇ ਵਿੱਚ ਸਮਾਨਤਾ), ਅਤੇ confusion matrix; regression ਲਈ: MAE ਅਤੇ RMSE (ਔਸਤ ਗਲਤੀ) — ਕਾਰਜਕੁਸ਼ਲਤਾ ਨੂੰ ਮਾਪਣ ਲਈ ਟੂਲਕਿਟ ਫ਼ਰਾਹਮ ਕਰਦਾ ਹੈ, ਮਹੱਤਵਪੂਰਨ ਨੁਕਤਾ ਇਹ ਹੈ ਕਿ **ਸਹੀ metric ਸਮੱਸਿਆ 'ਤੇ ਨਿਰਭਰ ਕਰਦਾ ਹੈ**।

**ਸਹੀ metric ਕਿਉਂ ਮਾਇਨੇ ਰੱਖਦੀ ਹੈ** ਇਹ ਮੁੱਖ ਸਮਝ ਹੈ: **accuracy ਅਸੰਤੁਲਿਤ ਡੇਟਾ ਉੱਪਰ ਗੁਮਰਾਹ ਕਰ ਸਕਦੀ ਹੈ** (ਹਮੇਸ਼ਾ ਬਹੁਮਤ ਵਰਗ ਦਾ ਅਨੁਮਾਨ ਲਗਾਓ ਤਾਂ ਉੱਚੀ accuracy ਪਰ ਬੇਕਾਰ ਮਾਡਲ — ਇੱਕ ਮਮੋਜ਼ ਨੁਕਸਾਨ), ਅਤੇ **precision ਬਨਾਮ recall ਦਾ ਟਰੇਡ-ਅੱਫ** false positives ਬਨਾਮ false negatives ਦੀ ਲਾਗਤ ਉੱਪਰ ਨਿਰਭਰ ਕਰਦਾ ਹੈ (ਦਵਾਈ ਦਸ਼ ਵਿੱਚ ਉੱਚਾ recall ਤਾਂ ਕਿ ਬਿਮਾਰੀ ਮਿਸ ਨ ਹੋਵੇ, spam ਫ਼ਿਲਟਰਿੰਗ ਵਿੱਚ ਉੱਚੀ precision ਤਾਂ ਕਿ ਅਸਲ ਈ-ਮੇਲ ਬਲੌਕ ਨ ਹੋਵੇ)।

use case ਲਈ ਮਾਇਨੇ ਰੱਖਣ ਵਾਲੇ metrics ਨੂੰ ਚੁਣਨਾ ਜ਼ਰੂਰੀ ਹੈ, ਕਿਉਂਕਿ ਗਲਤ metric (ਜਿਵੇਂ accuracy ਅਸੰਤੁਲਿਤ ਡੇਟਾ ਉੱਪਰ) ਮਾਡਲ ਦੇ ਕੰਮ ਕਰਨ ਦਾ ਝੂਠਾ ਸੰਵੇਦਨਹਾਲਤਾ ਦਿੰਦਾ ਹੈ।

ਸਹੀ ਮੁਲਾਂਕਣ (ਨਾ ਦੇਖਿਆ ਡੇਟਾ, ਢੁਕਵੇਂ metrics) ਭਰੋਸੇਮੰਦ ML ਬਣਾਉਣ ਲਈ ਜ਼ਰੂਰੀ ਹੈ — ਉਚਿਤ ਰੂਪ ਨਾਲ ਮੁਲਾਂਕਣ ਕੀਤਾ ਨਾ ਜਾਣ ਵਾਲਾ ਮਾਡਲ ਚੰਗਾ ਦਿਖਾਈ ਦੇਣ ਦੇ ਬਾਵਜੂਦ production ਵਿੱਚ ਫੇਲ ਹੋ ਸਕਦਾ ਹੈ।

ਕਿਉਂਕਿ ਸਹੀ ਮੁਲਾਂਕਣ ਜ਼ਰੂਰੀ ਹੈ ਤਾਂ ਕਿ ਪਤਾ ਚਲ ਸਕੇ ਕਿ ਮਾਡਲ ਅਸਲ ਵਿੱਚ ਕੰਮ ਕਰਦਾ ਹੈ (generalize ਕਰਦਾ ਹੈ, ਭਰੋਸੇਮੰਦ ਹੈ) ਅਤੇ ਇਸ ਨੂੰ ਸਮਝਣਾ — ਨਾ ਦੇਖੇ ਡੇਟਾ ਉੱਪਰ ਮੁਲਾਂਕਣ, ਸਾਧਾਰਨ metrics, ਅਤੇ ਮੁੱਖ ਤੌਰ 'ਤੇ ਸਹੀ metric ਨੂੰ ਚੁਣਨਾ (accuracy-on-imbalanced-data ਨੁਕਸਾਨ ਤੋਂ ਬਚਨਾ ਅਤੇ precision/recall ਨੂੰ use case ਅਨੁਸਾਰ ਸੰਤੁਲਿਤ ਕਰਨਾ) — ਮਹੱਤਵਪੂਰਨ ML ਗਿਆਨ ਹੈ, ML ਮਾਡਲਾਂ ਦਾ ਮੁਲਾਂਕਣ ਕਰਨਾ ਕਿਵੇਂ ਕਰਨਾ ਹੈ ਇਹ ਸਮਝਣਾ ਮੁੱਲਵਾਨ, practically-ਮਹੱਤਵਪੂਰਨ ML ਗਿਆਨ ਹੈ — ਜ਼ਰੂਰੀ ਤਾਂ ਕਿ ਪਤਾ ਚਲ ਸਕੇ ਕਿ ਮਾਡਲ ਅਸਲ ਵਿੱਚ ਕੰਮ ਕਰਦੇ ਹਨ (unseen-data evaluation ਅਤੇ ਢੁਕਵੇਂ metrics ਰਾਹੀਂ), ਮਹੱਤਵਪੂਰਨ ਸਮਝ ਇਹ ਹੈ ਕਿ ਸਹੀ metric use case 'ਤੇ ਨਿਰਭਰ ਕਰਦਾ ਹੈ (ਗੁਮਰਾਹ metrics ਤੋਂ ਬਚਨਾ ਜਿਵੇਂ accuracy ਅਸੰਤੁਲਿਤ ਡੇਟਾ ਉੱਪਰ), ਭਰੋਸੇਮੰਦ ML ਬਣਾਉਣ ਲਈ ਮਹੱਤਵਪੂਰਨ।