நீங்கள் இயந்திர கற்றல் மாதிரிகளை எவ்வாறு மதிப்பீடு செய்கிறீர்கள்?

Question

Accepted Answer

இயந்திர கற்றல் மாதிரிகளை மதிப்பீடு செய்வது என்பது அவை எவ்வாறு செயல்படுகின்றன என்பதை அளவிடுவது — பொருத்தமான **metrics** (accuracy, precision, recall, முதலியவை) ஐ மாதிரி பார்த்திராத **test data** இல் பயன்படுத்துவது. சரியான மதிப்பீடு ஒரு மாதிரி உண்மையில் செயல்படுகிறதா மற்றும் நம்பகமாக உள்ளதா என்பதை அறிந்துகொள்ள அவசியமாகும்.

## பார்க்கப்படாத தரவுகளில் மதிப்பீடு செய்தல்

```text
→ evaluate on a TEST set the model did NOT train on → measures GENERALIZATION (real performance)
→ training accuracy alone is misleading (a model can memorize training data)
→ train/validation/test split; cross-validation → reliable performance estimates
```

## பொதுவான metrics

```text
CLASSIFICATION:
  ACCURACY → % correct (but misleading for IMBALANCED data — e.g. 99% 'not fraud')
  PRECISION → of predicted positives, how many are actually positive (avoid false positives)
  RECALL → of actual positives, how many were found (avoid false negatives/missing cases)
  F1 → balance of precision and recall
  CONFUSION MATRIX → true/false positives/negatives breakdown
REGRESSION:
  MAE, MSE/RMSE → average prediction error (how far off predictions are)
→ choose metrics that fit the problem (accuracy isn't always right)
```

## சரியான metric ஏன் முக்கியம்

```text
⚠️ ACCURACY can MISLEAD on imbalanced data (predict 'no disease' always → high accuracy,
  useless model)
→ PRECISION vs RECALL trade-off → depends on the cost of false positives vs false negatives
  (e.g. medical: high recall to not miss disease; spam: precision to not block real emails)
→ pick metrics aligned with what MATTERS for the use case
```

## இது ஏன் முக்கியம்

இயந்திர கற்றல் மாதிரிகளை மதிப்பீடு செய்வது எவ்வாறு என்பதைப் புரிந்துகொள்வது மூல்யமாக உள்ளது, ஏனெனில் **சரியான மதிப்பீடு ஒரு மாதிரி உண்மையில் செயல்படுகிறதா என்பதை அறிந்துகொள்வதற்கு அவசியமாகும்**, எனவே இது முக்கியமான இயந்திர கற்றல் அறிவு.

சரியான மதிப்பீடு இல்லாமல், ஒரு மாதிரி நம்பகமாக உள்ளதா என்பதை நீங்கள் சொல்ல முடியாது.

**பார்க்கப்படாத தரவுகளில் மதிப்பீடு செய்தல்** புரிந்துகொள்வது — மாதிரி பயிற்சி செய்யாத தரவில் சோதனை செய்து பொதுமயப்படுத்தல் (உண்மையான செயல்திறன்) அளவிடுவது, பயிற்சி accuracy மட்டும் தவறுவிக்கும் (மாதிரிகள் பயிற்சி தரவை மனப்பாடம் செய்யலாம்) என்பதற்கு, train/validation/test splits மற்றும் cross-validation ஐ பயன்படுத்துவது — அর்த்தமுள்ள மதிப்பீட்டின் ভিত்தி.

**பொதுவான metrics** புரிந்துகொள்வது — வகைப்பாட்டிற்கு: accuracy (% சரியான, ஆனால் சமநிலையற்ற தரவுக்கு தவறுவிக்கும்), **precision** (முன்னறிவிக்கப்பட்ட நேர்மறைகளில், எவ்வளவு உண்மையிலான நேர்மறை), **recall** (உண்மையான நேர்மறைகளில், எவ்வளவு கண்டுபிடிக்கப்பட்டது), F1 (precision மற்றும் recall ஐ சமநிலைப்படுத்துவது), மற்றும் confusion matrix; பின்னடைவிற்கு: MAE மற்றும் RMSE (சராசரி பிழை) — செயல்திறனை அளவிடுவதற்கான கருவிப்பெட்டি வழங்குகிறது, முக்கியமான புள்ளி என்னவெனில் **சரியான metric சிக்கலைப் பொறுத்து**.

**சரியான metric ஏன் முக்கியம் என்பதை** புரிந்துகொள்வது முக்கிய நுண்ணறிவு: **accuracy சமநிலையற்ற தரவில் தவறுவிக்கும்** (எப்போதுமே பெரும்பான்மை வகுப்பை முன்னறிவிப்பது உচ் च accuracy கொடுக்கிறது ஆனால் பயனற்ற மாதிரி — ஒரு முக்கிய சேதகரமான நிலைமை), மற்றும் **precision vs recall நகர்வு** பொய்யான நேர்மறை vs பொய்யான எதிர்மறை (மருத்துவ நির்ணயத்தில் நோய் தவறவிடாமல் இருக்க உচ್ச recall, spam வடிப்பளில் உண்மையான மின்னஞ்சலை தடுக்க வேண்டாமென உচ்ச precision) தன்மையைப் பொறுத்து.

Use case க்கு முக்கியமான metrics ஐ தேர்ந்தெடுப்பது அவசியம், ஏனெனில் தவறான metric (சமநிலையற்ற தரவில் accuracy போன்றவை) மாதிரி செயல்படுகிறது என்பது பற்றி ஒரு பொய்யான புரிதல் கொடுக்கிறது.

சரியான மதிப்பீடு (பார்க்கப்படாத தரவு, பொருத்தமான metrics) நம்பகமான இயந்திர கற்றல் கட்டமைப்பதற்கு அவசியமாகும் — சரியாக மதிப்பீடு செய்யப்படாத மாதிரி நல்ல தோற்றம் இருந்தாலும் உৎपादனத்தে தோல்வியடையலாம்.

சரியான மதிப்பீடு ஒரு மாதிரி உண்மையில் செயல்படுகிறது (பொதுமயப்படுத்துகிறது, நம்பகமாக உள்ளது) என்பதை அறிந்துகொள்வதற்கு அவசியமாகும் (பார்க்கப்படாத-தரவு மதிப்பீடு மற்றும் பொருத்தமான metrics மூலம்), மற்றும் இதைப் புரிந்துகொள்வது — பார்க்கப்படாத தரவுகளில் மதிப்பீடு செய்தல், பொதுவான metrics, மற்றும் முக்கியமாக சரியான metric ஐ தேர்ந்தெடுப்பது (சமநிலையற்ற தரவில் accuracy-பொய் தவிர்ப்பது மற்றும் use case மூலம் precision/recall சமநிலைப்படுத்துவது) — முக்கியமான இயந்திர கற்றல் அறிவு, இயந்திர கற்றல் மாதிரிகளை எவ்வாறு மதிப்பீடு செய்வது என்பதைப் புரிந்துகொள்வது மூல்யமாக, பரிசீலனை-முக்கியமான இயந்திர கற்றல் அறிவு — மாதிரிகள் உண்மையில் செயல்படுகின்றன என்பதை அறிந்துகொள்வதற்கு அவசியமாகும் (paar்க்கப்படாத-தரவு மதிப்பீடு மற்றும் பொருத்தமான metrics மூலம்), சரியான metric use case ஐ பொறுத்து (சமநிலையற்ற தரவில் accuracy போன்ற தவறுவிக்கும் metrics தவிர்ப்பது), நம்பகமான இயந்திர கற்றல் கட்டமைப்பதற்கு முக்கியம்.