ML இல் தரவின் தரம் மற்றும் அளவு ஏன் முக்கியமாக இருக்கிறது?

Question

Accepted Answer

ML இல், **தரவு முக்கியமானது** — பயிற்சித் தரவின் தரம் மற்றும் அளவு மாதிரியின் செயல்திறனை பெரிதும் தீர்மானிக்கிறது. 'குப்பை உள்ளே, குப்பை வெளியே' என்ற கொள்கை வலுவாக பொருந்தும்: சிறந்த அல்காரிதமுகள் கூட மோசமான தரவுடன் தோல்வியடைகின்றன, இதற்கிற்கு எதிர while நல்ல தரவு பெரும்பாலும் அல்காரிதம் தேர்வைவிட அதிக প্রভাவ ஏற்படுத்தும்.

## தரவு மிகவும் முக்கியமாக இருப்பது ஏன்

```text
ML models LEARN from data → the data fundamentally shapes what they learn:
  → GARBAGE IN, GARBAGE OUT → poor data → poor model (no algorithm fixes bad data)
  → good DATA is often MORE impactful than the algorithm (data > model tweaks, often)
  → models can only be as good as the data they learn from
→ data is frequently the most important factor in ML success
```

## தரவின் தரம்

```text
✓ ACCURATE/correct → wrong labels/values → the model learns wrong things
✓ RELEVANT → data representative of the real problem/distribution
✓ CLEAN → handle missing values, errors, duplicates, noise
✓ UNBIASED → biased data → biased model (perpetuates/amplifies bias — a serious issue)
✓ CONSISTENT, well-labeled → good labels are crucial for supervised learning
```

## தரவின் அளவு மற்றும் பிரতিநிதித்துவம்

```text
✓ ENOUGH data → models (especially deep learning) need sufficient examples to learn patterns
✓ REPRESENTATIVE → data should cover the real-world cases/distribution the model will face
  → if training data doesn't represent reality → poor real-world performance
⚠️ data issues: too little, unrepresentative, biased, mislabeled, leakage → cause model failures
→ much ML effort goes into DATA (collecting, cleaning, labeling) — often the hard part
```

## இது ஏன் முக்கியமாக இருக்கிறது

தரவின் தரம் மற்றும் அளவு ஏன் முக்கியமாக இருக்கிறது என்பதைப் புரிந்துகொள்வது மূল்யமானது ஏனெனில் **தரவு பெரும்பாலும் ML வெற்றியில் மிக முக்கியமான காரணி**, எனவே அதன் முக்கிய பாத்திரத்தைப் புரிந்துகொள்வது அপরிहार்यமான ML அறிவு.

ML இல் **தரவு முக்கியமானது** என்ற கொள்கை — தரம் மற்றும் அளவு பெரிதும் மாதிரியின் செயல்திறனை தீர்மானிக்கிறது — இது அல்காரிதமுக்களை கவனம் செலுத்துபவர்களால் பெரும்பாலும் மதிக்கப்படாத ஒரு அடிப்படை புரிதல்.

**தரவு மிகவும் முக்கியமாக இருப்பது ஏன்** என்பதைப் புரிந்துகொள்வது — மாதிரிகள் தரவிலிருந்து கற்றுக்கொள்கிறது எனவே தரவு அவை என்ன கற்றுக்கொள்கிறது என்பதை வடிவமைக்கிறது, **குப்பை உள்ளே அறிவு வெளியே** (மோசமான தரவு மோசமான மாதிரிகளை விளைவிக்கிறது எந்த அல்காரிதமும் சரிசெய்யாது), மற்றும் **நல்ல தரவு பெரும்பாலும் அல்காரிதமை விட அதிக প্রভাவ ஏற்படுத்தும்** (தரவு மாதிரி மாற்றங்களை விட அதிக முக்கியத்துவம் கொண்டுள்ளது) — தரவின் மைய பாத்திரத்தை தெளிவுபடுத்துகிறது, அல்காரிதமுக்களில் பொதுவான அதிகபட்ச வலியை சரிசெய்கிறது.

**தரவின் தரம்** ஐப் புரிந்துகொள்வது — சரியான/துல்லியமான தரவு தேவை (தவறான பெயரணை தவறான விஷயங்களை கற்பிக்கிறது), பொருத்தமான மற்றும் பிரதिநिधि தரவு, சுத்தமான தரவு (விடுபட்ட மதிப்புகள், பிழைகள், இரைச்சல் கையாளுதல்), **பக்षபாতமற்ற தரவு** (பக்षபாত தரவு பக்ষபாত மாதிரிகளை விளைவிக்கிறது, ஒரு தீவிர பிரச்சினை), மற்றும் நல்ல பெயரணை (감독ிய கற்றலுக்கு முக்கியமானது) — தரவின் தரத்தின் பரிமாணங்களை தெளிவுபடுத்துகிறது.

**தரவின் அளவு மற்றும் பிரதिநिधì தன்மை** ஐப் புரிந்துகொள்வது — போதுமான தரவு தேவை (சிறப்பாக ஆழமான கற்றலுக்கு) மற்றும் **பிரतिநिधี தரவு** (நிஜ-உலக நிகழ்வுகளை உள்ளடக்கி, பிரতिநिधი அல்லாத பயிற்சித் தரவு மோசமான நிஜ-உலக செயல்திறனை ஏற்படுத்துகிறது) — அளவு மற்றும் கவரேஜ் தேவைப்பாடுகளை தெளிவுபடுத்துகிறது.

**பெரிய ML முயற்சி தரவுக்கு செல்கிறது** (சங்கலிப்பு, சுத்தம் செய்தல், பெயரணை — பெரும்பாலும் கடினமான பகுதி) என்பதைப் புரிந்துகொள்வது ML பணியின் நடைமுறை யதார்த்தத்தை பிரதிபலிக்கிறது.

இந்த புரிதல் (தரவின் முக்கிய பாத்திரம், பக்ஷபாதம் உள்ளடக்கிய தரத்தின் பரிமாணங்கள், அளவு மற்றும் பிரতिநिधি தன்மை) அপরिहार्यமானது ஏனெனில் தரவு சிக்கல்கள் (மோசமான தரம், பक்ஷபாதம், பிரতिநिधி அல்லாதவ) ML தோல்விக்கான மிகவும் பொதுவான காரணங்கள், மற்றும் தரவின் முதன்மைத்தை அங்கீகரிப்பது ML வெற்றியின் திறவுகோல்.

தரவு பெரும்பாலும் ML வெற்றியில் மிக முக்கியமான காரணியாக இருப்பதால் (தரம் மற்றும் அளவு பெரிதும் செயல்திறனை தீர்மானிக்கிறது, குப்பை-உள்ளே-குப்பை-வெளியே, மற்றும் தரவு பெரும்பாலும் அல்காரிதமை விட அதிகம் முக்கியமாக இருக்கிறது) மற்றும் அதன் முக்கிய பாத்திரத்தைப் புரிந்துகொள்வது — தரத்தின் பரிமாணங்கள் பக்ஷபாதம் உள்ளடக்கி, அளவு, மற்றும் பிரতिநिधি தன்மை — அபриहार्य ML அறிவு, தரவின் தரம் மற்றும் அளவு ஏன் முக்கியமாக இருக்கிறது என்பதைப் புரிந்துகொள்வது மূல्यवान், அপरিहार्य ML அறிவு — தரவின் மைய, பெரும்பாலும் மதிக்கப்படாத பாத்திரத்தை ML வெற்றியில் (தரம், அளவு, பிரতिநிधిत்తை, மற்றும் பக்ஷபாதத்தைத் தவிர்க்க) தெளிவுபடுத்துகிறது, அல்काӧலங்களில் அதிக வலியுறுத்தலை சரிசெய்கிறது, மற்றும் ML வெற்றி அல்லது தோல்வி (பொதுவாக தரவு காரணமாக) ஏன் ஏற்படுகிறது என்பதைப் புரிந்துகொள்ள அபराহार்य.