ఓవర్ఫిట్టింగ్ (మోడల్ శిక్షణ డేటాను గుర్తుపెట్టుకుంటుంది మరియు కొత్త డేటపై విఫలమవుతుంది) మరియు అండర్ఫిట్టింగ్ (మోడల్ నమూనాలను సంగ్రహించడానికి చాలా సరళమైనది) ML లో రెండు ప్రాథమిక సమస్యలు. వాటిని సమతుల్యం చేయడం — మంచి సాధారణీకరణను సాధించడం — ప్రభావవంతమైన మోడల్లను నిర్మించడానికి కేంద్రీయమైనది.
ఓవర్ఫిట్టింగ్ vs అండర్ఫిట్టింగ్
text
OVERFITTING → the model learns the training data TOO well (including noise) →
→ performs great on training data but POORLY on new/unseen data (doesn't generalize)
→ too complex; memorizes rather than learns general patterns
→ like memorizing answers vs understanding the concept
UNDERFITTING → the model is TOO SIMPLE to capture the underlying patterns →
→ performs poorly on BOTH training and new data
→ not enough complexity/capacity to learn the patterns
→ the goal is GENERALIZATION: learn real patterns → perform well on NEW data