LLMs کیوں غلط معلومات دیتے ہیں، اور آپ اسے کم کیسے کر سکتے ہیں؟

Question

Accepted Answer

ایک LLM **hallucinate** کرتا ہے جب یہ ایسا متن پیدا کرتا ہے جو اعتماد سے بھرا اور معقول لگتا ہے لیکن حقیقت میں غلط یا گھڑا ہوا ہو۔ سمجھنے کے لیے، آپ کو پہلے یہ سمجھنا ہوگا کہ ماڈل اصل میں کیا کرتا ہے۔

## LLM کیسے کام کرتا ہے (مختصر)

اونچی سطح پر، ایک LLM ایک **next-token predictor** ہے۔ اب تک کے متن کو دیکھ کر، یہ اگلے token (word/piece) کا سب سے امکانی پیش گوئی کرتا ہے **training کے دوران سیکھے گئے statistical patterns** کی بنیاد پر — نہ کہ کسی ڈیٹا بیس میں حقائق تلاش کر کے۔

```text
input: "The capital of Australia is"
model: P(next token) → "Canberra" 0.71, "Sydney" 0.18, ...
→ samples a token, appends it, repeats
```

## Hallucinations کیوں ہوتے ہیں

- **یہ generate کرتا ہے، retrieve نہیں کرتا۔** ماڈل *معقول* متن تیار کرتا ہے، *تصدیق شدہ* حقائق نہیں۔ روانی اور سچ آزادانہ ہیں۔
- **کوئی built-in truth check نہیں۔** ماڈل کے اندر کچھ بھی آؤٹ پٹ کو حقیقت سے موازنہ نہیں کرتا۔
- **خالی جگہیں اعتماد سے بھری جاتی ہیں۔** جب training ڈیٹا کم، ابہام، یا غائب ہو (نایاب APIs، حالیہ واقعات، غیر معروف لوگ)، ماڈل پھر بھی statistically ممکنہ continuation emit کرتا ہے — جو غلط ہو سکتی ہے۔
- **اعتماد صحیح ہونا نہیں ہے۔** ایک گھڑا ہوا حوالہ بالکل ایک حقیقی جیسا روانی سے لگتا ہے۔

## اسے کم کیسے کریں

- **RAG / sources کے ساتھ ground کریں۔** متعلقہ دستاویزات حاصل کریں اور انہیں prompt میں ڈالیں، تاکہ ماڈل میموری کے بجائے *حقیقی متن سے* جواب دے۔
- **حوالہ جات کے لیے پوچھیں** اور انہیں چیک کریں — گھڑے ہوئے حوالہ hallucination کو ظاہر کرتے ہیں۔
- **حقیقی کاموں کے لیے temperature کو کم کریں**، تاکہ ماڈل high-probability (محفوظ) tokens منتخب کرے۔
- **"مجھے معلوم نہیں" کی اجازت دیں۔** واضح طور پر ماڈل کو ہدایت دیں کہ جب غیر یقینی ہو تو ایسا کہے، گھڑنے کے دباؤ کو ہٹاتے ہوئے۔
- **Tools کے ساتھ تصدیق کریں۔** Code چلائیں، calculator/search/database کو query کریں، یا API کو کال کریں بجائے ماڈل کی یادداشت پر اعتماد کے۔
- **دائرہ کو تنگ کریں۔** مخصوص، اچھی طرح سے bounded prompts کھلے انجام والے سے کم hallucinate کرتے ہیں۔

## یہ کیوں اہم ہے

LLMs تیزی سے ان مصنوعات میں شامل ہو رہے ہیں جن پر حقیقی صارفین اعتماد کرتے ہیں۔ کیونکہ ماڈل **حقیقت سے متن حاصل کرنے کے بجائے معقول متن تیار کرتا ہے**، hallucination ایک موروثی رویہ ہے، صرف ایک کبھی کبھار bug نہیں — اس لیے engineers کو اس کے گرد ڈیزائن کرنا ہوگا۔ جاننا *کیوں* یہ ہوتا ہے (next-token prediction بغیر truth check کے) آپ کو *کیسے* اسے کم کریں یہ بتاتا ہے: grounding، citations، lower temperature، abstain کرنے کی اجازت، اور بیرونی تصدیق۔ LLM output کو oracle کے طور پر نہیں بلکہ — ایک draft کے طور پر سلوک کرنا جو چیک کیا جائے — ایک قابل اعتماد feature اور ایک اعتماد سے بھرا liability کے درمیان فرق ہے۔