LLMs ले किन हलुसिनेट गर्दछ र तपाईले यसलाई कसरी कम गर्न सक्नुहुन्छ?

Question

Accepted Answer

एक LLM **hallucinates** गर्दछ जब यो आत्मविश्वासपूर्ण र बिश्वासयोग्य लाग्ने पाठ उत्पन्न गर्दछ तर तथ्यगत रूपमा गलत वा निर्माण गरिएको हुन्छ। किन भनेर बुझ्न, तपाईले पहिले मडेल वास्तवमा के गर्दछ भनेर बुझ्नुपर्छ।

## LLM कसरी काम गर्दछ (संक्षिप्त)

उच्च स्तरमा, एक LLM एक **next-token predictor** हो। दिइएको पाठको आधारमा, यसले सबैभन्दा सम्भावित अगिलो token (शब्द/टुक्रा) भविष्यद्वाणी गर्दछ **तालिमको समयमा सिकेको सांख्यिकीय ढाँचाहरूको आधारमा** — डेटाबेसमा तथ्य खोज्दै नभई।

```text
input: "The capital of Australia is"
model: P(next token) → "Canberra" 0.71, "Sydney" 0.18, ...
→ samples a token, appends it, repeats
```

## हलुसिनेशन किन हुन्छ

- **यो उत्पन्न गर्दछ, पुनः प्राप्त गर्दैन।** मडेल *सत्यापित* तथ्य नभई *बिश्वासयोग्य* पाठ उत्पन्न गर्दछ। प्रवाहिता र सत्य स्वतन्त्र छन्।
- **कुनै अन्तर्निर्मित सत्य जाँच छैन।** मडेल भित्र कुनै पनि चीजले आउटपुटलाई वास्तविकताको विरुद्धमा तुलना गर्दैन।
- **खालीपन आत्मविश्वासपूर्वक भरिन्छ।** जब तालिम डेटा पातलो, अस्पष्ट वा हराएको हुन्छ (दुर्लभ APIs, हालिलो घटनाहरू, अस्पष्ट मानिसहरू), मडेलले अझै पनि सांख्यिकीय रूपमा सम्भावित निरन्तरता उत्सर्जन गर्दछ — जो गलत हुन सक्छ।
- **आत्मविश्वास सत्यता छैन।** एक निर्माण गरिएको उद्धरण ठीक एक वास्तविक जस्तै प्रवाहपूर्ण दिखिन्छ।

## यसलाई कसरी कम गर्न सकिन्छ

- **RAG / स्रोतहरू सहित ग्राउन्ड गर्नुहोस्।** प्रासंगिक कागजातहरू पुनः प्राप्त गर्नुहोस् र तिनलाई प्रम्प्टमा राख्नुहोस्, ताकि मडेलले स्मृतिको सट्टामा वास्तविक पाठबाट जवाब दिन्छ।
- **उद्धरण माग गर्नुहोस्** र तिनलाई जाँच गर्नुहोस् — निर्माण गरिएको सन्दर्भहरू हलुसिनेशन प्रकट गर्दछ।
- **तथ्यात्मक कार्यहरूको लागि तापमान कम गर्नुहोस्**, ताकि मडेलले उच्च-सम्भावना (सुरक्षित) टोकनहरू छनोट गर्दछ।
- **"मलाई थाहा छैन" को अनुमति दिनुहोस्।** मडेललाई स्पष्ट रूपमा निर्देश गर्नुहोस् कि यो अनिश्चितता हुँदा त्यसो भन्न, आविष्कार गर्न दबाब हटाई दिनुहोस्।
- **उपकरणहरू सहित सत्यापन गर्नुहोस्।** कोड चलाउनुहोस्, क्यालकुलेटर/खोज/डेटाबेस क्वेरी गर्नुहोस्, वा API कल गर्नुहोस् भन्दै मडेलको स्मरण विश्वास गर्न सक्नुहुन्न।
- **दायरा संकीर्ण गर्नुहोस्।** विशिष्ट, राम्रोसँग सीमाबद्ध प्रम्प्टहरू खुला-अन्त्य वालाहरू भन्दा कम हलुसिनेट गर्दछन्।

## यो किन महत्त्वपूर्ण छ

LLMs क्रमशः उत्पादनहरूमा सम्मिलित हुन्छन् जसलाई वास्तविक प्रयोगकर्ताहरू विश्वास गर्दछन्। किनकि मडेल **तथ्य पुनः प्राप्त गर्न सट्टामा प्रशस्त पाठ उत्पन्न गर्दछ**, हलुसिनेशन एक अन्तर्निहित व्यवहार हो, कहिलेकाहीँ बग होइन — त्यसैले इञ्जिनियरहरू यसको वरपर डिजाइन गर्नुपर्छ। यो किन हुन्छ भनेर जान्दै (सत्य जाँच बिना अगिलो-token भविष्यद्वाणी) तपाईलाई यो कसरी कम गर्न सकिन्छ भनेर बताउँछ: ग्राउन्डिङ, उद्धरणहरू, कम तापमान, अस्वीकार गर्न अनुमति, र बाह्य सत्यापन। LLM आउटपुटलाई एक Oracle को सट्टामा जाँच गरिने ड्राफ्टको रूपमा व्यवहार गर्न — एक विश्वसनीय फीचर र आत्मविश्वासी दायित्वको बीच भेद हो।