Kwa nini LLM zinarudisha habari za kibongo, na unaweza kuzipunguza vipi?

Question

Accepted Answer

LLM **inabuni habari za kibongo** wakati inatoa maandishi yanayosikika kwa ujinga na yanayoweza kuwa sahihi lakini hayajika kwa ukweli au yaliyobuniwa. Ili kufahamu kwa nini, lazima kwanza uelewe kile model inayofanya kwa kweli.

## Jinsi LLM inavyofanya kazi (kwa ufupi)

Kwa kiwango cha jumla, LLM ni **mwanatarajiaji wa token inayofuata**. Kwa kuzingatia maandishi yaliyotangulia, inataraji token inayofuata (neno/sehemu) inayowezekana zaidi kulingana na **mifumo ya takwimu iliyojifunzwa wakati wa mafunzo** — si kwa kuangalia ukweli katika hifadhidata.

```text
input: "The capital of Australia is"
model: P(next token) → "Canberra" 0.71, "Sydney" 0.18, ...
→ samples a token, appends it, repeats
```

## Kwa nini habari za kibongo zinatokea

- **Inatoa, hairejeshi.** Model hutoa maandishi yanayoweza kuwa sahihi, si ukweli uliothibitishwa. Ufahamaji na ukweli ni huru kwa kila mmoja.
- **Hakuna hundi ya ukweli iliyojengenezwa ndani.** Hakuna kitu ndani ya model kinachoklinganisha matokeo na ukweli.
- **Nafasi zunazojaza kwa ujinga.** Wakati data ya mafunzo haijatosha, isiyo na utata, au haiipo (API nadra, matukio ya karibuni, watu wasiojulikana), model bado inatoa mwendelezo unaowezekana kwa takwimu — ambao unaweza kuwa na hitilafu.
- **Ujinga si ukweli.** Rejea iliyobuniwa inaonekana kwa urahisi kama ile halisi.

## Jinsi ya kupunguza habari za kibongo

- **Kuzuia kwa RAG / vyanzo.** Patia hati muhimu na uziweke katika ombi, ili model ijibu *kutoka* maandishi halisi badala ya kumbukumbu.
- **Omba rejea** na zithibitishe — rejea iliyobuniwa inafichua habari za kibongo.
- **Punguza joto** kwa kazi za ukweli, ili model ichague token zenye uwezekano wa juu (salama zaidi).
- **Ruhusu "Sijui."** Eleza kwa uwazi model kusema hivyo wakati haina uhakika, kuondoa shinikizo la kubunia.
- **Hakikisha kwa zana.** Endesha nambari, ombi kalkulator/utafutaji/hifadhidata, au piga simu kwa API badala ya kutegemea kumbukumbu ya model.
- **Punguzza upeo.** Maombi mahususi, yenye mipaka halisi hubuni habari za kibongo chini kuliko yale yenye mipango mbalimbali.

## Kwa nini inafaa

LLM zinajificha zaidi katika bidhaa ambazo watumiaji wa kweli wanazo amini. Kwa sababu model **hutoa maandishi yanayoweza kuwa sahihi badala ya kurejesha ukweli**, habari za kibongo ni tabia ya intrinsiki, si hitilafu ya mara kwa mara — kwa hiyo wahandisi lazima waidhinisha karibu. Kujua *kwa nini* kinatokea (utabiri wa token inayofuata bila hundi ya ukweli) kukuambia *jinsi* ya kupunguza: kuzuia, rejea, joto la chini, ruhusa ya kukataa, na uthibitishaji wa nje. Kutibu matokeo ya LLM kama rasimu itakayozingatiwa — si kiungo cha juu — ndiyo tofauti kati ya sifa thabiti na wajibu wa ujinga unaojua.