Kenapa LLMs bisa ngalangi, lan piye carane nyuda?

Question

Accepted Answer

Sawijining LLM **ngalangi** nalika ngasilaken teks sing katon yakin lan nyata nanging salah faktual utawa arang. Kanggo mangerteni kenapa, sampeyan kudu mangerteni dhisik apa sing pancen ditindakaken model kasebut.

## Cara LLM bisa gawé (cetha)

Sarwa gawening, sawijining LLM iku **panyedhot token sabanjure**. Dikon teks sing wis ana, model mbalekake token (tembung/cebakan) sing paling bisa ana sadangane, adhedhasar **pola statistik sing dipelajari nalika latihan** — dudu kanthi nggoleki kasunyatan ing basis data.

```text
input: "The capital of Australia is"
model: P(next token) → "Canberra" 0.71, "Sydney" 0.18, ...
→ samples a token, appends it, repeats
```

## Kenapa ngalangi kasagaran

- **Kuwi nggawe, ora ngambil maneh.** Model ngasilaken teks sing *krayaan*, dudu kasunyatan sing *verified*. Kelancaran lan kabenaran iku beda-beda.
- **Ora ana pengecekan kabenaran ing sajrone.** Apa apa sajrone model iku bandingan asil nang kasunyatan kang nyata.
- **Jurang diisi kanthi yakin.** Nalika data latihan rada tipis, rumuwung, utawa ilang (API sing arang, acara anyar, wong sing ora kanal), model isih ngeluarke nerusan sing bisa ana statistike — sing bisa salah.
- **Yakin ora bakal benere.** Sitasi sing gawéan kalihane katon mirip lancar karo sing nyata.

## Cara nyuda iku

- **Gawé pangalas karo RAG / sumber.** Goleki dokumen sing ana manawa dilebokake ing prompt, supaya model mbalas *saka* teks nyata tinimbang alas sakwisé.
- **Minta sitasi** lan periksa — referensi sing gawéan wahyu kasunyatan ngalangi.
- **Bawaake suhu** kanggo tugas faktual, supaya model nggoleki token sing bisa ana (luwih aman).
- **Idin "aku ora ngerti."** Pesan cetha model mesthahi ngomong mangkono nalika ora yakin, mbusak tekanan kanggo gawéan aneh.
- **Verifikasi karo piranti.** Jalanke code, takon kalkulator/patupo/basis data, utawa tawag API tinimbang percaya alasan model.
- **Wateske jangkauan.** Prompt khusus, paling tunggal, ngalangi luwih sithik tinimbang sing jelas banget.

## Kenapa iki penting

LLMs saya luwih ketandingan ing produk sing dipercaya pangguna nyata. Amarga model kasebut **ngasilaken teks sing krayaan tinimbang ngambil kasunyatan**, ngalangi iku tingkah laku sing melekat, dudu penyakit sing kadang — dadi insinyur kudu rancang sedhakela. Ngerti *kenapa* kedadeyan (penyedhot token nang ora ana pengecekan kabenaran) mituturi sampeyan *piye* kanggo ngabawani: pangalas, sitasi, suhu luwih murah, idin abstain, lan verifikasi eksternal. Marakne asil LLM minangka draf kanggo dicek — ora dadi oracle — iku beda antara fitur sing bisa dipercaya lan tanggung jawab sing yakin.