Kaj so žetoni in kontekstna okna v LLM-jih?

Question

Accepted Answer

**Žetoni** so enote, v katerih LLM-ji obdelujejo besedilo (delci besed), **kontekstno okno** pa je največja količina besedila (žetonov), ki jo lahko LLM upošteva naenkrat. Razumevanje obeh je pomembno za učinkovito uporabo LLM-jev, upravljanje stroškov in obvladovanje njihovih omejitev.

## Kaj so žetoni

```text
TOKEN → the unit LLMs process text in (not words/characters, but PIECES):
  → text is split into tokens (roughly ~4 characters or ~0.75 words each in English)
  → e.g. 'unbelievable' might be 3 tokens; common words are often 1 token
  → the model processes and generates token by token
→ LLMs work in tokens (input and output are measured in tokens)
```

## Kontekstno okno

```text
CONTEXT WINDOW → the maximum number of TOKENS an LLM can process at once (input + output):
  → everything the model 'sees' (your prompt + conversation + retrieved context) must FIT
  → ranges from thousands to millions of tokens (varies by model)
  → BEYOND the limit → the model can't consider it (truncated/doesn't fit)
→ a hard limit on how much context the model can work with at once
```

## Zakaj je to praktično pomembno

```text
✓ COST → APIs charge PER TOKEN (input + output) → token count = cost → optimize prompts,
  manage conversation length
✓ CONTEXT LIMIT → long documents/conversations may EXCEED the window → strategies:
  summarize, chunk, use RAG (retrieve relevant parts vs sending everything)
✓ Long context → can be slower and costlier; 'lost in the middle' (models may attend less
  to middle content)
✓ design prompts/apps within token limits → key for LLM application design
```

## Zakaj je to pomembno

Razumevanje žetonov in kontekstnih oken je dragoceno znanje na visokem nivoju, ker so **temeljni za delovanje LLM-jev in upravljanje LLM aplikacij** (stroški, omejitve), zato je njihovo razumevanje pomembno praktično znanje s področja umetne inteligence.

Žetoni (enote, v katerih LLM-ji obdelujejo besedilo) in kontekstna okna (največja količina besedila, ki jo lahko LLM upošteva naenkrat) so ključni pojmi za učinkovito uporabo LLM-jev.

Razumevanje **kaj so žetoni** – enot, ki jih LLM-ji obdelujejo (delci besed, grobo 4 znaki na žeton, model obdeluje in generira žeton za žetonom) – pojasni, kako LLM-ji dejansko obdelujejo besedilo (v žetonih, ne besedah).

Razumevanje **kontekstnega okna** – največje število žetonov, ki jih lahko LLM naenkrat obdela (vhod plus izhod), kjer mora biti vse, kar model vidi (navodilo, pogovor, pridobljen kontekst), s togo mejo, preko katere vsebine ni mogoče upoštevati – pojasni pomembno omejitev pri uporabi LLM-jev.

Razumevanje **zakaj je to praktično pomembno** je ključna vrednost: **stroški** (API-ji zaračunavajo na žeton, zato je število žetonov enako stroškom, kar zahteva optimizacijo navodil in upravljanje pogovorov), **omejitev konteksta** (dolgi dokumenti ali pogovori, ki presegajo okno, zahtevajo strategije, kot so povzemanje, razdeljevanje ali RAG za pridobivanje relevantnih delov namesto pošiljanja vsega), in da je dolg kontekst lahko počasnejši in dražji (s pojavom izgubljenosti v sredini, kjer modeli manj pozornosti posvetijo vsebini v sredini).

Te praktične posledice – oblikovanje navodil in aplikacij v okviru omejitev žetonov, upravljanje stroškov in obvladovanje omejitve konteksta preko RAG – so bistvene za učinkovito in stroškovno učinkovito gradnjo LLM aplikacij.

Razumevanje žetonov in kontekstnih oken je temeljno za zasnovo LLM aplikacij (upravljanje stroškov, ravnanje s kontekstom, delovanje v okviru omejitev).

Ker so žetoni in kontekstna okna temeljna za delovanje LLM-jev in upravljanje LLM aplikacij (stroški na žeton, omejitev konteksta, ki zahteva strategije, kot so RAG), in je njihovo razumevanje pomembno za učinkovito uporabo LLM-jev in gradnjo stroškovno učinkovitih aplikacij, je razumevanje žetonov in kontekstnih oken dragoceno, praktično pomembno znanje na visokem nivoju – temeljno za način, kako LLM-ji obdelujejo besedilo (žetoni) in njihove omejitve (kontekstno okno), pomembno za upravljanje stroškov LLM aplikacij (cena na žeton) in obvladovanje omejitve konteksta (preko RAG, razdeljevanja), in ključno praktično znanje za načrtovanje učinkovitih in stroškovno učinkovitih LLM aplikacij.