Kako odabrati pravi model tier s obzirom na kompromise između troška i kašnjenja?

Question

Accepted Answer

Modeli unutar obitelji **razmjenjuju sposobnost za trošak i kašnjenje**: manji modeli su brži i jeftiniji ali manje sposobni; veći modeli bolje rezoniraju o teško problemima ali koštaju više i sporije odgovaraju. Vještina je usklađivanje modela sa težinom zadatka, a ne uvijek sezanje za najvećim.

## Tiersi (Anthropicov redoslijed)

Koristeći Claudeovu obitelj od Anthropica kao primjer (najnovija generacija: **Opus 4.8**, **Sonnet 4.6**, **Haiku 4.5**):

```text
Haiku   → smallest, fastest, cheapest
          → high-volume / simple tasks: classification, extraction, quick edits
Sonnet  → balanced cost/quality
          → everyday coding and general work (the sensible default)
Opus    → most capable, highest cost & latency
          → hardest multi-step reasoning, architecture, tricky debugging
```

Redoslijed je relativan: **Haiku < Sonnet < Opus** u cijeni i kašnjenju, te isti redoslijed u sirovoj sposobnosti.

## Kako odabrati

- **Počnite jeftinije.** Prvo sezajte za Haiku ili Sonnet; većina zadataka ne trebaju gornji tier.
- **Eskalirujte samo kada kvaliteta to zahtijeva.** Ako je izlaz jeftinijeg modela pogrešan, plitko ili stalno propušta cilj na zaista teško problemu, prijeđite na Opus.
- **Razmislite o količini.** Zadatak koji pokrenete milione puta (označavanje, rutiranje) trebao bi biti na Haiku čak i ako je Opus malo bolji — trošak i kašnjenje se množe.

```text
Classify 1M support tickets   → Haiku   (volume dominates; task is simple)
Implement a feature           → Sonnet  (balanced everyday coding)
Debug a subtle race condition → Opus    (hard reasoning justifies the cost)
```

## Zašto je to važno

Zadana upotreba najvećeg modela troši novac i dodaje kašnjenje na zadacima koje jeftiniji tier dobro obrađuje; zadana upotreba najmanjeg modela daje loše rezultate na zaista teško radu. Namjerno odabiranje — počnite jeftinije, eskalirujte samo kada kvaliteta to zahtijeva — čuva sustave brze i pristupačne u mjerilu dok još uvijek donosi snažan model problemima koji ga zaista trebaju.