Jak si zvolíte správnou vrstvu modelu při zohlednění kompromisů mezi cenou a latencí?

Question

Accepted Answer

Modely v rámci rodiny si vyměňují **schopnost za cenu a latenci**: menší modely jsou rychlejší a levnější, ale méně schopné; větší modely lépe řeší obtížné problémy, ale stojí více a reagují pomaleji. Dovednost spočívá v přizpůsobení modelu obtížnosti úkolu, ne vždy v sahánípo největšímu.

## Vrstvy (portfolio společnosti Anthropic)

Na příkladu rodiny Claude společnosti Anthropic (nejnovější generace: **Opus 4.8**, **Sonnet 4.6**, **Haiku 4.5**):

```text
Haiku   → smallest, fastest, cheapest
          → high-volume / simple tasks: classification, extraction, quick edits
Sonnet  → balanced cost/quality
          → everyday coding and general work (the sensible default)
Opus    → most capable, highest cost & latency
          → hardest multi-step reasoning, architecture, tricky debugging
```

Pořadí je relativní: **Haiku < Sonnet < Opus** v ceně i latenci a stejné pořadí v surové schopnosti.

## Jak si zvolit

- **Začněte levněji.** Nejdříve sáhněte po Haiku nebo Sonnet; většina úkolů nepotřebuje top tier.
- **Eskalujte jen když to kvalita vyžaduje.** Pokud je výstup levnějšího modelu chybný, povrchní nebo stále chybí cíl na skutečně obtížném problému, přejděte na Opus.
- **Myslите na objem.** Úkol, který spouštíte milionkrát (označování, směrování), by měl být na Haiku, i když je Opus mírně lepší — náklady a latence se násobí.

```text
Classify 1M support tickets   → Haiku   (volume dominates; task is simple)
Implement a feature           → Sonnet  (balanced everyday coding)
Debug a subtle race condition → Opus    (hard reasoning justifies the cost)
```

## Proč to záleží

Defaultní volba největšího modelu plýtvá penězi a přidává latenci u úkolů, které levnější vrstva zvládne dobře; defaultní volba nejmenšího dává špatné výsledky na skutečně obtížné práci. Vědomá volba — začít levněji, eskalovat jen když to kvalita vyžaduje — udržuje systémy rychlé a cenově dostupné ve velkém měřítku, přičemž přináší výkonný model k problémům, které jej skutečně potřebují.