Modeller inden for en familie handler om evne mod omkostninger og latens: mindre modeller er hurtigere og billigere, men mindre kapable; større modeller tænker bedre på svære problemer, men koster mere og reagerer langsommere. Kunsten ligger i at matche modellen til opgavens sværhedsgrad, ikke altid at gribe efter den største.
Bruger Anthropics Claude-familie som eksempel (seneste generation: , , ):
Haiku → smallest, fastest, cheapest
→ high-volume / simple tasks: classification, extraction, quick edits
Sonnet → balanced cost/quality
→ everyday coding and general work (the sensible default)
Opus → most capable, highest cost & latency
→ hardest multi-step reasoning, architecture, tricky debugging
Ordningen er relativ: Haiku < Sonnet < Opus både i pris og latens, og samme orden i rå evne.
Classify 1M support tickets → Haiku (volume dominates; task is simple)
Implement a feature → Sonnet (balanced everyday coding)
Debug a subtle race condition → Opus (hard reasoning justifies the cost)
At defaulte til den største model spilder penge og tilføjer latens på opgaver, som en billigere klasse håndterer fint; at defaulte til den mindste giver dårlige resultater på ægte svært arbejde. At vælge bevidst — start billigt, eskalér kun når kvaliteten kræver det — holder systemer hurtige og overkommelige i stor skala, mens man stadig bringer den kraftige model til de problemer, der virkelig har brug for det.