Bagaimana cara memilih tingkat model yang tepat mengingat pertukaran biaya dan latensi?

Question

Accepted Answer

Model dalam keluarga **menukarkan kemampuan dengan biaya dan latensi**: model yang lebih kecil lebih cepat dan lebih murah tetapi kurang mampu; model yang lebih besar alasan lebih baik pada masalah sulit tetapi biaya lebih tinggi dan merespons lebih lambat. Keterampilan ini adalah mencocokkan model dengan kesulitan tugas, bukan selalu meraih yang terbesar.

## Tingkatan tier (lineup Anthropic)

Menggunakan keluarga Claude Anthropic sebagai contoh (generasi terbaru: **Opus 4.8**, **Sonnet 4.6**, **Haiku 4.5**):

```text
Haiku   → smallest, fastest, cheapest
          → high-volume / simple tasks: classification, extraction, quick edits
Sonnet  → balanced cost/quality
          → everyday coding and general work (the sensible default)
Opus    → most capable, highest cost & latency
          → hardest multi-step reasoning, architecture, tricky debugging
```

Urutan bersifat relatif: **Haiku < Sonnet < Opus** dalam harga dan latensi, dan urutan yang sama dalam kemampuan mentah.

## Cara memilih

- **Mulai lebih murah.** Raih Haiku atau Sonnet terlebih dahulu; sebagian besar tugas tidak memerlukan tier teratas.
- **Tingkatkan hanya ketika kualitas memerlukan.** Jika output model yang lebih murah salah, dangkal, atau terus melewatkan tujuan pada masalah yang benar-benar sulit, pindah ke Opus.
- **Pikirkan tentang volume.** Tugas yang Anda jalankan jutaan kali (penandaan, perutean) harus berada di Haiku bahkan jika Opus sedikit lebih baik — biaya dan latensi berlipat ganda.

```text
Classify 1M support tickets   → Haiku   (volume dominates; task is simple)
Implement a feature           → Sonnet  (balanced everyday coding)
Debug a subtle race condition → Opus    (hard reasoning justifies the cost)
```

## Mengapa ini penting

Menggunakan model terbesar secara default membuang uang dan menambah latensi pada tugas yang tier lebih murah tangani dengan baik; menggunakan yang terkecil secara default memberikan hasil buruk pada pekerjaan yang benar-benar sulit. Memilih dengan sengaja — mulai lebih murah, tingkatkan hanya ketika kualitas memerlukan — menjaga sistem tetap cepat dan terjangkau dalam skala sambil tetap membawa model berat ke masalah yang benar-benar membutuhkannya.