Berapa sebenarnya biaya sebuah context switch, dan mengapa itu penting?

Question

IT Interview Practice · Accepted Answer

Sebuah **context switch** adalah kernel menyimpan state CPU thread yang sedang berjalan (register, program counter, stack pointer) dan memulihkan milik thread lain, sehingga satu core bisa melakukan multiplexing banyak thread. Ini terjadi pada setiap preemption scheduler, blocking syscall, atau interrupt — dan itu tidak gratis.

## Di mana biayanya bersembunyi

```text
DIRECT cost (visible, ~1–5 µs):
  save/restore registers · run scheduler logic · switch kernel stacks
  if PROCESS switch: also swap page tables (CR3) → FLUSHES the TLB

INDIRECT cost (often much larger):
  cold CPU CACHES → the new thread's data isn't in L1/L2/L3 → cache misses to RAM
  cold TLB        → address translations must be re-walked
  lost pipeline / branch-predictor state
```

Biaya **langsung (direct)** adalah beberapa microsecond. Biaya **tidak langsung (indirect)** — cache dan TLB yang dingin setelah switch — seringkali merupakan pukulan yang lebih besar: thread yang masuk berjalan lambat untuk sementara saat ia menghangatkan kembali cache-nya dari main memory (puluhan hingga ratusan cycle per miss).

## Switch thread vs process

Beralih **antar thread dari process yang sama** lebih murah: mereka berbagi ruang alamat, sehingga page table (dan TLB, pada hardware tanpa tagged TLB / PCID) tidak perlu berubah. Beralih **antar process** tambahan memuat ulang register basis page-table dan secara tradisional mem-flush TLB — itulah mengapa biayanya lebih besar.

## Mengapa ini penting dalam praktik

- **Terlalu banyak thread** → scheduler thrash, menghabiskan cycle untuk beralih alih-alih bekerja; melewati suatu titik, lebih banyak thread daripada core justru *mengurangi* throughput.
- Ini adalah argumen inti untuk model **async / event-loop** (Node, nginx, `io_uring`) dan **goroutine / green thread**: menangani banyak koneksi dengan sedikit OS thread, menghindari satu switch per request.
- Inilah mengapa **CPU pinning / affinity** membantu service yang sensitif latency — jaga sebuah thread di satu core untuk mempertahankan cache-nya yang hangat.
- Jumlah context-switch involuntary yang tinggi (terlihat di `vmstat`, `pidstat`) adalah gejala klasik dari lock contention atau oversubscription CPU.

## Mengapa ini penting

Ini adalah pertanyaan level senior karena ia memisahkan orang yang tahu *istilahnya* dari mereka yang memahami *mengapa* itu mahal — dan jawaban sesungguhnya (polusi cache/TLB, bukan sekadar penyimpanan register) mendorong keputusan arsitektural: async I/O ketimbang thread-per-request, menyesuaikan ukuran thread pool dengan jumlah core, dan menggunakan affinity. Ia mengikat scheduling, virtual memory, dan CPU cache menjadi satu cerita performa.

Di mana biayanya bersembunyi

Switch thread vs process

Mengapa ini penting dalam praktik

Mengapa ini penting

Pertanyaan terkait