Apa yang membatasi concurrency pada skala besar? Jelaskan contention, false sharing, dan backpressure.

Question

IT Interview Practice · Accepted Answer

**Pada skala besar, throughput dibatasi bukan oleh jumlah CPU melainkan oleh contention, efek cache, dan queue tak terbatas — menambah thread melewati suatu titik membuat segalanya lebih lambat.** Hukum Amdahl dan Universal Scalability Law keduanya memprediksi ini: biaya koordinasi pada akhirnya mendominasi.

## Contention

Ketika banyak thread berebut satu lock atau cache line, mereka men-serialize dan menghabiskan waktu menunggu alih-alih bekerja. Di bawah Universal Scalability Law, contention ditambah **coherency cost** dapat membuat throughput *menurun* melewati jumlah thread yang optimal.

**Mitigasi**: shard/partisi data, state per-thread (thread-local, striped counter seperti `LongAdder`), read-write lock, atau struktur lock-free.

## False sharing

Dua variabel independen yang kebetulan berada pada **cache line CPU yang sama** menyebabkan core saling membatalkan cache masing-masing pada setiap penulisan, meskipun mereka tidak pernah menyentuh data yang sama — perlambatan yang senyap dan brutal.

```text
cache line (64B): [ counterA | counterB ]  ← two cores ping-pong the line
Fix: pad so each hot variable owns its own line
```

```java
@Contended long counterA;   // JVM pads to a separate cache line
```

## Backpressure

Ketika produser melampaui konsumer, queue tak terbatas tumbuh sampai OOM dan latency meledak. **Backpressure** memberi sinyal ke produser untuk melambat: queue terbatas yang memblokir atau menolak, credit-based flow control, atau `request(n)` reactive-streams.

```text
producer ──▶ [bounded queue full] ──▶ block/reject ──▶ producer slows
```

## Mengapa ini penting

Inilah efek yang memisahkan "berjalan di 4 core" dari "menskalakan ke 64." Desain naif menabrak tembok: lock men-serialize, cache line thrashing, queue menggelembung. Sharding untuk mengurangi contention, padding untuk membunuh false sharing, dan backpressure untuk membatasi queue adalah tuas yang menjaga latency dan throughput tetap sehat di bawah beban nyata.

Contention

False sharing

Backpressure

Mengapa ini penting

Pertanyaan terkait