Điều gì giới hạn concurrency khi mở rộng? Giải thích contention, false sharing và backpressure.

Question

IT Interview Practice · Accepted Answer

**Khi mở rộng, throughput bị giới hạn bởi contention, hiệu ứng cache và queue không giới hạn nhiều hơn là bởi số CPU — thêm thread quá một mức làm mọi thứ chậm đi.** Định luật Amdahl và Universal Scalability Law đều dự đoán điều này: chi phí phối hợp cuối cùng sẽ chiếm ưu thế.

## Contention

Khi nhiều thread tranh một lock hay một cache line, chúng serialize và tốn thời gian chờ thay vì làm việc. Theo Universal Scalability Law, contention cộng với **coherency cost** có thể khiến throughput *giảm* khi vượt quá số thread tối ưu.

**Giảm nhẹ**: shard/partition dữ liệu, state theo từng thread (thread-local, striped counter như `LongAdder`), read-write lock, hoặc cấu trúc lock-free.

## False sharing

Hai biến độc lập tình cờ nằm trên **cùng một CPU cache line** khiến các core làm mất hiệu lực cache của nhau ở mỗi lần write, dù chúng không hề chạm vào cùng dữ liệu — một sự chậm đi âm thầm và tàn khốc.

```text
cache line (64B): [ counterA | counterB ]  ← hai core ping-pong cache line
Sửa: đệm (pad) để mỗi biến nóng chiếm riêng một line
```

```java
@Contended long counterA;   // JVM đệm sang một cache line riêng
```

## Backpressure

Khi producer nhanh hơn consumer, một queue không giới hạn phình ra tới khi OOM và latency bùng nổ. **Backpressure** báo cho producer chậm lại: bounded queue block hoặc reject, credit-based flow control, hoặc `request(n)` của reactive-streams.

```text
producer ──▶ [bounded queue đầy] ──▶ block/reject ──▶ producer chậm lại
```

## Tại sao điều này quan trọng

Đây là những hiệu ứng phân biệt "chạy trên 4 core" với "mở rộng tới 64 core". Thiết kế ngây thơ đâm vào tường: lock serialize, cache line thrash, queue phình to. Sharding để giảm contention, padding để diệt false sharing, và backpressure để giới hạn queue là những đòn bẩy giữ latency và throughput khoẻ mạnh dưới tải thực.

Contention

False sharing

Backpressure

Tại sao điều này quan trọng

Câu hỏi liên quan