Τι περιορίζει το concurrency σε κλίμακα; Εξήγησε το contention, το false sharing και το backpressure.

Question

IT Interview Practice · Accepted Answer

**Σε κλίμακα, το throughput περιορίζεται λιγότερο από τον αριθμό των CPU και περισσότερο από το contention, τα cache effects και τις απεριόριστες queues — η προσθήκη threads πέρα από ένα σημείο κάνει τα πράγματα πιο αργά.** Ο νόμος του Amdahl και ο Universal Scalability Law το προβλέπουν και οι δύο: το κόστος συντονισμού τελικά κυριαρχεί.

## Contention

Όταν πολλά threads παλεύουν για ένα lock ή cache line, σειριοποιούνται και ξοδεύουν χρόνο περιμένοντας αντί να δουλεύουν. Υπό τον Universal Scalability Law, το contention συν το **coherency cost** μπορεί να κάνει το throughput *να μειώνεται* πέρα από έναν βέλτιστο αριθμό threads.

**Μετριασμοί**: shard/partition των δεδομένων, per-thread κατάσταση (thread-local, striped counters όπως το `LongAdder`), read-write locks ή lock-free δομές.

## False sharing

Δύο ανεξάρτητες μεταβλητές που τυχαίνει να βρίσκονται στην **ίδια CPU cache line** κάνουν τους cores να ακυρώνουν ο ένας την cache του άλλου σε κάθε write, παρόλο που δεν αγγίζουν ποτέ τα ίδια δεδομένα — μια σιωπηλή, βάναυση επιβράδυνση.

```text
cache line (64B): [ counterA | counterB ]  ← two cores ping-pong the line
Fix: pad so each hot variable owns its own line
```

```java
@Contended long counterA;   // JVM pads to a separate cache line
```

## Backpressure

Όταν οι producers ξεπερνούν σε ρυθμό τους consumers, μια απεριόριστη queue μεγαλώνει μέχρι το OOM και το latency εκτοξεύεται. Το **Backpressure** σηματοδοτεί στους producers να επιβραδύνουν: bounded queues που μπλοκάρουν ή απορρίπτουν, credit-based flow control, ή το `request(n)` των reactive-streams.

```text
producer ──▶ [bounded queue full] ──▶ block/reject ──▶ producer slows
```

## Γιατί έχει σημασία

Αυτά είναι τα φαινόμενα που ξεχωρίζουν το "δουλεύει σε 4 cores" από το "κλιμακώνεται στους 64." Τα αφελή designs χτυπούν σε τοίχο: τα locks σειριοποιούν, οι cache lines κάνουν thrash, οι queues φουσκώνουν. Το sharding για μείωση του contention, το padding για εξάλειψη του false sharing, και το backpressure για να βάλει όριο στις queues είναι οι μοχλοί που κρατούν το latency και το throughput υγιή υπό πραγματικό φορτίο.

Contention

False sharing

Backpressure

Γιατί έχει σημασία

Σχετικές ερωτήσεις