बड़े पैमाने पर concurrency को क्या सीमित करता है? contention, false sharing और backpressure को समझाइए।

Question

IT Interview Practice · Accepted Answer

**बड़े पैमाने पर, throughput CPU count की तुलना में contention, cache प्रभावों, और असीमित queues द्वारा कम सीमित होता है — एक बिंदु के बाद threads जोड़ना चीज़ों को धीमा कर देता है।** Amdahl's और Universal Scalability Law दोनों इसकी भविष्यवाणी करते हैं: समन्वय लागत अंततः हावी हो जाती है।

## Contention

जब कई threads एक lock या cache line के लिए लड़ते हैं, वे serialize हो जाते हैं और काम करने के बजाय प्रतीक्षा में समय बिताते हैं। Universal Scalability Law के तहत, contention और **coherency लागत** throughput को एक इष्टतम thread count के बाद *घटा* सकती हैं।

**उपाय**: data को shard/partition करें, per-thread state (thread-local, `LongAdder` जैसे striped counters), read-write locks, या lock-free structures।

## False sharing

दो स्वतंत्र variables जो संयोग से **एक ही CPU cache line** पर बैठते हैं, cores को हर write पर एक-दूसरे के caches को invalidate करने के लिए मजबूर करते हैं, भले ही वे कभी एक ही data को न छुएँ — एक मौन, क्रूर मंदी।

```text
cache line (64B): [ counterA | counterB ]  ← two cores ping-pong the line
Fix: pad so each hot variable owns its own line
```

```java
@Contended long counterA;   // JVM pads to a separate cache line
```

## Backpressure

जब producers consumers से आगे निकल जाते हैं, एक असीमित queue तब तक बढ़ती है जब तक OOM न हो जाए और latency विस्फोट कर दे। **Backpressure** producers को धीमा होने का संकेत देता है: bounded queues जो block या reject करती हैं, credit-based flow control, या reactive-streams `request(n)`।

```text
producer ──▶ [bounded queue full] ──▶ block/reject ──▶ producer slows
```

## यह क्यों महत्वपूर्ण है

ये वे प्रभाव हैं जो "4 cores पर काम करता है" को "64 तक scale करता है" से अलग करते हैं। भोले designs एक दीवार से टकराते हैं: locks serialize करते हैं, cache lines thrash करती हैं, queues फूल जाती हैं। contention कम करने के लिए sharding, false sharing मारने के लिए padding, और queues सीमित करने के लिए backpressure वे levers हैं जो वास्तविक load के तहत latency और throughput को स्वस्थ रखते हैं।

Contention

False sharing

Backpressure

यह क्यों महत्वपूर्ण है

संबंधित प्रश्न