Consistent hashing क्या है?

Question

Accepted Answer

**Consistent hashing** डेटा को nodes (सर्वरों) में वितरित करने की एक तकनीक है जो **nodes जोड़े या हटाए जाने पर redistribution को न्यूनतम करती है** — सरल hashing के विपरीत, जो node count बदलने पर अधिकांश keys को remap करती है। यह distributed caches, databases, और load distribution के लिए महत्वपूर्ण है।

## सरल hashing के साथ समस्या

```text
Simple approach: node = hash(key) % N  (N = number of nodes)
  ✗ when N CHANGES (add/remove a node), N changes → MOST keys remap to different nodes →
    massive data movement / cache invalidation (almost everything moves!)
→ adding/removing a server causes huge disruption → bad for dynamic distributed systems.
```

## Consistent hashing कैसे काम करती है

```text
Map both NODES and KEYS onto a HASH RING (a circle of hash values):
  → a key belongs to the FIRST node clockwise from it on the ring
  → adding/removing a node only affects keys in ONE segment of the ring (its neighbors) →
    only a SMALL fraction of keys move (≈ K/N, not most of them)
→ minimal redistribution when nodes change → much better for dynamic systems.
```

## Virtual nodes और उपयोग

```text
✓ VIRTUAL NODES → each physical node maps to MANY points on the ring → EVEN distribution
  (avoids uneven load from few nodes/uneven placement) → handles heterogeneous capacity
USES:
  → distributed CACHES (e.g. memcached clusters) — add/remove cache nodes without mass
    invalidation
  → distributed DATABASES (Cassandra, DynamoDB) — partition data across nodes
  → load balancers; any system distributing data/load across a changing set of nodes
```

## यह क्यों महत्वपूर्ण है

Consistent hashing को समझना मूल्यवान senior-level ज्ञान है क्योंकि यह **dynamic distributed सिस्टम में डेटा वितरित करने की एक मौलिक तकनीक** है, कई वास्तविक सिस्टम में उपयोग की जाती है, इसलिए यह distributed system design के लिए महत्वपूर्ण है।

यह जो समस्या हल करती है वह वास्तविक और महत्वपूर्ण है: **सरल hashing** (`hash(key) % N`) **node count बदलने पर अधिकांश keys को remap करने का कारण बनती है** (एक सर्वर जोड़ना या हटाना लगभग सारा डेटा स्थानांतरित करता है — massive data movement या cache invalidation का कारण बनता है), जो इसे dynamic distributed सिस्टम के लिए भयानक बनाता है जहां nodes जोड़े और हटाए जाते हैं। **Consistent hashing** इसे nodes और keys दोनों को एक **hash ring** पर map करके हल करती है (एक key clockwise पहले node से संबंधित होती है), ताकि **एक node को जोड़ना या हटाना केवल keys के एक छोटे अंश को स्थानांतरित करे** (एक ring segment में वाले, ≈ K/N) अधिकांश के बजाय — redistribution और disruption को न्यूनतम करते हुए जब node set बदलता है।

यह समझना — ring कैसे काम करती है और यह key movement को क्यों न्यूनतम करती है — मुख्य अंतर्दृष्टि है।

**Virtual nodes** को समझना (समान वितरण के लिए प्रत्येक physical node को कई ring points पर map करना, उस असमान load से बचना जो कुछ या खराब-तरीके से रखे गए nodes पैदा करते हैं, और heterogeneous capacity को संभालना) दर्शाता है कि consistent hashing व्यवहार में अच्छी तरह कैसे काम करती है।

**उपयोगों** को समझना — distributed caches (mass invalidation के बिना cache nodes जोड़ना/हटाना), distributed databases (Cassandra, DynamoDB डेटा को partition करते हुए), और load balancers — इसके महत्व को स्पष्ट करता है, क्योंकि यह कई वास्तविक, व्यापक रूप से उपयोग किए जाने वाले सिस्टम में उपयोग की जाती है।

Consistent hashing एक classic, महत्वपूर्ण distributed-systems तकनीक है जो अक्सर system design चर्चाओं में प्रकट होती है।

चूंकि nodes के एक dynamic set में डेटा वितरित करना (node बदलने पर न्यूनतम disruption के साथ) distributed सिस्टम में एक सामान्य आवश्यकता है और consistent hashing इसे हल करती है (जहां सरल hashing बुरी तरह विफल होती है), और चूंकि यह वास्तविक सिस्टम में उपयोग की जाती है (distributed caches और databases) और इसे समझना distributed-systems ज्ञान को दर्शाता है, consistent hashing को समझना मूल्यवान senior-level ज्ञान है — dynamic distributed सिस्टम में डेटा वितरण के लिए एक मौलिक तकनीक, कई वास्तविक caches और databases में उपयोग की जाती है, सरल hashing की key-redistribution समस्या को हल करती है, और एक classic distributed-systems अवधारणा जो distributed सिस्टम डिज़ाइन करने वाली senior भूमिकाओं के लिए अपेक्षित गहराई को दर्शाती है।