Wat is consistent hashing?

Question

Accepted Answer

**Consistent hashing** is een techniek voor het distribueren van data over nodes (servers) die **minimale redistributie veroorzaakt wanneer nodes worden toegevoegd of verwijderd** — in tegenstelling tot eenvoudige hashing, waarbij de meeste sleutels opnieuw worden toegewezen wanneer het aantal nodes verandert. Het is belangrijk voor gedistribueerde caches, databases en load distribution.

## Het probleem met eenvoudige hashing

```text
Simple approach: node = hash(key) % N  (N = number of nodes)
  ✗ when N CHANGES (add/remove a node), N changes → MOST keys remap to different nodes →
    massive data movement / cache invalidation (almost everything moves!)
→ adding/removing a server causes huge disruption → bad for dynamic distributed systems.
```

## Hoe consistent hashing werkt

```text
Map both NODES and KEYS onto a HASH RING (a circle of hash values):
  → a key belongs to the FIRST node clockwise from it on the ring
  → adding/removing a node only affects keys in ONE segment of the ring (its neighbors) →
    only a SMALL fraction of keys move (≈ K/N, not most of them)
→ minimal redistribution when nodes change → much better for dynamic systems.
```

## Virtuele nodes en toepassingen

```text
✓ VIRTUAL NODES → each physical node maps to MANY points on the ring → EVEN distribution
  (avoids uneven load from few nodes/uneven placement) → handles heterogeneous capacity
USES:
  → distributed CACHES (e.g. memcached clusters) — add/remove cache nodes without mass
    invalidation
  → distributed DATABASES (Cassandra, DynamoDB) — partition data across nodes
  → load balancers; any system distributing data/load across a changing set of nodes
```

## Waarom het belangrijk is

Het begrijpen van consistent hashing is waardevolle kennis op senior niveau omdat het een **fundamentele techniek voor het distribueren van data in dynamische gedistribueerde systemen** is, die in veel real-world systemen wordt gebruikt, dus belangrijk is voor het ontwerp van gedistribueerde systemen.

Het probleem dat het oplost is echt en belangrijk: **eenvoudige hashing** (`hash(key) % N`) veroorzaakt dat **de meeste sleutels opnieuw worden toegewezen wanneer het aantal nodes verandert** (het toevoegen of verwijderen van een server verplaatst bijna alle data — wat enorme data-verplaatsing of cache-ongeldigmaking veroorzaakt), wat het verschrikkelijk maakt voor dynamische gedistribueerde systemen waar nodes worden toegevoegd en verwijderd. **Consistent hashing** lost dit op door zowel nodes als sleutels op een **hash ring** in te delen (waarbij een sleutel hoort bij de eerste node met de klok mee), zodat **het toevoegen of verwijderen van een node slechts een klein gedeelte van de sleutels verplaatst** (die in één ring-segment, ≈ K/N) in plaats van de meeste — wat redistributie en verstoring minimaal houdt wanneer de node-set verandert.

Dit begrijpen — hoe de ring werkt en waarom het sleutel-verplaatsing minimaliseert — is het sleutelinzicht.

Het begrijpen van **virtuele nodes** (elke fysieke node toewijzen aan veel ring-punten voor gelijkmatige distributie, het voorkomen van ongelijke belasting die weinig of slecht geplaatste nodes veroorzaken, en het omgaan met heterogene capaciteit) weerspiegelt hoe consistent hashing goed in de praktijk werkt.

Het begrijpen van de **toepassingen** — gedistribueerde caches (cache-nodes toevoegen/verwijderen zonder massale ongeldigmaking), gedistribueerde databases (Cassandra, DynamoDB data-partitionering) en load balancers — verduidelijkt het belang ervan, omdat het in veel echte, veel gebruikte systemen wordt gebruikt.

Consistent hashing is een klassieke, belangrijke gedistribueerde-systemen techniek die vaak voorkomt in system design-discussies.

Omdat het distribueren van data over een dynamische set van nodes (met minimale verstoring wanneer nodes veranderen) een veelgebruikt probleem is in gedistribueerde systemen en consistent hashing het oplost (waar eenvoudige hashing ernstig faalt), en omdat het in echte systemen wordt gebruikt (gedistribueerde caches en databases) en het begrijpen ervan gedistribueerde-systemen kennis weerspiegelt, is het begrijpen van consistent hashing waardevolle senior-level kennis — een fundamentele techniek voor data-distributie in dynamische gedistribueerde systemen, gebruikt in veel echte caches en databases, oplossingbiedend voor het sleutel-herverdelingsprobleem van eenvoudige hashing, en een klassiek gedistribueerde-systemen concept dat de diepte weerspiegelt die voor senior roles wordt verwacht bij het ontwerpen van gedistribueerde systemen.