Wie ermöglicht Redis Cluster Skalierung?

Question

Accepted Answer

**Redis Cluster** ermöglicht **horizontale Skalierung**, indem Daten über mehrere Redis-Knoten verteilt werden — das Dataset (und die Last) wird so verteilt, dass Redis Daten und Durchsatz jenseits des Speicherplatzes eines einzelnen Servers verarbeiten kann. Es partitioniert Daten über **Hash Slots** und bietet integrierte Hochverfügbarkeit.

## Sharding über Hash Slots

```text
Redis Cluster divides the keyspace into 16384 HASH SLOTS.
  → each key maps to a slot: slot = CRC16(key) mod 16384
  → slots are distributed across the cluster's primary nodes
  → each node owns a subset of slots (and thus a subset of the data)
→ This spreads data and load across nodes → scales memory and throughput horizontally.
```

Daten werden über Knoten durch **Hash Slots** (insgesamt 16384) partitioniert: Jeder Schlüssel wird in einen Slot gehasht, und Slots werden über primäre Knoten verteilt — daher hält jeder Knoten einen Teil der Daten und skaliert die Kapazität über einen Server hinaus.

## Hochverfügbarkeit eingebaut

```text
Each primary node has REPLICAS:
  → if a primary fails, one of its replicas is promoted (automatic failover)
  → the cluster continues serving (HA without separate Sentinel)
→ Redis Cluster combines SHARDING (scale) + REPLICATION (HA).
```

## Clients und Umleitung

```text
→ Clients connect to the cluster; a key's request goes to the node owning its slot.
→ If a client hits the wrong node, it gets a MOVED redirect to the right node
  (cluster-aware clients cache the slot map and route directly).
```

## Die Multi-Key-Einschränkung (wichtig)

```text
⚠️ Multi-key operations only work if all keys are in the SAME slot (same node):
  → operations spanning keys on different nodes are NOT supported directly
  → use HASH TAGS to force related keys into the same slot:
     {user:1000}:profile and {user:1000}:settings → same slot ({...} part is hashed)
→ Design keys so related data that's used together shares a slot.
```

## Warum es wichtig ist

Das Verständnis von Redis Cluster ist wichtig für das **horizontale Skalieren von Redis über einen einzelnen Server hinaus**, daher ist es wertvolles Wissen auf Senior-Level für großflächige Redis-Deployments.

Der Kernwert ist **horizontale Skalierung**: Wenn Daten oder Durchsatz das übersteigen, was der Speicher eines Redis-Servers bewältigen kann, teilt Cluster die **Daten über mehrere Knoten auf** (über 16384 **Hash Slots**, wobei jeder Schlüssel einem Slot zugeordnet wird, der über primäre Knoten verteilt ist), wodurch Daten und Last verteilt werden, um Speicher und Durchsatz über eine einzelne Maschine hinaus zu skalieren — essentiell für großflächige Systeme.

Das Verständnis des **Hash-Slot-Mechanismus** (wie Schlüssel zu Slots und Slots zu Knoten zugeordnet werden) ist grundlegend für die Funktionsweise von Cluster bei der Datenverteilung.

Zu wissen, dass Cluster **integrierte Hochverfügbarkeit** bietet (jeder primäre Knoten hat Replicas mit automatischem Failover, wodurch Sharding und Replikation ohne separaten Sentinel kombiniert werden), ist wichtig für Zuverlässigkeit in großem Maßstab.

Das Verständnis der **Client-Umleitung** (MOVED-Umleitungen, Cluster-bewusste Clients, die die Slot-Map cachen) erklärt, wie Anfragen zum richtigen Knoten gelangen.

Entscheidend ist das Verständnis der **Multi-Key-Einschränkung** — dass Multi-Key-Operationen alle Schlüssel im gleichen Slot benötigen, was durch **Hash Tags** behoben wird (`{user:1000}:...` erzwingt, dass zusammenhängende Schlüssel im gleichen Slot liegen) — ist essentiell, weil dies eine echte Einschränkung ist, die das Schlüsseldesign beeinflusst (zusammenhängende Daten, die zusammen verwendet werden, müssen zusammenliegen), und wenn man das nicht versteht, verursacht dies Fehler bei Multi-Key-Operationen in einem Cluster.

Da das Skalieren über einen einzelnen Redis-Server hinaus eine echte Notwendigkeit für hochvolumige Systeme ist, und da Redis Cluster (Sharding über Hash Slots + integrierte HA) der Mechanismus dafür ist — mit der wichtigen Hash-Tag/Multi-Key-Einschränkung, die das Design beeinflusst — ist das Verständnis von Redis Cluster wichtiges Senior-Level-Wissen zum Skalieren von Redis, ein Thema, das das Verständnis für horizontale Skalierung und die praktischen Einschränkungen (Schlüssel-Kolokalisation), die mit der Verteilung von Redis-Daten über Knoten einhergehen, demonstriert.