Bagaimana Redis Cluster memungkinkan scaling?

Question

Accepted Answer

**Redis Cluster** memungkinkan **horizontal scaling** dengan membagi data (sharding) di seluruh multiple Redis nodes — mendistribusikan dataset (dan load) agar Redis dapat menangani data dan throughput yang melebihi memory server tunggal. Cluster mempartisi data melalui **hash slots** dan menyediakan high availability bawaan.

## Sharding via hash slots

```text
Redis Cluster divides the keyspace into 16384 HASH SLOTS.
  → each key maps to a slot: slot = CRC16(key) mod 16384
  → slots are distributed across the cluster's primary nodes
  → each node owns a subset of slots (and thus a subset of the data)
→ This spreads data and load across nodes → scales memory and throughput horizontally.
```

Data dipartisi antar nodes melalui **hash slots** (16384 total): setiap key di-hash ke slot, dan slots tersebar di primary nodes — sehingga setiap node memegang bagian dari data, menskalakan kapasitas melampaui satu server.

## High availability built in

```text
Each primary node has REPLICAS:
  → if a primary fails, one of its replicas is promoted (automatic failover)
  → the cluster continues serving (HA without separate Sentinel)
→ Redis Cluster combines SHARDING (scale) + REPLICATION (HA).
```

## Clients dan redirection

```text
→ Clients connect to the cluster; a key's request goes to the node owning its slot.
→ If a client hits the wrong node, it gets a MOVED redirect to the right node
  (cluster-aware clients cache the slot map and route directly).
```

## The multi-key constraint (important)

```text
⚠️ Multi-key operations only work if all keys are in the SAME slot (same node):
  → operations spanning keys on different nodes are NOT supported directly
  → use HASH TAGS to force related keys into the same slot:
     {user:1000}:profile and {user:1000}:settings → same slot ({...} part is hashed)
→ Design keys so related data that's used together shares a slot.
```

## Mengapa ini penting

Memahami Redis Cluster penting untuk **scaling Redis secara horizontal melampaui server tunggal**, sehingga ini adalah pengetahuan senior-level yang berharga untuk deployment Redis skala besar.

Nilai inti adalah **horizontal scaling**: ketika data atau throughput melebihi apa yang dapat ditangani oleh memory server Redis tunggal, Cluster **membagi data di seluruh multiple nodes** (melalui 16384 **hash slots**, setiap key memetakan ke slot yang didistribusikan di primary nodes), menyebarkan data dan load untuk menskalakan memory dan throughput melampaui single machine — penting untuk sistem skala besar.

Memahami **mekanisme hash slot** (bagaimana keys memetakan ke slots dan slots ke nodes) adalah fondasi dari bagaimana Cluster mendistribusikan data.

Mengetahui bahwa Cluster menyediakan **high availability bawaan** (setiap primary memiliki replicas dengan automatic failover, menggabungkan sharding dan replication tanpa memerlukan Sentinel terpisah) penting untuk reliability dalam skala besar.

Memahami **client redirection** (MOVED redirects, cluster-aware clients caching slot map) menjelaskan bagaimana requests mencapai node yang tepat.

Secara kritis, memahami **multi-key constraint** — bahwa multi-key operations memerlukan semua keys dalam slot yang sama, diatasi dengan **hash tags** (`{user:1000}:...` memaksa related keys ke slot yang sama) — penting karena ini adalah limitasi nyata yang mempengaruhi key design (data terkait yang digunakan bersama harus co-located), dan tidak memahaminya menyebabkan errors dengan multi-key operations dalam cluster.

Karena scaling melampaui server Redis tunggal adalah kebutuhan nyata untuk sistem high-volume, dan karena Redis Cluster (sharding via hash slots + built-in HA) adalah mekanisme untuknya — dengan hash-tag/multi-key constraint penting mempengaruhi design — memahami Redis Cluster adalah pengetahuan senior-level penting untuk scaling Redis, sebuah topik yang mendemonstrasikan pemahaman tentang horizontal scaling dan practical constraints (key co-location) yang datang dengan mendistribusikan Redis data di seluruh nodes.