¿Qué es hashing consistente?

Question

Accepted Answer

**Hashing consistente** es una técnica para distribuir datos entre nodos (servidores) que **minimiza la redistribución cuando se añaden o se eliminan nodos** — a diferencia del hashing simple, que remapea la mayoría de claves cuando cambia el número de nodos. Es importante para cachés distribuidas, bases de datos y distribución de carga.

## El problema con el hashing simple

```text
Simple approach: node = hash(key) % N  (N = number of nodes)
  ✗ when N CHANGES (add/remove a node), N changes → MOST keys remap to different nodes →
    massive data movement / cache invalidation (almost everything moves!)
→ adding/removing a server causes huge disruption → bad for dynamic distributed systems.
```

## Cómo funciona el hashing consistente

```text
Map both NODES and KEYS onto a HASH RING (a circle of hash values):
  → a key belongs to the FIRST node clockwise from it on the ring
  → adding/removing a node only affects keys in ONE segment of the ring (its neighbors) →
    only a SMALL fraction of keys move (≈ K/N, not most of them)
→ minimal redistribution when nodes change → much better for dynamic systems.
```

## Nodos virtuales y usos

```text
✓ VIRTUAL NODES → each physical node maps to MANY points on the ring → EVEN distribution
  (avoids uneven load from few nodes/uneven placement) → handles heterogeneous capacity
USES:
  → distributed CACHES (e.g. memcached clusters) — add/remove cache nodes without mass
    invalidation
  → distributed DATABASES (Cassandra, DynamoDB) — partition data across nodes
  → load balancers; any system distributing data/load across a changing set of nodes
```

## Por qué es importante

Entender hashing consistente es conocimiento valioso de nivel senior porque es una **técnica fundamental para distribuir datos en sistemas distribuidos dinámicos**, utilizada en muchos sistemas reales, por lo que es importante para el diseño de sistemas distribuidos.

El problema que resuelve es real e importante: **hashing simple** (`hash(key) % N`) causa que **la mayoría de claves se remapeen cuando cambia el número de nodos** (añadir o eliminar un servidor mueve casi todos los datos — causando movimiento masivo de datos o invalidación de caché), lo que lo hace terrible para sistemas distribuidos dinámicos donde los nodos se añaden y se eliminan. **Hashing consistente** resuelve esto mapeando tanto nodos como claves a un **anillo de hash** (con una clave perteneciendo al primer nodo en dirección horaria), de modo que **añadir o eliminar un nodo solo mueve una pequeña fracción de claves** (aquellas en un segmento del anillo, ≈ K/N) en lugar de la mayoría — minimizando la redistribución y la disrupción cuando el conjunto de nodos cambia.

Entender esto — cómo funciona el anillo y por qué minimiza el movimiento de claves — es el insight clave.

Entender **nodos virtuales** (mapear cada nodo físico a muchos puntos del anillo para una distribución uniforme, evitando la carga desigual que causan pocos nodos o mal ubicados, y manejar capacidad heterogénea) refleja cómo el hashing consistente funciona bien en la práctica.

Entender los **usos** — cachés distribuidas (añadir/eliminar nodos de caché sin invalidación masiva), bases de datos distribuidas (particionamiento de datos en Cassandra, DynamoDB) y balanceadores de carga — aclara su importancia, ya que se utiliza en muchos sistemas reales y ampliamente utilizados.

Hashing consistente es una técnica de sistemas distribuidos clásica e importante que aparece frecuentemente en discusiones de diseño de sistemas.

Ya que distribuir datos entre un conjunto dinámico de nodos (con disruption mínimo cuando los nodos cambian) es una necesidad común en sistemas distribuidos y hashing consistente lo resuelve (donde hashing simple falla badly), y ya que se utiliza en sistemas reales (cachés distribuidas y bases de datos) y entenderlo refleja conocimiento de sistemas distribuidos, entender hashing consistente es conocimiento valioso de nivel senior — una técnica fundamental para distribución de datos en sistemas distribuidos dinámicos, utilizada en muchas cachés y bases de datos reales, resolviendo el problema de redistribución de claves de hashing simple, y un concepto clásico de sistemas distribuidos que refleja la profundidad esperada para roles senior diseñando sistemas distribuidos.