¿Qué es un cache stampede y cómo lo previene?

Question

Accepted Answer

Un **cache stampede** (o dogpile) ocurre cuando una clave cacheada popular expira y **muchas solicitudes concurrentes fallan al mismo tiempo**, todas pasando al origen para recomputar el mismo valor simultáneamente. El origen (BD o servicio) recibe un golpe de solicitudes que no puede manejar, a veces dejando el sistema fuera de servicio.

## La causa

```text
t=0   hot key expires
t=0+  1000 requests arrive → all miss → all query the DB for the SAME value
      → DB overwhelmed; latency spikes; failures cascade
```

El desencadenante es la **expiración simultánea** de una clave popular. La solución es asegurar que solo una (o pocas) recomputación ocurra, o que las solicitudes no expiren todas juntas.

## Soluciones

- **Bloqueo / single-flight** — la primera falla toma un bloqueo y recomputa; todos los demás esperan ese único resultado en lugar de golpear el origen.
- **Stale-while-revalidate** — servir el valor ligeramente antiguo inmediatamente mientras una tarea de fondo lo refresca. Ninguna solicitud se bloquea en el origen.
- **Recomputación temprana / probabilística** — refrescar una clave *antes* de que expire, con una probabilidad que aumenta conforme se acerca la expiración, de modo que una solicitud afortunada la reconstruye antes del stampede.
- **TTLs con jitter** — agregar aleatoriedad a los TTLs para que las claves no expiren todas al mismo instante.
- **Request coalescing** — colapsar solicitudes concurrentes idénticas en una única llamada al origen.

## Pseudo-código de single-flight

```text
function get(key):
  val = cache.get(key)
  if val is present: return val            // fast path: a hit

if lock.acquire(key, ttl=5s):            // only ONE request wins the lock
    try:
      val = recompute()                    // hit the origin exactly once
      cache.set(key, val, ttl)
    finally:
      lock.release(key)
    return val
  else:
    wait_briefly(); return get(key)        // others wait, then read the filled cache
```

El bloqueo asegura exactamente una llamada al origen; todas las demás solicitudes concurrentes esperan y luego leen el valor recién cacheado.

## Por qué es importante

Un stampede convierte una expiración de caché rutinaria en una interrupción: el caché que protegía tu BD de repente se detiene, y todo el tráfico cae sobre el origen a la vez. Conocer la causa (expiración simultánea de claves populares) y las soluciones (single-flight, stale-while-revalidate, jitter) es esencial para mantener los cachés confiables bajo carga real.