¿Cómo funciona la replicación en Kafka?

Question

Accepted Answer

Kafka **replica** particiones en múltiples brokers para **durabilidad y disponibilidad** — cada partición tiene un líder y réplicas seguidoras. Si un broker falla, una seguidora toma el control. Entender la replicación es clave para la tolerancia a fallos de Kafka.

## Por qué es importante

```text
Each PARTITION is replicated across multiple brokers (REPLICATION FACTOR copies, e.g. 3):
  → LEADER replica → handles all reads and writes for the partition
  → FOLLOWER replicas → copy (replicate) the leader's data, staying in sync
  → producers/consumers interact with the LEADER; followers are backups
→ if the leader's broker FAILS → a follower is promoted to leader (failover) → no data loss,
  continued availability
```

## Réplicas en sincronización (ISR)

```text
ISR (In-Sync Replicas) → the set of replicas CAUGHT UP with the leader:
  → only in-sync replicas are eligible to become leader (ensures the new leader has the data)
  → durability config: acks=all + min.insync.replicas → a write is acknowledged only when
    enough ISRs have it → survives failures without data loss
→ ISR is central to balancing durability and availability
```

## Compromisos entre durabilidad y disponibilidad

```text
→ REPLICATION FACTOR (e.g. 3) → more copies = more fault tolerance (survive more failures)
→ acks setting (producer):
  acks=0 → no wait (fast, may lose data)  acks=1 → leader only (may lose on leader failure)
  acks=all → all ISRs confirm (safe, no loss, but slower)
→ min.insync.replicas → minimum ISRs required for a write (durability guarantee)
→ trade-off: stronger durability (acks=all, more replicas) vs throughput/availability
```

## Por qué es importante

Entender cómo funciona la replicación en Kafka es valioso porque es **clave para la durabilidad y disponibilidad de Kafka** (tolerancia a fallos), por lo que es importante para entender y operar Kafka de manera confiable.

La replicación es cómo Kafka asegura que los datos no se pierdan y permanezcan disponibles a pesar de fallos de brokers.

Entender **cómo funciona la replicación** — cada partición replicada en brokers (según el factor de replicación) con un **líder** manejando lecturas/escrituras y **seguidoras** replicándola, de modo que si el broker del líder falla, una seguidora es promovida (failover, proporcionando disponibilidad continua sin pérdida de datos) — explica el mecanismo de tolerancia a fallos de Kafka.

Entender **réplicas en sincronización (ISR)** — el conjunto de réplicas sincronizadas con el líder, donde solo réplicas en sincronización pueden convertirse en líder (asegurando que el nuevo líder tenga los datos), y la configuración de durabilidad (acks=all más min.insync.replicas) asegurando que escrituras se confirmen solo cuando suficientes ISRs tengan los datos (sobreviviendo fallos sin pérdida) — es central a cómo Kafka balancea durabilidad y disponibilidad, un concepto operacional clave.

Entender los **compromisos entre durabilidad y disponibilidad** — el factor de replicación (más copias = más tolerancia a fallos), la configuración de **acks** del productor (acks=0 rápido pero puede perder datos, acks=1 solo líder, acks=all seguro pero más lento), y min.insync.replicas — refleja las decisiones de configuración importantes que balancean durabilidad contra rendimiento y disponibilidad.

Estos compromisos son decisiones prácticas al operar Kafka: durabilidad más fuerte (acks=all, más réplicas, ISRs mínimos más altos) versus desempeño.

Entender la replicación es esencial para operar Kafka de manera confiable y configurar las garantías de durabilidad correctas.

Ya que la replicación es clave para la durabilidad y disponibilidad de Kafka (tolerancia a fallos a través de replicación líder/seguidora y failover) y entenderla — el mecanismo, ISR, y los compromisos durabilidad/disponibilidad (factor de replicación, acks, ISRs mínimos) — es importante para operar Kafka de manera confiable y configurar garantías apropiadas, entender cómo funciona la replicación en Kafka es conocimiento valioso y prácticamente relevante — central para la tolerancia a fallos y durabilidad de Kafka, importante para entender cómo Kafka sobrevive a fallos y para configurar garantías de durabilidad (acks, factor de replicación, ISR), y clave para operar Kafka de manera confiable.