Como funciona a replicação no Kafka?

Question

Accepted Answer

O Kafka **replica** partições em múltiplos brokers para **durabilidade e disponibilidade** — cada partição tem uma réplica líder e replicas seguidoras. Se um broker falhar, uma seguidora assume. Entender a replicação é fundamental para a tolerância a falhas do Kafka.

## Como a replicação funciona

```text
Each PARTITION is replicated across multiple brokers (REPLICATION FACTOR copies, e.g. 3):
  → LEADER replica → handles all reads and writes for the partition
  → FOLLOWER replicas → copy (replicate) the leader's data, staying in sync
  → producers/consumers interact with the LEADER; followers are backups
→ if the leader's broker FAILS → a follower is promoted to leader (failover) → no data loss,
  continued availability
```

## Replicas em Sincronização (ISR)

```text
ISR (In-Sync Replicas) → the set of replicas CAUGHT UP with the leader:
  → only in-sync replicas are eligible to become leader (ensures the new leader has the data)
  → durability config: acks=all + min.insync.replicas → a write is acknowledged only when
    enough ISRs have it → survives failures without data loss
→ ISR is central to balancing durability and availability
```

## Trade-offs entre durabilidade e disponibilidade

```text
→ REPLICATION FACTOR (e.g. 3) → more copies = more fault tolerance (survive more failures)
→ acks setting (producer):
  acks=0 → no wait (fast, may lose data)  acks=1 → leader only (may lose on leader failure)
  acks=all → all ISRs confirm (safe, no loss, but slower)
→ min.insync.replicas → minimum ISRs required for a write (durability guarantee)
→ trade-off: stronger durability (acks=all, more replicas) vs throughput/availability
```

## Por que isso importa

Entender como a replicação funciona no Kafka é valioso porque é **fundamental para a durabilidade e disponibilidade do Kafka** (tolerância a falhas), então é importante para entender e operar o Kafka de forma confiável.

A replicação é como o Kafka garante que os dados não sejam perdidos e permaneçam disponíveis apesar de falhas de broker.

Entender **como funciona a replicação** — cada partição replicada entre brokers (de acordo com o fator de replicação) com um **líder** tratando leituras/escritas e **seguidoras** replicando-o, para que se o broker do líder falhar uma seguidora seja promovida (failover, fornecendo disponibilidade contínua sem perda de dados) — explica o mecanismo de tolerância a falhas do Kafka.

Entender **replicas em sincronização (ISR)** — o conjunto de replicas sincronizadas com o líder, onde apenas replicas em sincronização podem se tornar líder (garantindo que o novo líder tenha os dados), e a configuração de durabilidade (acks=all plus min.insync.replicas) garantindo que escritas sejam confirmadas apenas quando replicas ISR suficientes tiverem os dados (sobrevivendo a falhas sem perda) — é central para como o Kafka equilibra durabilidade e disponibilidade, um conceito operacional chave.

Entender os **trade-offs entre durabilidade e disponibilidade** — o fator de replicação (mais cópias = mais tolerância a falhas), a configuração de **acks** do produtor (acks=0 rápido mas pode perder dados, acks=1 apenas o líder, acks=all seguro mas mais lento), e min.insync.replicas — reflete as decisões de configuração importantes que equilibram durabilidade contra throughput e disponibilidade.

Esses trade-offs são decisões práticas ao operar o Kafka: durabilidade mais forte (acks=all, mais replicas, ISRs mínimas maiores) versus performance.

Entender replicação é essencial para operar o Kafka de forma confiável e configurar as garantias de durabilidade certas.

Como a replicação é fundamental para a durabilidade e disponibilidade do Kafka (tolerância a falhas através de replicação líder/seguidora e failover) e entendê-la — o mecanismo, ISR, e os trade-offs de durabilidade/disponibilidade (fator de replicação, acks, ISRs mínimas) — é importante para operar o Kafka de forma confiável e configurar garantias apropriadas, entender como funciona a replicação no Kafka é conhecimento valioso e praticamente relevante — central para a tolerância a falhas do Kafka e durabilidade, importante para entender como o Kafka sobrevive a falhas e para configurar garantias de durabilidade (acks, fator de replicação, ISR), e fundamental para operar o Kafka de forma confiável.