O que é Apache Kafka e para que é usado?

Question

Accepted Answer

**Apache Kafka** é uma plataforma distribuída de **streaming de eventos** — um sistema de alto throughput e durável para publicar, armazenar e processar fluxos de eventos (registros). É usado para mensageria, pipelines de dados em tempo real, arquiteturas orientadas a eventos e processamento de fluxos em larga escala.

## O que é Kafka

```text
Kafka = a distributed, durable, high-throughput EVENT STREAMING platform:
  → PUBLISH events (producers write) and SUBSCRIBE to them (consumers read)
  → STORE streams of events durably (a distributed, replicated commit LOG)
  → PROCESS streams in real time
→ think of it as a durable, scalable, append-only LOG of events that many systems can
  write to and read from
```

## Para que Kafka é usado

```text
✓ MESSAGING / event streaming → decoupled communication between systems (pub/sub at scale)
✓ DATA PIPELINES → move/stream data between systems reliably (ingestion, ETL)
✓ EVENT-DRIVEN architecture → services react to events; event sourcing
✓ REAL-TIME processing → analytics, monitoring, stream processing (Kafka Streams)
✓ LOG aggregation, metrics, activity tracking, change data capture (CDC)
→ used by huge companies for high-volume, real-time data
```

## Características principais

```text
✓ HIGH THROUGHPUT → handles millions of events/sec (very scalable)
✓ DURABLE → events persisted to disk, replicated (not lost)
✓ DISTRIBUTED → scales horizontally across a cluster of brokers
✓ Events RETAINED → consumers read at their own pace; events kept (replay possible)
✓ DECOUPLED → producers and consumers are independent
```

## Por que isso importa

Compreender o que é Kafka e para que é usado é um conhecimento valioso e fundamental, porque Kafka é uma **plataforma dominante para streaming de eventos e dados de alto volume** em arquiteturas modernas, amplamente utilizada em toda a indústria.

Kafka é uma plataforma distribuída de streaming de eventos — fundamentalmente um **log de eventos durável, escalável e apenas de adição** para o qual produtores escrevem e consumidores leem, combinando mensageria, armazenamento durável e processamento de fluxos.

Compreender essa natureza central (publicar/inscrever-se em fluxos de eventos, duramente armazenados em um log replicado distribuído, processados em tempo real) é a base.

Compreender **para que Kafka é usado** — mensageria e streaming de eventos (pub/sub desacoplado em larga escala), pipelines de dados (mover dados confiávelmente entre sistemas), arquitetura orientada a eventos e event sourcing, processamento e análise em tempo real, e agregação de logs e captura de dados de mudança — esclarece sua ampla aplicabilidade para cenários de dados em alto volume e em tempo real.

Compreender as **características principais** — alto throughput (milhões de eventos/seg), durabilidade (eventos persistidos e replicados, não perdidos), dimensionamento horizontal distribuído, retenção de eventos (consumidores lendo em seu próprio ritmo com reprodução possível — uma característica distintiva) e desacoplamento — explica por que Kafka é escolhido para cenários de dados exigentes.

Kafka é amplamente usado por grandes empresas e cada vez mais comum em arquiteturas modernas de dados para streaming, pipelines e sistemas orientados a eventos.

Como Kafka é uma plataforma dominante e amplamente utilizada para streaming de eventos e dados de alto volume (mensageria, pipelines, arquiteturas orientadas a eventos, processamento em tempo real) e compreender sua natureza (um log de eventos durável e escalável), usos e características é fundamental para dados modernos e arquitetura orientada a eventos, compreender o que é Kafka e para que é usado é um conhecimento valioso e amplamente relevante — uma compreensão fundamental de uma plataforma importante de streaming de eventos, cada vez mais importante em arquiteturas modernas de dados, e o enquadramento para tópicos mais específicos do Kafka, valioso para qualquer pessoa trabalhando com dados de streaming ou sistemas orientados a eventos.