Wie funktionieren Datenspeicherung und Aufbewahrung in Kafka?

Question

Accepted Answer

Kafka **behält Ereignisse** für einen konfigurierbaren Zeitraum (oder eine Größe) bei, speichert sie in den Partitionslogs, auch nach dem Verbrauch — was Replay und mehrere Consumer ermöglicht. Das Verständnis von Aufbewahrung und Log-Management ist wichtig für die Verwendung von Kafka und die Verwaltung des Speichers.

## Aufbewahrung — Ereignisse werden behalten

```text
Unlike traditional queues, Kafka RETAINS events (doesn't delete on consumption):
  → events stay in the partition log for a configured RETENTION period (e.g. 7 days) or
    SIZE limit
  → enables: REPLAY (re-read history), multiple consumers reading independently, late
    consumers catching up
  → after retention expires → old segments are deleted (or compacted)
→ Kafka is a durable LOG, not just a transient queue
```

## Aufbewahrungskonfiguration

```text
→ TIME-based → retention.ms (keep events for N time, e.g. 7 days)
→ SIZE-based → retention.bytes (keep up to N bytes per partition)
→ configured per topic; events past the limit are removed (oldest first)
→ choose based on replay needs, consumer lag tolerance, and storage capacity
```

## Log-Komprimierung

```text
LOG COMPACTION → an alternative retention mode: keep the LATEST value per KEY (not all events):
  → retains the most recent record for each key, removing older ones for that key
  → useful for: changelog/state topics (the current state per key matters, not full history)
  → e.g. a topic of "user → latest profile" → keep the latest per user
→ vs time/size retention (keep recent history) — compaction keeps latest-per-key forever
```

## Warum es wichtig ist

Das Verständnis von Datenspeicherung und Aufbewahrung in Kafka ist wertvoll, da **Aufbewahrung ein charakteristisches, wichtiges Kafka-Feature** ist, das Funktionen und Speicher beeinflusst, sodass es relevantes Wissen für die Verwendung und den Betrieb von Kafka ist.

Kafkas Aufbewahrung von Ereignissen (das Beibehalten in Partitionslogs auch nach dem Verbrauch) ist ein Unterscheidungsmerkmal gegenüber traditionellen Warteschlangen und ermöglicht Kafkas charakteristische Funktionen.

Das Verständnis von **Aufbewahrung** — dass Kafka Ereignisse für einen konfigurierten Zeitraum oder eine Größe behält (nicht beim Verbrauch löscht), was **Replay** (Wiederlesen der Verlauf), mehrere Consumer, die unabhängig lesen, und verspätete Consumer ermöglicht — verdeutlicht, warum Kafka ein dauerhaftes Log und nicht eine vorübergehende Warteschlange ist, und wie seine Replay- und Multi-Consumer-Funktionen funktionieren.

Das Verständnis der **Aufbewahrungskonfiguration** — zeitbasierte (retention.ms, z. B. 7 Tage) und größenbasierte (retention.bytes) Aufbewahrung, pro Topic konfiguriert, Auswahl basierend auf Replay-Anforderungen, Consumer-Lag-Toleranz und Speicherkapazität — ist wichtiges praktisches Wissen für die Verwaltung, wie lange Daten aufbewahrt werden und der zugehörige Speicher.

Das Verständnis von **Log-Komprimierung** — ein alternativer Aufbewahrungsmodus, der den **neuesten Wert pro Schlüssel** behält (anstelle aller Ereignisse), nützlich für Changelog-/State-Topics, bei denen der aktuelle Zustand pro Schlüssel zählt (wie "Benutzer → neuestes Profil", wobei die neueste pro Benutzer behalten wird) — ist ein charakteristisches, wertvolles Kafka-Feature für State-orientierte Topics, in Kontrast zu Zeit-/Größen-Aufbewahrung.

Das Verständnis von Aufbewahrung und Komprimierung ist wichtig, um Kafkas Funktionen (Replay, State-Topics) zu nutzen und Speicher zu verwalten (Aufbewahrung beeinflusst, wie viel Daten gespeichert werden).

Diese Konzepte beeinflussen sowohl Funktionalität (was Consumer lesen und replay können) als auch Betrieb (Speicherverwaltung).

Da Aufbewahrung ein charakteristisches, wichtiges Kafka-Feature (das Replay und mehrere Consumer ermöglicht, Kafka von Warteschlangen unterscheidet) ist, das Funktionen und Speicher beeinflusst, und da das Verständnis der Aufbewahrungskonfiguration und Log-Komprimierung relevant für die Nutzung von Kafkas Funktionen und die Speicherverwaltung ist, ist das Verständnis von Datenspeicherung und Aufbewahrung in Kafka wertvoll, praktisch relevantes Wissen — zentral für Kafkas charakteristische Funktionen (Replay, mehrere Consumer) und zur Speicherverwaltung, wobei Log-Komprimierung ein wertvolles Feature für State-Topics ist, wichtig für die effektive Verwendung und den Betrieb von Kafka.