Wie funktioniert die Nachrichtenreihenfolge in Kafka?

Question

Accepted Answer

Kafka garantiert **Reihenfolge innerhalb einer Partition**, aber **nicht über Partitionen hinweg** — ein entscheidendes Konzept. Um Reihenfolge für zusammenhängende Events zu erreichen, leiten Sie diese über denselben Schlüssel in dieselbe Partition weiter. Das Verständnis von Reihenfolge ist wichtig für Korrektheit.

## Pro-Partition-Reihenfolge

```text
Kafka guarantees:
  ✓ ORDER WITHIN a partition → events in a partition are strictly ordered (by offset);
    consumers read them in order
  ✗ NO order ACROSS partitions → events in different partitions have no relative order
    guarantee (they're processed in parallel by different consumers)
→ this is a FUNDAMENTAL Kafka property (and a common source of misunderstanding)
```

## Reihenfolge für zusammenhängende Events erhalten

```text
To keep RELATED events ordered → send them to the SAME partition:
  → use the SAME KEY for related events (key → hash → same partition):
    e.g. all events for orderId=5 use key=5 → same partition → ordered for that order
  → so per-entity ordering: key by the entity (userId, orderId, accountId)
→ choose the key so events that must be ordered share a partition
```

## Trade-offs und Überlegungen

```text
⚠️ Ordering vs PARALLELISM → ordering within a key/partition limits parallelism for that key
  (all of one key's events are processed by one consumer, in order)
⚠️ A few things break ordering: producer retries (without idempotence + max.in.flight=1),
  adding partitions (changes key→partition mapping)
→ if you DON'T need ordering → no key (spread freely for max parallelism)
→ if you NEED ordering → key appropriately; accept the parallelism scope
```

## Warum es wichtig ist

Das Verständnis der Nachrichtenreihenfolge in Kafka ist wertvoll, weil **Reihenfolge ein fundamentales, häufig missverstandes Kafka-Konzept ist**, das für Korrektheit wichtig ist und daher essentielles Wissen darstellt.

Kafkas Reihenfolgegarantie ist spezifisch und entscheidend zu verstehen.

Das Verständnis der **Pro-Partition-Reihenfolge** — dass Kafka die Reihenfolge **innerhalb einer Partition** garantiert (Events sind streng nach Offset geordnet, werden in Reihenfolge gelesen), aber **nicht über Partitionen hinweg** (Events in verschiedenen Partitionen haben keine relative Reihenfolge, werden parallel verarbeitet) — ist eine fundamentale Kafka-Eigenschaft und eine **häufige Quelle von Missverständnissen** (Menschen nehmen oft fälschlicherweise an, es gibt globale Reihenfolge), daher ist das korrekte Verständnis für Korrektheit essentiell.

Das Verständnis, wie man **Reihenfolge für zusammenhängende Events erreicht** — indem man sie über **denselben Schlüssel** in dieselbe Partition sendet (sodass zusammenhängende Events wie alle Events für eine bestimmte Bestellung oder einen Benutzer, mit diesem Entity als Schlüssel versehen, in dieselbe Partition gehen und geordnet bleiben) — ist die Schlüsseltechnik in der Praxis, um die Reihenfolge-Korrektheit zu erreichen, die Anwendungen benötigen (Pro-Entity-Reihenfolge über Schlüsselung).

Das Verständnis der **Trade-offs und Überlegungen** — dass Reihenfolge innerhalb eines Schlüssels/einer Partition **Parallelität für diesen Schlüssel einschränkt** (alle Events eines Schlüssels werden von einem Consumer in Reihenfolge verarbeitet), dass einige Dinge die Reihenfolge durchbrechen (Producer-Wiederholungen ohne Idempotenz und max.in.flight=1, Hinzufügen von Partitionen ändert die Schlüsselmapping), und dass Sie keinen Schlüssel verwenden sollten, wenn Reihenfolge nicht nötig ist (für maximale Parallelität), aber Schlüssel angemessen einsetzen sollten, wenn sie nötig ist (wobei Sie den Parallelitätsbereich akzeptieren) — spiegelt das differenzierte Verständnis wider, das nötig ist, um für korrekte Reihenfolge zu entwerfen, während man Parallelität ausbalanciert.

Dieses Reihenfolgewissen ist wichtig, weil es falsch zu verstehen (globale Reihenfolge anzunehmen oder Events, die Reihenfolge brauchen, nicht mit Schlüsseln zu versehen) zu echten Korrektheitsbuggen führt.

Da Reihenfolge ein fundamentales, häufig missverstandes Kafka-Konzept ist (nur Pro-Partition, Schlüssel für zusammenhängende Events erforderlich) und für Korrektheit wichtig ist, und da das Verständnis der Garantie, wie man Reihenfolge über Schlüssel erreicht, und die Trade-offs (Reihenfolge vs. Parallelität) essentiell sind, ist das Verständnis der Nachrichtenreihenfolge in Kafka wertvoll und essentielles Kafka-Wissen — ein fundamentales, häufig missverstandenes Konzept, das für Korrektheit entscheidend ist, wobei das Verständnis von Pro-Partition-Reihenfolge und schlüsselbasiertem Routing für zusammenhängende Events (und dem Parallelitäts-Trade-off) notwendig ist, um Kafka-Systeme zu entwerfen, die Events korrekt sortieren, ein Schlüsselkonzept, das jeder Kafka-Benutzer genau verstehen muss.