Was sind Flaky Tests und wie geht man mit ihnen um?

Question

Accepted Answer

**Flaky Tests** sind Tests, die **ohne Code-Änderungen inkonsistent bestanden oder fehlgeschlagen werden** — manchmal bestanden, manchmal fehlgeschlagen beim gleichen Code. Sie sind ein ernstes Problem, da sie das Vertrauen in die Test-Suite untergraben. Das Verständnis ihrer Ursachen und Lösungen ist wichtig.

## Was Flaky Tests sind und warum sie schädlich sind

```text
A FLAKY test gives INCONSISTENT results (pass sometimes, fail other times) on the SAME code:
  → harmful: ERODES TRUST — people start ignoring failures ("oh, it's just flaky") →
    real failures get missed too
  → waste time on false alarms / re-runs; break CI; reduce confidence in the whole suite
→ Flaky tests are worse than no test if they make people distrust all tests.
```

## Häufige Ursachen

```text
✗ TIMING / async → race conditions; not waiting properly for async operations (a top cause
  in UI/E2E tests); arbitrary sleeps
✗ ORDER DEPENDENCE → tests depending on each other / shared mutable state
✗ EXTERNAL dependencies → real network/services (network blips, rate limits, downtime)
✗ NON-DETERMINISM → time/dates, randomness, timezone, locale
✗ Test ENVIRONMENT → leftover state, uncleaned data, concurrency/parallelism issues
```

## Flaky Tests beheben und verwalten

```text
✓ Fix the ROOT CAUSE: wait for conditions (not sleeps); make tests INDEPENDENT and clean
  up state; MOCK external dependencies; control time/randomness (inject them)
✓ Ensure proper isolation (no shared state, no order dependence)
✓ Don't just RETRY blindly (it hides the problem) — investigate and fix
✓ QUARANTINE persistently flaky tests (isolate so they don't block) WHILE fixing them
✓ Treat flakiness seriously — track and address it (it degrades the whole suite)
```

## Warum es wichtig ist

Das Verständnis von Flaky Tests und wie man mit ihnen umgeht, ist wichtig, da **Flaky Tests ein ernstes, häufiges Problem darstellen, das den Wert einer gesamten Test-Suite untergräbt**, weshalb es wertvoles praktisches Wissen ist.

Ein Flaky Test (der auf dem gleichen Code inkonsistent bestanden oder fehlgeschlagen wird) ist besonders schädlich, da er **das Vertrauen untergräbt**: Wenn Tests unvorhersehbar fehlschlagen, beginnen Menschen, Fehlschläge zu ignorieren („es ist einfach flaky"), was bedeutet, dass **echte Fehlschläge auch übersehen werden** – die Flakiness beeinträchtigt somit das Vertrauen in die gesamte Suite und könnte sie möglicherweise schlechter als nutzlos machen.

Das Verständnis dieser Schädigung motiviert, Flakiness ernst zu nehmen.

Das Verständnis der **häufigen Ursachen** — **Timing-/Async-Probleme** (Race Conditions, nicht korrektes Warten auf asynchrone Operationen, willkürliche Wartezeiten — eine häufige Ursache besonders in UI/E2E-Tests), **Reihenfolgeabhängigkeit** (Tests, die voneinander oder gemeinsamen Status abhängen), **externe Abhängigkeiten** (echte Netzwerk-/Service-Ausfälle und ihre Unterbrechungen), **Nicht-Determinismus** (Zeit, Zufallswerte, Zeitzone, Gebietsschema) und **Umgebungsprobleme** (verbleibender Status, Nebenläufigkeit) — ist notwendig, um Flakiness zu diagnostizieren.

Das Verständnis, wie man sie **behebt und verwaltet** — Beheben von Grundursachen (auf Bedingungen warten statt auf willkürliche Wartezeiten, Tests unabhängig und sauber gestalten, externe Abhängigkeiten mocken, Zeit und Zufallswerte kontrollieren), Sicherstellung der Isolierung, **nicht blind Wiederholung durchführen** (was Probleme verbirgt), hartnäckig Flaky Tests isolieren während sie behoben werden, und Flakiness als ernstes Problem behandeln, das nachverfolgt und behoben werden muss — spiegelt den richtigen Ansatz wider.

Da Flaky Tests ein häufiges, ernstes Problem sind, das das Vertrauen in und den Wert einer Test-Suite untergräbt (ein echtes Problem in vielen realen Projekten), und da das Verständnis ihrer Ursachen und korrekten Behandlung (Beheben von Grundursachen, Isolierung, nicht einfach Wiederholung) notwendig ist, um eine vertrauenswürdige Test-Suite zu erhalten, ist das Verständnis von Flaky Tests wertvoles, praktisch wichtiges Wissen — das ein signifikantes reales Testing-Problem adressiert, wichtig zum Erhalt einer zuverlässigen und vertrauenswürdigen Test-Suite ist, und die praktische Reife widerspiegelt, mit einem der frustrierendsten und schädlichsten Testing-Probleme umzugehen.