Apa itu flaky tests dan bagaimana cara mengatasinya?

Question

Accepted Answer

**Flaky tests** adalah tes yang **lulus atau gagal secara tidak konsisten** tanpa perubahan kode — kadang lulus, kadang gagal pada kode yang sama. Ini adalah masalah serius karena mengikis kepercayaan pada test suite. Memahami penyebab dan cara mengatasinya sangat penting.

## Apa itu flaky tests dan mengapa mereka berbahaya

```text
A FLAKY test gives INCONSISTENT results (pass sometimes, fail other times) on the SAME code:
  → harmful: ERODES TRUST — people start ignoring failures ("oh, it's just flaky") →
    real failures get missed too
  → waste time on false alarms / re-runs; break CI; reduce confidence in the whole suite
→ Flaky tests are worse than no test if they make people distrust all tests.
```

## Penyebab umum

```text
✗ TIMING / async → race conditions; not waiting properly for async operations (a top cause
  in UI/E2E tests); arbitrary sleeps
✗ ORDER DEPENDENCE → tests depending on each other / shared mutable state
✗ EXTERNAL dependencies → real network/services (network blips, rate limits, downtime)
✗ NON-DETERMINISM → time/dates, randomness, timezone, locale
✗ Test ENVIRONMENT → leftover state, uncleaned data, concurrency/parallelism issues
```

## Memperbaiki dan mengelola flaky tests

```text
✓ Fix the ROOT CAUSE: wait for conditions (not sleeps); make tests INDEPENDENT and clean
  up state; MOCK external dependencies; control time/randomness (inject them)
✓ Ensure proper isolation (no shared state, no order dependence)
✓ Don't just RETRY blindly (it hides the problem) — investigate and fix
✓ QUARANTINE persistently flaky tests (isolate so they don't block) WHILE fixing them
✓ Treat flakiness seriously — track and address it (it degrades the whole suite)
```

## Mengapa ini penting

Memahami flaky tests dan cara mengatasinya penting karena **flaky tests adalah masalah serius dan umum yang merusak nilai dari seluruh test suite**, sehingga ini adalah pengetahuan praktis yang berharga.

Flaky test (lulus atau gagal secara tidak konsisten pada kode yang sama) sangat berbahaya karena **mengikis kepercayaan**: ketika tes gagal secara tidak terduga, orang mulai mengabaikan kegagalan ("itu hanya flaky"), yang berarti **kegagalan nyata juga terlewatkan** — sehingga flakiness mengurangi kepercayaan pada seluruh suite, yang berpotensi membuat semuanya lebih buruk daripada tidak berguna.

Memahami bahaya ini memotivasi untuk menganggap flakiness dengan serius.

Memahami **penyebab umum** — **masalah timing/async** (race conditions, tidak menunggu operasi async dengan benar, sleeps arbitrer — penyebab utama terutama dalam tes UI/E2E), **ketergantungan order** (tes bergantung satu sama lain atau state bersama), **ketergantungan eksternal** (jaringan/layanan nyata dengan gangguan dan downtime mereka), **non-determinism** (waktu, randomness, timezone, locale), dan **masalah environment** (state tertinggal, concurrency) — diperlukan untuk mendiagnosis flakiness.

Memahami cara **memperbaiki dan mengelola** mereka — memperbaiki root causes (menunggu kondisi alih-alih sleeps, membuat tes independen dan bersih, mocking ketergantungan eksternal, mengontrol waktu dan randomness), memastikan isolasi, **tidak hanya retry secara membabi buta** (yang menyembunyikan masalah), mengisolasi tes flaky yang persisten sambil memperbaikinya, dan menganggap flakiness sebagai masalah serius untuk dilacak dan ditangani — mencerminkan pendekatan yang tepat.

Karena flaky tests adalah masalah umum dan serius yang merusak kepercayaan pada dan nilai dari test suite (masalah nyata dalam banyak proyek dunia nyata), dan karena memahami penyebab mereka dan penanganan yang tepat (memperbaiki root causes, isolasi, bukan hanya retry) diperlukan untuk mempertahankan test suite yang dapat dipercaya, memahami flaky tests adalah pengetahuan praktis yang berharga — mengatasi masalah testing dunia nyata yang signifikan, penting untuk menjaga test suite tetap andal dan dipercaya, dan mencerminkan kematangan praktis untuk menangani salah satu masalah testing yang paling membuat frustrasi dan merusak.