Apakah ujian flaky dan bagaimana anda menanganinya?

Question

Accepted Answer

**Ujian flaky** ialah ujian yang **lulus atau gagal secara tidak konsisten** tanpa perubahan kod — kadangkala lulus, kadangkala gagal pada kod yang sama. Ia merupakan masalah serius kerana ia menghakis kepercayaan terhadap test suite. Memahami punca dan penyelesaiannya adalah penting.

## Apa itu ujian flaky dan mengapa ia memudaratkan

```text
A FLAKY test gives INCONSISTENT results (pass sometimes, fail other times) on the SAME code:
  → harmful: ERODES TRUST — people start ignoring failures ("oh, it's just flaky") →
    real failures get missed too
  → waste time on false alarms / re-runs; break CI; reduce confidence in the whole suite
→ Flaky tests are worse than no test if they make people distrust all tests.
```

## Punca lazim

```text
✗ TIMING / async → race conditions; not waiting properly for async operations (a top cause
  in UI/E2E tests); arbitrary sleeps
✗ ORDER DEPENDENCE → tests depending on each other / shared mutable state
✗ EXTERNAL dependencies → real network/services (network blips, rate limits, downtime)
✗ NON-DETERMINISM → time/dates, randomness, timezone, locale
✗ Test ENVIRONMENT → leftover state, uncleaned data, concurrency/parallelism issues
```

## Membaiki dan mengurus ujian flaky

```text
✓ Fix the ROOT CAUSE: wait for conditions (not sleeps); make tests INDEPENDENT and clean
  up state; MOCK external dependencies; control time/randomness (inject them)
✓ Ensure proper isolation (no shared state, no order dependence)
✓ Don't just RETRY blindly (it hides the problem) — investigate and fix
✓ QUARANTINE persistently flaky tests (isolate so they don't block) WHILE fixing them
✓ Treat flakiness seriously — track and address it (it degrades the whole suite)
```

## Mengapa ia penting

Memahami ujian flaky dan cara menanganinya adalah penting kerana **ujian flaky merupakan masalah serius yang lazim yang menjejaskan nilai keseluruhan test suite**, jadi ia merupakan pengetahuan praktikal yang berharga.

Ujian flaky (lulus atau gagal secara tidak konsisten pada kod yang sama) amat memudaratkan kerana ia **menghakis kepercayaan**: apabila ujian gagal secara tidak boleh diramal, orang mula mengabaikan kegagalan ("ia cuma flaky"), yang bermakna **kegagalan sebenar turut terlepas pandang** — jadi flakiness menjejaskan keyakinan terhadap keseluruhan suite, malah berpotensi menjadikannya lebih buruk daripada tidak berguna.

Memahami kemudaratan ini mendorong agar flakiness ditangani dengan serius.

Memahami **punca lazim** — **isu timing/async** (race conditions, tidak menunggu operasi async dengan betul, sleep sewenang-wenangnya — punca utama terutamanya dalam ujian UI/E2E), **pergantungan turutan** (ujian yang bergantung antara satu sama lain atau shared state), **dependency luaran** (network/perkhidmatan sebenar dengan gangguan dan downtime), **non-determinisme** (masa, kerawakan, zon masa, locale), dan **isu persekitaran** (leftover state, concurrency) — adalah perlu untuk mendiagnosis flakiness.

Memahami cara **membaiki dan mengurus** ujian tersebut — membaiki punca akar (menunggu syarat dan bukan sleep, menjadikan ujian bebas dan bersih, mocking dependency luaran, mengawal masa dan kerawakan), memastikan isolasi, **tidak retry secara membabi buta** (yang menyembunyikan masalah), mengkuarantin ujian flaky yang berpanjangan sambil membaikinya, dan menganggap flakiness sebagai isu serius yang perlu dijejaki dan ditangani — mencerminkan pendekatan yang betul.

Memandangkan ujian flaky merupakan masalah lazim yang serius yang menjejaskan kepercayaan terhadap dan nilai sesuatu test suite (satu isu sebenar dalam banyak projek dunia nyata), dan memandangkan memahami puncanya serta pengendaliannya yang betul (membaiki punca akar, isolasi, bukan sekadar retry) adalah perlu untuk mengekalkan test suite yang boleh dipercayai, memahami ujian flaky adalah pengetahuan yang berharga dan penting secara praktikal — menangani masalah pengujian dunia nyata yang ketara, penting untuk memastikan test suite kekal boleh dipercayai dan dipercayai, serta mencerminkan kematangan praktikal untuk mengendalikan salah satu isu pengujian yang paling mengecewakan dan merosakkan.