Flaky test là các test pass hoặc fail không nhất quán mà không thay đổi code — đôi khi pass, đôi khi fail trên cùng code. Chúng là một vấn đề nghiêm trọng vì xói mòn niềm tin vào test suite. Hiểu nguyên nhân và cách sửa chúng là quan trọng.
Flaky test là gì và tại sao chúng có hại
Một test FLAKY cho kết quả KHÔNG NHẤT QUÁN (đôi khi pass, đôi khi fail) trên CÙNG code:
→ có hại: XÓI MÒN NIỀM TIN — người ta bắt đầu phớt lờ failure ("à, chỉ flaky thôi") →
failure thật cũng bị bỏ sót
→ tốn thời gian vào báo động giả / chạy lại; làm hỏng CI; giảm tự tin vào toàn bộ suite
→ Flaky test còn tệ hơn không có test nếu chúng làm người ta mất tin vào tất cả test.
