Bạn chọn ngưỡng alert thế nào để tránh alert fatigue và false positive?

Question

Accepted Answer

Quy tắc cốt lõi: **alert trên triệu chứng, không phải nguyên nhân**, và **chỉ page khi có thể hành động và khẩn cấp**. Một alert nhiễu kêu mỗi đêm sẽ bị tắt tiếng hoặc phớt lờ — nên rủi ro thật không phải là thiếu alert, mà là một on-call đã chai lì ngủ quên mất cái alert thật.

## Triệu chứng hơn nguyên nhân

Alert trên **SLO hướng người dùng** (error rate, latency, availability), không phải trên nguyên nhân nội bộ như "CPU > 80%". CPU cao có thể vô hại; điều quan trọng là user có bị ảnh hưởng hay không.

```text
XẤU  (nguyên nhân)  CPU > 80% trong 5m           → kêu liên tục, thường không tác động
TỐT  (triệu chứng)  error-rate SLO burn nhanh    → chỉ kêu khi user bị đau
```

## Alert burn-rate đa cửa sổ

Một ngưỡng tĩnh đơn lẻ thì hoặc quá giật mình hoặc quá chậm. Thay vào đó, alert dựa trên tốc độ bạn đang đốt **error budget**, dùng hai cửa sổ để burn nhanh thì page ngay và burn chậm chỉ page nếu kéo dài.

```yaml
# Page: đốt 2% budget tháng trong 1h VÀ vẫn đang đốt trong 5m
- alert: HighErrorBudgetBurn
  expr: |
    (slo:error_ratio_1h > 14.4 * 0.001)   # cửa sổ nhanh: bắt outage lớn
    and
    (slo:error_ratio_5m > 14.4 * 0.001)   # cửa sổ ngắn: xác nhận vẫn đang xảy ra
  for: 2m
  labels: { severity: page }
```

Cửa sổ ngắn ngăn page cho một vấn đề đã tự khỏi; cửa sổ dài ngăn page cho một gợn nhỏ thoáng qua.

## Page vs ticket vs dashboard

```text
PAGE       hành động được + khẩn   → đánh thức người ngay (SLO nguy cơ, checkout sập)
TICKET     hành động được, không khẩn → sửa trong giờ làm (disk 70%, cert còn 20 ngày)
DASHBOARD  thông tin               → không alert, chỉ hiển thị (traffic theo endpoint)
```

Nếu một alert không hành động được, nó không nên page — biến nó thành ticket hoặc một panel dashboard. Rồi **tinh chỉnh theo thời gian**: rà mỗi page, xóa những cái không ai xử lý.

## Tại sao điều này quan trọng

Alert fatigue là một rủi ro reliability, không chỉ là phiền toái: con người tự lọc bỏ các kênh nhiễu, nên càng gửi nhiều false positive thì càng dễ bỏ lỡ một outage thật. Alert trên triệu chứng với cửa sổ burn-rate, và dành page cho sự khẩn cấp hành động được, giữ mọi page đều có ý nghĩa — đó chính là thứ giữ on-call luôn phản ứng nhanh.