Hogyan választod meg a riasztási küszöbértékeket a riasztási fáradtság és a hamis pozitívok elkerüléséhez?

Question

Accepted Answer

Az alapvető szabály: **tünetekre riasztj, nem okra**, és **csak azt hívd meg, ami cselekedetes és sürgős**. Egy zajos riasztás, amely minden éjjel kimarad, némítva vagy figyelmen kívül hagyva — tehát a valódi kockázat nem az, hogy hiányzik a riasztás, hanem az, hogy egy deszenzedbilizált on-call végig alszik a valódin.

## Tünetek okokat

Riasztj a **felhasználóval szembenéző SLO-kra** (hibaarány, késleltetés, elérhetőség), nem az "CPU > 80%" belső okaira. A magas CPU nem ártalmatlan lehet; ami számít az, hogy a felhasználók érintett-e.

```text
BAD  (cause)     CPU > 80% for 5m            → fires constantly, often no impact
GOOD (symptom)   error-rate SLO burn is fast → fires only when users hurt
```

## Multi-window égési sebesség riasztások

Egy statikus küszöbérték vagy túl szemléletes vagy túl lassú. Ehelyett riasztj arra, hogy milyen gyorsan égetsz le az **hibabüdzséd**, két ablak segítségével, hogy a gyors égés azonnal hívjon és a lassú égés csak akkor hívjon, ha tartósan.

```yaml
# Page: 2% of monthly budget burned in 1h AND still burning over 5m
- alert: HighErrorBudgetBurn
  expr: |
    (slo:error_ratio_1h > 14.4 * 0.001)   # fast window: catch big outages
    and
    (slo:error_ratio_5m > 14.4 * 0.001)   # short window: confirm it's still happening
  for: 2m
  labels: { severity: page }
```

A rövid ablak megakadályozza a hívást olyan probléma miatt, amely már önmaga megoldódott; a hosszú ablak megakadályozza a rövid villanásra való hívást.

## Hívás vs jegy vs irányítópult

```text
PAGE       actionable + urgent  → wake a human now (SLO at risk, checkout down)
TICKET     actionable, not urgent → fix in business hours (disk 70%, cert in 20 days)
DASHBOARD  informational         → no alert, just visible (per-endpoint traffic)
```

Ha egy riasztás nem cselekedetes, nem kellene hívnia — alakítsd át jegyre vagy irányítópult panelre. Majd **hangolj az idő felett**: vizsgáld meg minden hívást, töröld azokat, amelyekre senki sem reagált.

## Miért számít

A riasztási fáradtság megbízhatósági kockázat, nem csak bosszúság: az emberek mentálisan szűrik a zajos csatornákat, így minél több hamis pozitívat küldöl, annál valószínűbb, hogy egy valódi leállás kihagyott. Az égési sebesség ablakokkal való tünetekreriasztjás és a hívás cselekedetes sürgőségre való fenntartása minden hívást értelmessé tesz — ami az on-call receptívvá tartja.