Kako birate pragove upozorenja da izbjegnete zamor upozorenja i lažne pozitive?

Question

Accepted Answer

Temeljno pravilo: **upozorite na simptome, ne na uzroke**, i **pozovite samo ono što je izvedivo i hitno**. Bučna upozorenja koja se ispalјuju svake noći se isključe ili ignorirani — tako da pravi rizik nije što je upozorenje nedostaje, već što je desenzibilizirani on-call spava kroz pravi.

## Simptomi nad uzrocima

Upozorite na **SLO suočene s korisnikom** (stopa greške, latencija, dostupnost), a ne na unutarnje uzroke poput "CPU > 80%". Visok CPU može biti neškodljiv; što je važno je jesu li korisnici pogođeni.

```text
BAD  (cause)     CPU > 80% for 5m            → fires constantly, often no impact
GOOD (symptom)   error-rate SLO burn is fast → fires only when users hurt
```

## Upozorenja o brzini sagorijevanja s više prozora

Jedan statički prag je ili previše nesiguran ili previše spora. Umjesto toga, upozorite na brzinu s kojom ste sagorijevanja **proračun greške**, koristeći dva prozora kako bi brzo sagorijevanje odmah pozvalo, a spora sagorijevanja pozvala samo ako je trajno.

```yaml
# Page: 2% of monthly budget burned in 1h AND still burning over 5m
- alert: HighErrorBudgetBurn
  expr: |
    (slo:error_ratio_1h > 14.4 * 0.001)   # fast window: catch big outages
    and
    (slo:error_ratio_5m > 14.4 * 0.001)   # short window: confirm it's still happening
  for: 2m
  labels: { severity: page }
```

Kratak prozor sprječava pozivanje za problem koji se već sam razriješio; dugi prozor sprječava pozivanje za kratko treperenje.

## Poziv naspram karte naspram kontrolne ploče

```text
PAGE       actionable + urgent  → wake a human now (SLO at risk, checkout down)
TICKET     actionable, not urgent → fix in business hours (disk 70%, cert in 20 days)
DASHBOARD  informational         → no alert, just visible (per-endpoint traffic)
```

Ako upozorenje nije izvedivo, ne bi trebalo pozivati — pretvorite ga u kartu ili ploču kontrolne ploče. Zatim **ugađajte tijekom vremena**: pregledajte svaki poziv, izbrišite one na koje nitko nije reagirao.

## Zašto je to važno

Zamor upozorenja je rizik pouzdanosti, ne samo smetnja: ljudi mentalno filtriraju bučne kanale, tako da što više lažnih pozitiva pošaljete, veća je vjerojatnost da će se pravi kvar propustiti. Upozoravanje na simptome s prozorima brzine sagorijevanja i rezerviranje poziva za izvedivo hitnost čini svaki poziv smislenim — što je ono što čini on-call osjetljivim.