Kako izbereš mejne vrednosti opozoril, da se izogneš utrujenosti od opozoril in lažnih pozitivov?

Question

Accepted Answer

Temeljno pravilo: **opozarjaj na simptome, ne na vzroke**, in **strani samo na tisto, kar je delotvornega in nujno**. Hrupno opozorilo, ki se sproži vsako noč, se pomotи ali prezre — zato pravi tvegani ni manjkajoče opozorilo, ampak ohlajeni dežurni, ki spi skozi prave krizne situacije.

## Simptomi namesto vzrokov

Opozarjaj na **SLO-je, ki jih občuti uporabnik** (stopnja napak, zakasnitev, razpoložljivost), ne na notranje vzroke, kot je »CPU > 80 %«. Visok CPU je lahko neškodljiv; važno je samo, ali so uporabniki prizadeti.

```text
BAD  (cause)     CPU > 80% for 5m            → fires constantly, often no impact
GOOD (symptom)   error-rate SLO burn is fast → fires only when users hurt
```

## Opozorila z burn-rate z več okni

Ena samo statična mejna vrednost je ali preveč občutljiva ali prepočasna. Namesto tega opozarjaj na tem, kako hitro porabljaš **napako v proračunu**, z uporabo dveh oken, da stran hitro gorečo težavo takoj sporoči in počasna gorenja sporoči samo, če traja.

```yaml
# Page: 2% of monthly budget burned in 1h AND still burning over 5m
- alert: HighErrorBudgetBurn
  expr: |
    (slo:error_ratio_1h > 14.4 * 0.001)   # fast window: catch big outages
    and
    (slo:error_ratio_5m > 14.4 * 0.001)   # short window: confirm it's still happening
  for: 2m
  labels: { severity: page }
```

Kratko okno preprečuje stran za težavo, ki se je že sama rešila; dolgo okno preprečuje stran na kratko zmoto.

## Stran ali vozovnica ali armaturna plošča

```text
PAGE       actionable + urgent  → wake a human now (SLO at risk, checkout down)
TICKET     actionable, not urgent → fix in business hours (disk 70%, cert in 20 days)
DASHBOARD  informational         → no alert, just visible (per-endpoint traffic)
```

Če opozorilo ni delotvornega, ne sme stati — jo spremeni v vozovnico ali ploščo na armaturni plošči. Potem **nastavi čez čas**: preglej vsako stran, zbriši tiste, na katere nihče ni reagiral.

## Zakaj je to važno

Utrujenost od opozoril je tvegani zanesljivosti, ne le nadloga: ljudje duševno filtriramo hrupne kanale, zato več lažnih pozitivov kot pošiljaš, bolj je verjetno, da bo pravo izpadanje spregledano. Opozarjanje na simptome z okni burn-rate in rezervacija stani samo za delotvornost in nujnost, ohrani vsako stran kot pomanjkljivo — kar je tisto, kar dežurnega ohranja odzivnega.