Hvordan velger du alertterskler for å unngå alert fatigue og falskt positive?

Question

Accepted Answer

Kjernregelen: **alert på symptomer, ikke årsaker**, og **varsle kun på det som er handlingsbart og presserende**. En støyende alert som går av hver natt blir slått av eller ignorert — så den virkelige risikoen er ikke en manglende alert, det er en desensibilisert on-call som sover gjennom den virkelige.

## Symptomer fremfor årsaker

Alert på **brukervendte SLOer** (feilrate, latens, tilgjengelighet), ikke på interne årsaker som "CPU > 80%". Høy CPU kan være harmløs; det som betyr noe er om brukere blir påvirket.

```text
BAD  (cause)     CPU > 80% for 5m            → fires constantly, often no impact
GOOD (symptom)   error-rate SLO burn is fast → fires only when users hurt
```

## Flervindus burn-rate alerts

En enkelt statisk terskel er enten for nervøs eller for treg. I stedet, alert på hvor raskt du brenner **error budget**, ved å bruke to vinduer slik at en rask brenning varsler umiddelbart og en treg brenning varsler bare hvis det vedvarer.

```yaml
# Page: 2% of monthly budget burned in 1h AND still burning over 5m
- alert: HighErrorBudgetBurn
  expr: |
    (slo:error_ratio_1h > 14.4 * 0.001)   # fast window: catch big outages
    and
    (slo:error_ratio_5m > 14.4 * 0.001)   # short window: confirm it's still happening
  for: 2m
  labels: { severity: page }
```

Det korte vinduet forhindrer varsling for et problem som allerede løste seg; det lange vinduet forhindrer varsling på en kort stopp.

## Varsle vs ticket vs dashboard

```text
PAGE       actionable + urgent  → wake a human now (SLO at risk, checkout down)
TICKET     actionable, not urgent → fix in business hours (disk 70%, cert in 20 days)
DASHBOARD  informational         → no alert, just visible (per-endpoint traffic)
```

Hvis en alert ikke er handlingsbar, skal den ikke varsle — gjør den om til en ticket eller et dashboardpanel. Deretter **finjusterer du over tid**: gjennomgå hver varsling, slett de som ingen handlet på.

## Hvorfor det betyr noe

Alert fatigue er en reliabilitetrisiko, ikke bare en irritasjon: mennesker mentalt filtrerer bort støyende kanaler, så jo flere falskt positive du sender, jo mer sannsynlig er det at en ekte driftsstans blir oversett. Å varsle på symptomer med burn-rate vinduer, og reservere varslingen for handlingsbar presserende, holder hver varsling meningsfull — som er hva som holder on-call responsiv.