Hoe kies je alert-drempels om alert fatigue en false positives te voorkomen?

Question

Accepted Answer

De kernregel: **alert op symptomen, niet op oorzaken**, en **page alleen voor wat actioneelbaar en urgent is**. Een luidruchtig alert dat elke nacht afgaat, wordt gedempt of genegeerd — dus het echte risico is niet een gemist alert, het is een gevoeloos on-call team dat door de echte storing heen slaapt.

## Symptomen boven oorzaken

Alert op **user-facing SLO's** (error rate, latency, availability), niet op interne oorzaken zoals "CPU > 80%". Hoge CPU kan onschadelijk zijn; wat telt is of gebruikers worden getroffen.

```text
BAD  (cause)     CPU > 80% for 5m            → fires constantly, often no impact
GOOD (symptom)   error-rate SLO burn is fast → fires only when users hurt
```

## Multi-window burn-rate alerts

Een enkele statische drempel is ofwel te gevoelig ofwel te traag. In plaats daarvan alert op hoe snel je je **error budget** verbrandt, met twee vensters zodat een snelle brand onmiddellijk pages en een langzame brand alleen pagelt als het aanhoudt.

```yaml
# Page: 2% of monthly budget burned in 1h AND still burning over 5m
- alert: HighErrorBudgetBurn
  expr: |
    (slo:error_ratio_1h > 14.4 * 0.001)   # fast window: catch big outages
    and
    (slo:error_ratio_5m > 14.4 * 0.001)   # short window: confirm it's still happening
  for: 2m
  labels: { severity: page }
```

Het korte venster voorkomt paging voor een probleem dat zich al heeft opgelost; het lange venster voorkomt paging op een kortstondige piiek.

## Page vs ticket vs dashboard

```text
PAGE       actionable + urgent  → wake a human now (SLO at risk, checkout down)
TICKET     actionable, not urgent → fix in business hours (disk 70%, cert in 20 days)
DASHBOARD  informational         → no alert, just visible (per-endpoint traffic)
```

Als een alert niet actioneelbaar is, mag het niet pagen — maak er een ticket of dashboard panel van. Tune dan **over time**: controleer elke page, verwijder degene waar niemand op reageerde.

## Waarom het belangrijk is

Alert fatigue is een reliability-risico, niet alleen een irritatie: mensen filteren mentaal luidruchtige kanalen uit, dus hoe meer false positives je verstuurt, hoe waarschijnlijker een echte storing wordt gemist. Alerting op symptomen met burn-rate vensters, en het reserveren van de page voor actioneerbaarvaardigheid, houdt elke page zinvol — wat de on-call responsief houdt.