Hvordan vælger du alert-tærskler for at undgå alert-træthed og falske positiver?

Question

Accepted Answer

Grundreglen: **alert på symptomer, ikke årsager**, og **ring kun på det, der er handlingsbart og presserende**. En støjende alert, der fyres hver nat, bliver dæmpet eller ignoreret — så den virkelige risiko er ikke en savnet alert, det er en dulstængt on-call, der sover gennem det rigtige.

## Symptomer frem for årsager

Alert på **brugerorienterede SLOer** (fejlrate, latens, tilgængelighed), ikke på interne årsager som "CPU > 80%". Høj CPU kan være harmløs; det der betyder noget er, om brugerne påvirkes.

```text
BAD  (cause)     CPU > 80% for 5m            → fires constantly, often no impact
GOOD (symptom)   error-rate SLO burn is fast → fires only when users hurt
```

## Alert med flere vindue brændehastighed

En enkelt statisk tærskel er enten for følsom eller for langsom. I stedet skal du alert på, hvor hurtigt du brænder **fejlbudgettet**, ved hjælp af to vinduer, så en hurtig brænding ringer øjeblikkeligt, og en langsom brænding ringer kun hvis vedvarende.

```yaml
# Page: 2% of monthly budget burned in 1h AND still burning over 5m
- alert: HighErrorBudgetBurn
  expr: |
    (slo:error_ratio_1h > 14.4 * 0.001)   # fast window: catch big outages
    and
    (slo:error_ratio_5m > 14.4 * 0.001)   # short window: confirm it's still happening
  for: 2m
  labels: { severity: page }
```

Det korte vindue forhindrer ringing for et problem, der allerede har løst sig selv; det lange vindue forhindrer ringing på en kort ryken.

## Ring vs ticket vs dashboard

```text
PAGE       actionable + urgent  → wake a human now (SLO at risk, checkout down)
TICKET     actionable, not urgent → fix in business hours (disk 70%, cert in 20 days)
DASHBOARD  informational         → no alert, just visible (per-endpoint traffic)
```

Hvis en alert ikke er handlingsbar, skal den ikke ringe — gør den til en ticket eller et dashboardpanel. Derefter **tuner over tid**: gennemse hver ring, slet dem, som ingen handlede på.

## Hvorfor det betyder noget

Alert-træthed er en pålidelighedsrisiko, ikke bare en irritation: mennesker filtrerer mentalt støjende kanaler, så jo flere falske positiver du sender, jo mere sandsynligt vil et ægte driftsstop blive savnet. At alert på symptomer med brændehastigheds vinduer, og at forbeholde ringen til handlingsbarte hastighed, holder hver ring meningsfuld — hvilket er det, der holder on-call responsiv.