Kuinka valitset hälytyskynnykset välttääksesi hälytysväsymystä ja vääriä positiivisia tuloksia?

Question

Accepted Answer

Perusraja: **hälytä oireista, ei syistä**, ja **ilmoita vain siitä, mitä voidaan toimia ja on kiireellinen**. Meluisa hälytys, joka laukeaa joka yö, pääsee pois tai jätetään huomiotta — joten todellinen riski ei ole jäänyt hälytys, vaan herätyspalvelu, joka nukkuu todellisen läpi.

## Oireet syiden yli

Hälytä **käyttäjä-keskeisissä SLO-sopimuksissa** (virheprosentti, latenssi, saatavuus), ei sisäisissä syissä, kuten "CPU > 80%". Korkea CPU voi olla vaaraton; kysymys on siitä, vaikuttavatko käyttäjät.

```text
BAD  (cause)     CPU > 80% for 5m            → fires constantly, often no impact
GOOD (symptom)   error-rate SLO burn is fast → fires only when users hurt
```

## Usean ikkunan palamisnopeuden hälytykset

Yksittäinen staattinen kynnys on joko liian herkkä tai liian hidas. Hälytä sen sijaan siitä, kuinka nopeasti poltat **virhebudjetin**, käyttämällä kahta ikkunaa, jotta nopea polttaminen ilmoittaa välittömästi ja hidas polttaminen ilmoittaa vain, jos se jatkuu.

```yaml
# Page: 2% of monthly budget burned in 1h AND still burning over 5m
- alert: HighErrorBudgetBurn
  expr: |
    (slo:error_ratio_1h > 14.4 * 0.001)   # fast window: catch big outages
    and
    (slo:error_ratio_5m > 14.4 * 0.001)   # short window: confirm it's still happening
  for: 2m
  labels: { severity: page }
```

Lyhyt ikkuna estää ilmoituksen ongelmasta, joka on jo ratkaistu itsestään; pitkä ikkuna estää ilmoituksen lyhyestä liikkeestä.

## Sivu vs. lippu vs. kojelauta

```text
PAGE       actionable + urgent  → wake a human now (SLO at risk, checkout down)
TICKET     actionable, not urgent → fix in business hours (disk 70%, cert in 20 days)
DASHBOARD  informational         → no alert, just visible (per-endpoint traffic)
```

Jos hälytystä ei voi toimia, sen ei pitäisi ilmoittaa — muunna se lipuksi tai kojelautapaneeliksi. Sitten **viritä ajan myötä**: tarkista jokainen ilmoitus, poista ne, joihin kukaan ei reagoinut.

## Miksi se on tärkeää

Hälytysväsymys on luotettavuusriski, ei vain häiriötekijä: ihmiset suodattavat henkisesti meluisia kanavia, joten mitä enemmän vääriä positiivisia tuloksia lähetät, sitä todennäköisemmin todellinen käyttökatko jää huomiotta. Hälyttäminen oireista palamisnopeusikkunoiden kanssa ja ilmoituksen varaaminen toimittavalle kiireellisyydelle pitää jokaisen ilmoituksen merkityksellisyytenä — se on se, joka pitää hälytystehtävän vastaanottokykyisenä.