Kaip pasirinkti įspėjimo slenkstius, kad išvengtumėte įspėjimo nuovargumo ir klaidingai teigiamų rezultatų?

Question

Accepted Answer

Pagrindinė taisyklė: **perimti dėl simptomų, o ne priežasčių**, ir **skambinti tik tai, kas yra veiksminga ir neatidėliotina**. Triukšmingas perspėjimas, kuris įsijungia kiekvieną naktį, bus nutildytas arba ignoruojamas — todėl tikrasis pavojus nėra praleistas perspėjimas, o tai yra neaiški on-call, kuri miega per tikrąjį.

## Kodėl tai svarbu

Perspėti apie **SLO nukreiptus į naudotoją** (klaidų rodiklis, latencija, prieinamumas), o ne apie vidines priežastis, tokias kaip "CPU > 80%". Aukšta CPU gali būti nekenčianti; svarbu tai, ar naudotojai yra paveikti.

```text
BAD  (cause)     CPU > 80% for 5m            → fires constantly, often no impact
GOOD (symptom)   error-rate SLO burn is fast → fires only when users hurt
```

## Kelių langų deginimo greičio perspėjimai

Vienas statinis slenkstis yra per jautrūs arba per lėtas. Vietoj to, perspėti, kaip greitai deginimas **klaidų biudžeto**, naudojant du langus, kad greitas degimas būtų perspėtas iš karto, o lėtas degimas – tik jei jis išliekamas.

```yaml
# Page: 2% of monthly budget burned in 1h AND still burning over 5m
- alert: HighErrorBudgetBurn
  expr: |
    (slo:error_ratio_1h > 14.4 * 0.001)   # fast window: catch big outages
    and
    (slo:error_ratio_5m > 14.4 * 0.001)   # short window: confirm it's still happening
  for: 2m
  labels: { severity: page }
```

Trumpas langas nuo perspėjimo dėl problemos, kuri jau buvo išspręsta; ilgas langas nuo perspėjimo dėl trumpo subyravimo.

## Puslapis vs bilietas vs prietaisų sritis

```text
PAGE       actionable + urgent  → wake a human now (SLO at risk, checkout down)
TICKET     actionable, not urgent → fix in business hours (disk 70%, cert in 20 days)
DASHBOARD  informational         → no alert, just visible (per-endpoint traffic)
```

Jei perspėjimas nėra veiksminga, jis neturėtų skambinti — jį paversti bilietu arba prietaisų srities panele. Tada **laike reguliuoti**: peržiūrėkite kiekvieną puslapį, ištrinkite tuos, kurie nebuvo veikti.

Perspėjimo nuovargis yra patikimumo rizika, o ne tik nepatogumas: žmonės psichiškai filtruoja triukšmingus kanalus, todėl kuo daugiau klaidingai teigiamų rezultatų siunčiate, tuo labiau tikėtina, kad negrąžintas išjungimas bus praleistas. Perspėti apie simptomus su degimo greičio langais ir skambinti tik dėl veiksmingos skubos, kiekvienas puslapis lieka reikšmingas — tai yra tai, kas laiką on-call atsakingą.