Jak si vyberete prahové hodnoty upozornění, abyste se vyhnuli únavě z upozornění a falešně pozitivním výsledkům?

Question

Accepted Answer

Základní pravidlo: **varování na příznaky, ne na příčiny**, a **stránka pouze na to, co je uskutečnitelné a naléhavé**. Hlasité upozornění, které se spouští každou noc, bude ztlumeno nebo ignorováno — takže skutečné riziko není chybějící upozornění, ale ospalý on-call, který prospí opravdovému.

## Příznaky přes příčiny

Varujte na **SLOs orientované na uživatele** (chybovost, latence, dostupnost), ne na interní příčiny jako "CPU > 80%". Vysoký CPU může být neškodný; co záleží, je to, zda jsou uživatelé ovlivněni.

```text
BAD  (cause)     CPU > 80% for 5m            → fires constantly, often no impact
GOOD (symptom)   error-rate SLO burn is fast → fires only when users hurt
```

## Upozornění s více okny s rychlostí spalování

Jednoho statického prahu je buď příliš citlivý, nebo příliš pomalý. Místo toho varujte, jak rychle spalujete **rozpočet chyb**, pomocí dvou oken, takže rychlé spalování stránkuje okamžitě a pomalé spalování stránkuje pouze v případě, že je trvalé.

```yaml
# Page: 2% of monthly budget burned in 1h AND still burning over 5m
- alert: HighErrorBudgetBurn
  expr: |
    (slo:error_ratio_1h > 14.4 * 0.001)   # fast window: catch big outages
    and
    (slo:error_ratio_5m > 14.4 * 0.001)   # short window: confirm it's still happening
  for: 2m
  labels: { severity: page }
```

Krátké okno zabraňuje stránkování pro problém, který se již sám vyřešil; dlouhé okno zabraňuje stránkování na krátké trhnutí.

## Stránka vs lístek vs dashboard

```text
PAGE       actionable + urgent  → wake a human now (SLO at risk, checkout down)
TICKET     actionable, not urgent → fix in business hours (disk 70%, cert in 20 days)
DASHBOARD  informational         → no alert, just visible (per-endpoint traffic)
```

Pokud upozornění nelze uskutečnit, nemělo by se stránkovat — převeďte je na lístek nebo panel na panelu. Poté **nalaďte v průběhu času**: zkontrolujte každou stránku, odstraňte ty, na které nikdo nejednal.

## Proč na tom záleží

Únava z upozornění je rizikem spolehlivosti, ne jen obtěžováním: lidé mentálně filtrují hlučné kanály, takže čím více falešně pozitivních výsledků pošlete, tím více bude chybět pravý výpadek. Upozornění na příznaky s okny s rychlostí spalování a vyhrazení stránky pro uskutečnitelnou naléhavost udržuje každou stránku smysluplnou — což je to, co udržuje on-call responsivní.