La regola fondamentale: alert sui sintomi, non sulle cause, e notificare solo ciò che è actionable e urgente. Un alert rumoroso che si attiva ogni notte viene disattivato o ignorato — quindi il rischio reale non è un alert mancante, ma un on-call desensibilizzato che dorme durante quello vero.
Alert sui SLO rivolti all'utente (error rate, latency, availability), non su cause interne come "CPU > 80%". Un'alta CPU può essere innocua; ciò che importa è se gli utenti sono colpiti.
BAD (cause) CPU > 80% for 5m → fires constantly, often no impact
GOOD (symptom) error-rate SLO burn is fast → fires only when users hurt
Una singola soglia statica è troppo sensibile o troppo lenta. Invece, alert su quanto velocemente stai consumando il budget di errori, usando due finestre in modo che un consumo veloce notifichi immediatamente e uno lento solo se prolungato.
# Page: 2% of monthly budget burned in 1h AND still burning over 5m
- alert: HighErrorBudgetBurn
expr: |
(slo:error_ratio_1h > 14.4 * 0.001) # fast window: catch big outages
and
(slo:error_ratio_5m > 14.4 * 0.001) # short window: confirm it's still happening
for: 2m
labels: { severity: page }
La finestra breve evita di notificare per un problema già auto-risolto; la finestra lunga evita di notificare su un breve picco.
PAGE actionable + urgent → wake a human now (SLO at risk, checkout down)
TICKET actionable, not urgent → fix in business hours (disk 70%, cert in 20 days)
DASHBOARD informational → no alert, just visible (per-endpoint traffic)
Se un alert non è actionable, non dovrebbe notificare — trasformalo in un ticket o in un pannello dashboard. Quindi sintonizza nel tempo: esamina ogni notifica, elimina quelle su cui nessuno ha agito.
L'affaticamento da alert è un rischio di affidabilità, non solo un disagio: gli umani filtrano mentalmente i canali rumorosi, quindi più falsi positivi invii, più è probabile che un'interruzione genuina passi inosservata. Fare alert sui sintomi con finestre di burn-rate, e riservare la notifica all'urgenza actionable, mantiene ogni notifica significativa — che è ciò che mantiene l'on-call reattivo.