La regla fundamental: alerta sobre síntomas, no sobre causas, y notifique solo lo que sea procesable e urgente. Una alerta ruidosa que se dispara cada noche se silenciará o se ignorará — entonces el riesgo real no es una alerta perdida, es un on-call desensibilizado que duerme a través de la verdadera.
Alertar sobre SLOs orientados al usuario (tasa de error, latencia, disponibilidad), no sobre causas internas como "CPU > 80%". La CPU alta puede ser inofensiva; lo que importa es si los usuarios se ven afectados.
BAD (cause) CPU > 80% for 5m → fires constantly, often no impact
GOOD (symptom) error-rate SLO burn is fast → fires only when users hurt
Un único umbral estático es demasiado sensible o demasiado lento. En su lugar, alerte sobre qué tan rápido está quemando el presupuesto de errores, usando dos ventanas para que una quema rápida notifique inmediatamente y una quema lenta notifique solo si se sostiene.
# Page: 2% of monthly budget burned in 1h AND still burning over 5m
- alert: HighErrorBudgetBurn
expr: |
(slo:error_ratio_1h > 14.4 * 0.001) # fast window: catch big outages
and
(slo:error_ratio_5m > 14.4 * 0.001) # short window: confirm it's still happening
for: 2m
labels: { severity: page }
La ventana corta evita notificar un problema que ya se ha resuelto por sí solo; la ventana larga evita notificar sobre un breve movimiento.
PAGE actionable + urgent → wake a human now (SLO at risk, checkout down)
TICKET actionable, not urgent → fix in business hours (disk 70%, cert in 20 days)
DASHBOARD informational → no alert, just visible (per-endpoint traffic)
Si una alerta no es procesable, no debe notificar — conviértala en una entrada o un panel de panel de control. Luego ajuste a lo largo del tiempo: revise cada notificación, elimine las que nadie procesó.
La fatiga de alerta es un riesgo de confiabilidad, no solo una molestia: los humanos filtran mentalmente canales ruidosos, por lo que cuantos más falsos positivos envíe, más probabilidades hay de que se pierda una verdadera interrupción. Alertar sobre síntomas con ventanas de tasa de quema y reservar la notificación para la urgencia procesable mantiene cada notificación significativa — lo que mantiene al on-call responsivo.