ప్రధాన నియమం: లక్షణాలపై అలర్ట్ చేయండి, కారణాలపై కాదు, మరియు చర్య తీసుకోదగిన మరియు అత్యవసర విషయాలపై మాత్రమే పేజ్ చేయండి. ప్రతి రాత్రి ఫైర్ అయ్యే చప్పుడైన అలర్ట్ నిరోధించబడుతుంది లేదా విస్మరించబడుతుంది — కనుక నిజమైన ప్రమాదం కోల్పోయిన అలర్ట్ కాదు, ఇది చెదిరిపోయిన ఆన్-కాల్ సిబ్బంది నిజమైనదానిపై నిద్రిస్తారు.
యూజర్-ఫేసింగ్ SLOలపై అలర్ట్ చేయండి (ఎర్రర్ రేట్, లేటెన్సీ, అందుబాటు), "CPU > 80%" వంటి అంతర్గత కారణాలపై కాదు. అధిక CPU హానిలేనిది కావచ్చు; ఎంపీచేసిన విషయం ఏమిటంటే వినియోగదారులు ప్రభావితమైనారా కాదా.
BAD (cause) CPU > 80% for 5m → fires constantly, often no impact
GOOD (symptom) error-rate SLO burn is fast → fires only when users hurt
ఒకే స్టాటిక్ థ్రెషోల్డ్ చాలా కవికి లేదా చాలా నెమ్మదిగా ఉంటుంది. బదులుగా, ఎర్రర్ బাడ్జెట్ ఎంత వేగంగా బర్న్ చేస్తున్నారో పై అలర్ట్ చేయండి, రెండు విండోలను ఉపయోగించి వేగవంతమైన బర్న్ వెంటనే పేజ్ చేస్తుంది మరియు నెమ్మదైన బర్న్ నిలిచిఉందన్నట్లు మాత్రమే పేజ్ చేస్తుంది.
# Page: 2% of monthly budget burned in 1h AND still burning over 5m
- alert: HighErrorBudgetBurn
expr: |
(slo:error_ratio_1h > 14.4 * 0.001) # fast window: catch big outages
and
(slo:error_ratio_5m > 14.4 * 0.001) # short window: confirm it's still happening
for: 2m
labels: { severity: page }
ఆ చిన్న విండో ఇప్పటికే స్వీయ-పరిష్కరించిన సమస్య కోసం పేజింగ్ను నిరోధిస్తుంది; దీర్ఘ విండో సంక్షిప్త బ్లిప్పై పేజింగ్ను నిరోధిస్తుంది.
PAGE actionable + urgent → wake a human now (SLO at risk, checkout down)
TICKET actionable, not urgent → fix in business hours (disk 70%, cert in 20 days)
DASHBOARD informational → no alert, just visible (per-endpoint traffic)
ఒక అలర్ట్ చర్య తీసుకోదగినది కాకపోతే, అది పేజ్ చేయకూడదు — దానిని టికెట్ లేదా డ్యాశ్బోర్డ్ ప్యానెల్గా మార్చండి. ఆపై సమయం ఓవర్ ట్యూన్ చేయండి: ప్రతి పేజ్ను సమీక్షించండి, ఎవరూ చర్య తీసుకోని వాటిని తొలగించండి.
అలర్ట్ ఫేటిగ్ నమ్మకీయత ప్రమాదం, కేవలం చికాకు కాదు: మానవులు చప్పుడు ఛానెల్లను మానసికంగా ఫిల్టర్ చేస్తారు, కాబట్టి మీరు ఎంత ఎక్కువ ఫాల్స్ పాజిటివ్లను పంపితే, నిజమైన అవుట్జ్ నిర్లక్ష్యంగా ఖరీదవుతుంది. లక్షణాలపై చేసిన అలర్టింగ్ బర్న్-రేట్ విండోలతో, మరియు పేజ్ను చర్య యోగ్య అత్యవసరతకు వాపస్ రేపుతూ, ప్రతి పేజ్ను అర్థవంతంగా ఉంచుతుంది — ఇది ఆన్-కాల్ను ప్రతిస్పందించేలా ఇస్తుంది.