मूल नियम: लक्षणों पर सतर्क करें, कारणों पर नहीं, और केवल उसी को सूचित करें जो कार्यशील और तत्काल है। एक शोरगुल वाला अलर्ट जो हर रात सक्रिय होता है उसे म्यूट या अनदेखा किया जाता है — इसलिए असली जोखिम एक अलर्ट न होना नहीं है, यह एक असंवेदनशील ऑन-कॉल है जो असली समस्या के दौरान सो जाता है।
उपयोगकर्ता-सामना SLO (त्रुटि दर, विलंबता, उपलब्धता) पर अलर्ट करें, "CPU > 80%" जैसे आंतरिक कारणों पर नहीं। उच्च CPU हानिकारक हो सकता है; जो मायने रखता है वह यह है कि क्या उपयोगकर्ता प्रभावित हैं।
BAD (cause) CPU > 80% for 5m → fires constantly, often no impact
GOOD (symptom) error-rate SLO burn is fast → fires only when users hurt
एक एकल स्थिर थ्रेसहोल्ड या तो बहुत प्रतिक्रियाशील है या बहुत धीमा है। इसके बजाय, त्रुटि बजट को कितनी तेजी से बर्न कर रहे हैं इस पर अलर्ट करें, दो विंडो का उपयोग करके ताकि तेजी से बर्न तुरंत सूचित करे और धीमा बर्न केवल यदि निरंतर हो तो ही सूचित करे।
# Page: 2% of monthly budget burned in 1h AND still burning over 5m
- alert: HighErrorBudgetBurn
expr: |
(slo:error_ratio_1h > 14.4 * 0.001) # fast window: catch big outages
and
(slo:error_ratio_5m > 14.4 * 0.001) # short window: confirm it's still happening
for: 2m
labels: { severity: page }
छोटी विंडो एक समस्या के लिए सूचित करने से रोकती है जो पहले से ही स्व-समाधान हो गई है; लंबी विंडो एक संक्षिप्त चमक के लिए सूचित करने से रोकती है।
PAGE actionable + urgent → wake a human now (SLO at risk, checkout down)
TICKET actionable, not urgent → fix in business hours (disk 70%, cert in 20 days)
DASHBOARD informational → no alert, just visible (per-endpoint traffic)
यदि एक अलर्ट कार्यशील नहीं है, तो इसे सूचित नहीं करना चाहिए — इसे टिकट या डैशबोर्ड पैनल में बदलें। फिर समय के साथ ट्यून करें: हर सूचना की समीक्षा करें, उन्हें हटा दें जिन पर किसी ने कार्रवाई नहीं की।
अलर्ट थकान एक विश्वसनीयता जोखिम है, सिर्फ एक परेशानी नहीं: मनुष्य मानसिक रूप से शोरगुल वाले चैनलों को फ़िल्टर करते हैं, इसलिए जितनी अधिक झूठी सकारात्मकता आप भेजते हैं, उतना अधिक एक वास्तविक आउटेज छूटने की संभावना है। लक्षणों पर अलर्ट करना बर्न-रेट विंडो के साथ, और सूचना को कार्यशील तत्काल के लिए आरक्षित करना, हर सूचना को अर्थपूर्ण बनाता है — जो ऑन-कॉल को प्रतिक्रियाशील रखता है।