मूलभूत नियम: कारणांऐवजी लक्षणांवर सतर्क करा, आणि फक्त कार्यरत आणि तातकाळ असलेल्या गोष्टींवर पृष्ठ करा। एक गोंगाट सतर्कता जी प्रत्येक रात्री आग पकडते ती मूक किंवा दुर्लक्ष केली जाते — त्यामुळे वास्तविक जोखीम हरवलेली सतर्कता नाही, तर एक असंवेदनशील ऑन-कॉल जो वास्तविक एकावर झोपतो.
(त्रुटी दर, विलंबता, उपलब्धता) वर सतर्क करा, "CPU > 80%" सारख्या अंतर्गत कारणांवर नाही. उच्च CPU हानिकारक असू शकते; महत्वाचे काय आहे हे आहे की क्या वापरकर्ते प्रभावित आहेत.
BAD (cause) CPU > 80% for 5m → fires constantly, often no impact
GOOD (symptom) error-rate SLO burn is fast → fires only when users hurt
एक एकल स्थिर थ्रेशोल्ड एकतर खूप संवेदनशील किंवा खूप मंद आहे. त्याऐवजी, आप त्रुटी अर्थव्यवस्था कितनी लवकर जळत आहात यावर सतर्क करा, दोन खिडकी वापरून जेणेकरून वेगवान जळणे तत्काळ पृष्ठ करेल आणि हळू जळणे फक्त सतत असल्यास पृष्ठ करेल.
# Page: 2% of monthly budget burned in 1h AND still burning over 5m
- alert: HighErrorBudgetBurn
expr: |
(slo:error_ratio_1h > 14.4 * 0.001) # fast window: catch big outages
and
(slo:error_ratio_5m > 14.4 * 0.001) # short window: confirm it's still happening
for: 2m
labels: { severity: page }
लहान विंडो आधीच स्व-निराकरण झालेल्या समस्यात पृष्ठ करणे टाळते; लांब विंडो छोट्या उत्स्फुरणवर पृष्ठ करणे टाळते.
PAGE actionable + urgent → wake a human now (SLO at risk, checkout down)
TICKET actionable, not urgent → fix in business hours (disk 70%, cert in 20 days)
DASHBOARD informational → no alert, just visible (per-endpoint traffic)
जर सतर्कता कार्यरत नसेल, तर तिने पृष्ठ करू नये — त्याला तिकीट किंवा डॅशबोर्ड पॅनेलमध्ये रूपांतरित करा. मग कालांतराने ट्यून करा: प्रत्येक पृष्ठ पुनरावलोकन करा, ज्या गोष्टीवर कोणीही कार्य केले नाहीत त्या हटवा.
सतर्कता थकान विश्वसनीयता जोखीम आहे, केवळ एक कष्ट नाही: मनुष्य मानसिकरित्या गोंगाट चॅनल फिल्टर करतात, त्यामुळे अधिक खोटे सकारात्मक आपण पाठवता, त्यामुळे अधिक संभवतः वास्तविक आउटेज मिस होईल. बर्न-रेट विंडोसह लक्षणांवर सतर्क करा आणि कार्यरत तातकाळतेसाठी पृष्ठ राखा, प्रत्येक पृष्ठ अर्थपूर्ण राखते — जे ऑन-कॉल प्रतिक्रियाशील राखते.