آپ اہتیاتات کے تھریشولڈ کو کیسے منتخب کرتے ہیں تاکہ الرٹ تھکاوٹ اور غلط مثبت سے بچا جا سکے؟

Question

Accepted Answer

بنیادی اصول: **علامات پر الرٹ کریں، نہ کہ وجوہات پر**، اور **صرف اس بات پر صفحہ کریں جو قابل عمل اور فوری ہو**۔ ایک شور والی الرٹ جو ہر رات چلتی ہے خاموش کر دی جاتی ہے یا نظر انداز کر دی جاتی ہے — تو اصل خطرہ گمشدہ الرٹ نہیں ہے، یہ ایک غیر حساس آن کال ہے جو حقیقی الرٹ سے سو جاتا ہے۔

## علامات بمقابلہ وجوہات

**صارف کے درپیش SLOs** (غلطی کی شرح، latency، دستیابی) پر الرٹ کریں، نہ کہ داخلی وجوہات جیسے "CPU > 80%"۔ زیادہ CPU بے ضرر ہو سکتا ہے؛ جو اہم ہے وہ یہ ہے کہ آیا صارفین متاثر ہو رہے ہیں۔

```text
BAD  (cause)     CPU > 80% for 5m            → fires constantly, often no impact
GOOD (symptom)   error-rate SLO burn is fast → fires only when users hurt
```

## ملٹی ونڈو برن ریٹ الرٹس

ایک سنگل static تھریشولڈ یا تو بہت حساس ہے یا بہت سست ہے۔ اس کے بجائے، الرٹ کریں کہ آپ **error budget** کو کتنی تیزی سے جلا رہے ہیں، دو ونڈوز استعمال کریں تاکہ تیز رفتار برن فوری طور پر صفحہ کرے اور سست برن صرف اگر مسلسل ہو تو صفحہ کرے۔

```yaml
# Page: 2% of monthly budget burned in 1h AND still burning over 5m
- alert: HighErrorBudgetBurn
  expr: |
    (slo:error_ratio_1h > 14.4 * 0.001)   # fast window: catch big outages
    and
    (slo:error_ratio_5m > 14.4 * 0.001)   # short window: confirm it's still happening
  for: 2m
  labels: { severity: page }
```

مختصر ونڈو اس مسئلے کے لیے صفحہ کاری سے روکتی ہے جو پہلے سے خود حل ہو گیا ہے؛ لمبی ونڈو ایک مختصر blip پر صفحہ کاری سے روکتی ہے۔

## صفحہ بمقابلہ ٹکٹ بمقابلہ ڈیش بورڈ

```text
PAGE       actionable + urgent  → wake a human now (SLO at risk, checkout down)
TICKET     actionable, not urgent → fix in business hours (disk 70%, cert in 20 days)
DASHBOARD  informational         → no alert, just visible (per-endpoint traffic)
```

اگر کوئی الرٹ قابل عمل نہیں ہے، تو اسے صفحہ نہیں کرنا چاہیے — اسے ایک ٹکٹ یا ڈیش بورڈ پینل میں بدل دیں۔ پھر **وقت کے ساتھ ٹیون کریں**: ہر صفحہ کا جائزہ لیں، انہیں حذف کریں جن پر کوئی بھی کام نہیں کرا۔

## اہمیت

الرٹ تھکاوٹ ایک قابل اعتماد رفتار کا خطرہ ہے، نہ صرف ایک تکلیف: انسان شور والے چینلز کو ذہنی طور پر فلٹر کرتے ہیں، تو جتنے زیادہ غلط مثبت آپ بھیجتے ہیں، اتنا ہی حقیقی تعطل غائب ہونے کا امکان ہے۔ علامات پر الرٹ کرنا اور بجٹ برن کی ونڈوز کے ساتھ، اور صفحہ کو قابل عمل ہنگامی صورتحال کے لیے محفوظ رکھنا، ہر صفحہ کو معنی خیز رکھتا ہے — جو آن کال کو جوابی رکھتا ہے۔