كيف تختار حدود التنبيهات لتجنب إرهاق التنبيهات والإيجابيات الكاذبة؟

Question

Accepted Answer

القاعدة الأساسية: **التنبيه على الأعراض، وليس على الأسباب**، و**استدعاء فقط ما هو قابل للتنفيذ والعاجل**. التنبيه المزعج الذي ينطلق كل ليلة سيتم كتمه أو تجاهله — لذا فإن الخطر الحقيقي ليس التنبيه المفقود، بل هو فريق العمل في الخدمة المخدر الذي ينام خلال الخطر الحقيقي.

## الأعراض بدلاً من الأسباب

التنبيه على **SLOs التي تواجه المستخدم** (معدل الخطأ، وقت الاستجابة، التوفر)، وليس على الأسباب الداخلية مثل "CPU > 80%". قد يكون استهلاك CPU العالي غير ضار؛ ما يهم هو ما إذا كان المستخدمون متأثرين.

```text
BAD  (cause)     CPU > 80% for 5m            → fires constantly, often no impact
GOOD (symptom)   error-rate SLO burn is fast → fires only when users hurt
```

## تنبيهات معدل حرق النافذة المتعددة

عتبة ثابتة واحدة إما أنها حساسة جداً أو بطيئة جداً. بدلاً من ذلك، تنبه على مدى سرعة حرق **ميزانية الأخطاء**، باستخدام نافذتين حتى يتم استدعاء الحرق السريع على الفور والحرق البطيء فقط إذا استمر.

```yaml
# Page: 2% of monthly budget burned in 1h AND still burning over 5m
- alert: HighErrorBudgetBurn
  expr: |
    (slo:error_ratio_1h > 14.4 * 0.001)   # fast window: catch big outages
    and
    (slo:error_ratio_5m > 14.4 * 0.001)   # short window: confirm it's still happening
  for: 2m
  labels: { severity: page }
```

النافذة القصيرة تمنع الاستدعاء لمشكلة تم حلها بالفعل؛ النافذة الطويلة تمنع الاستدعاء على عطل مختصر.

## الاستدعاء مقابل التذكرة مقابل لوحة التحكم

```text
PAGE       actionable + urgent  → wake a human now (SLO at risk, checkout down)
TICKET     actionable, not urgent → fix in business hours (disk 70%, cert in 20 days)
DASHBOARD  informational         → no alert, just visible (per-endpoint traffic)
```

إذا لم يكن التنبيه قابلاً للتنفيذ، فلا ينبغي أن يقوم باستدعاء — حوله إلى تذكرة أو لوحة تحكم. ثم **اضبط بمرور الوقت**: راجع كل استدعاء، احذف تلك التي لم يتصرف أحد بشأنها.

## لماذا يهم

إرهاق التنبيهات هو خطر على الموثوقية، وليس مجرد إزعاج: البشر يصفون عقلياً القنوات المزعجة، لذا كلما أرسلت إيجابيات كاذبة أكثر، كلما زاد احتمال حدوث انقطاع حقيقي. التنبيه على الأعراض بنوافذ معدل الحرق، والاحتفاظ بالاستدعاء للعاجلية القابلة للتنفيذ، يحافظ على كل استدعاء معنى — وهذا ما يحافظ على استجابة فريق العمل في الخدمة.