Alert eşiklerini nasıl seçerek uyarı yorgunluğunu ve yanlış pozitifleri önlersiniz?

Question

Accepted Answer

Temel kural: **semptomlar üzerinde uyar, nedenler üzerinde değil** ve **yalnızca işlem yapılabilir ve acil olan konularda çağır**. Her gece ateşlenen gürültülü bir uyarı susturulur veya göz ardı edilir — bu nedenle gerçek risk eksik bir uyarı değil, gerçek olanı uyku hali içinde geçen duyarsızlaştırılmış bir on-call'dur.

## Nedenler yerine semptomlar

"CPU > %80" gibi iç nedenleri değil, **kullanıcı yönelimlü SLO'lar** (hata oranı, gecikme, kullanılabilirlik) üzerinde uyar. Yüksek CPU zararsız olabilir; önemli olan kullanıcıların etkilenip etkilenmediğidir.

```text
BAD  (cause)     CPU > 80% for 5m            → fires constantly, often no impact
GOOD (symptom)   error-rate SLO burn is fast → fires only when users hurt
```

## Çok pencereli burn-rate uyarıları

Tek statik bir eşik ya çok tepkisel ya da çok yavaştır. Bunun yerine, **hata bütçesini** ne kadar hızlı yaktığınız üzerinde uyar; hızlı bir yanma hemen çağrılsın diye ve yavaş yanma sadece sürdürüldüyse çağrılsın diye iki pencere kullanın.

```yaml
# Page: 2% of monthly budget burned in 1h AND still burning over 5m
- alert: HighErrorBudgetBurn
  expr: |
    (slo:error_ratio_1h > 14.4 * 0.001)   # fast window: catch big outages
    and
    (slo:error_ratio_5m > 14.4 * 0.001)   # short window: confirm it's still happening
  for: 2m
  labels: { severity: page }
```

Kısa pencere zaten kendi kendine çözülen bir sorun için çağrıyı önler; uzun pencere kısa bir hata için çağrıyı önler.

## Sayfaya çıkar vs bilet vs gösterge paneli

```text
PAGE       actionable + urgent  → wake a human now (SLO at risk, checkout down)
TICKET     actionable, not urgent → fix in business hours (disk 70%, cert in 20 days)
DASHBOARD  informational         → no alert, just visible (per-endpoint traffic)
```

Bir uyarı işlem yapılabilir değilse, sayfaya çıkarmamalı — bunu bir bilete veya gösterge paneli paneline dönüştürün. Ardından **zamanla ayarlayın**: her sayfayı gözden geçirin, kimsenin üzerinde çalışmadığı olanları silin.

## Neden önemli

Uyarı yorgunluğu, sadece bir rahatsızlık değil, bir güvenilirlik riskidir: insanlar gürültülü kanalları zihnen filtreler, bu nedenle ne kadar yanlış pozitif gönderirseniz, gerçek bir kesintinin kaçırılması o kadar olasıdır. Semptomlar üzerinde uyarma yaparak burn-rate pencereleriyle ve sayfayı işlem yapılabilir aciliyete ayırarak, her sayfayı anlamlı hale getirirsiniz — bu, on-call'u duyarlı tutan şeydir.