Bagaimana anda memilih ambang batas amaran untuk mengelakkan keletihan amaran dan positif palsu?

Question

Accepted Answer

Peraturan teras: **amaran mengenai simptom, bukan punca**, dan **hanya halaman yang boleh diambil tindakan dan mendesak**. Amaran bising yang menyala setiap malam akan diredam atau diabaikan — jadi risiko sebenarnya bukan amaran yang hilang, tetapi on-call yang tidak peka yang tidur melalui yang sebenar.

## Mengapa ia penting

Amaran pada **SLO menghadap pengguna** (kadar ralat, latensi, ketersediaan), bukan pada punca dalaman seperti "CPU > 80%". CPU tinggi mungkin tidak berbahaya; perkara penting ialah sama ada pengguna terjejas.

```text
BAD  (cause)     CPU > 80% for 5m            → fires constantly, often no impact
GOOD (symptom)   error-rate SLO burn is fast → fires only when users hurt
```

## Amaran kadar pembakaran berbilang tingkap

Satu ambang batas statik sama ada terlalu sensitif atau terlalu perlahan. Sebaliknya, amaran tentang berapa cepat anda membakar **bajet ralat**, menggunakan dua tingkap supaya pembakaran cepat halaman dengan segera dan pembakaran perlahan hanya jika berkelanjutan.

```yaml
# Page: 2% of monthly budget burned in 1h AND still burning over 5m
- alert: HighErrorBudgetBurn
  expr: |
    (slo:error_ratio_1h > 14.4 * 0.001)   # fast window: catch big outages
    and
    (slo:error_ratio_5m > 14.4 * 0.001)   # short window: confirm it's still happening
  for: 2m
  labels: { severity: page }
```
Tingkap pendek menghalang halaman untuk masalah yang sudah menyelesaikan sendiri; tingkap panjang menghalang halaman pada lonjakan ringkas.

## Halaman vs tiket vs papan pemuka

```text
PAGE       actionable + urgent  → wake a human now (SLO at risk, checkout down)
TICKET     actionable, not urgent → fix in business hours (disk 70%, cert in 20 days)
DASHBOARD  informational         → no alert, just visible (per-endpoint traffic)
```

Jika amaran tidak boleh diambil tindakan, ia tidak sepatutnya halaman — tukarnya menjadi tiket atau panel papan pemuka. Kemudian **tulis dari masa ke masa**: tinjau setiap halaman, padamkan yang tidak ada siapa yang bertindak.

Keletihan amaran adalah risiko kebolehpercayaan, bukan hanya gangguan: manusia secara mental menapis saluran bising, jadi semakin banyak positif palsu yang anda hantar, semakin mungkin gangguan sebenar akan terlepas. Amaran mengenai simptom dengan tingkap kadar pembakaran, dan mencadangkan halaman untuk mendesak yang boleh diambil tindakan, memastikan setiap halaman bermakna — yang mengekalkan on-call responsif.