Kaip suprojektuoti programos monitoringą nuo nulio?

Question

Accepted Answer

Pradėkite **iš viršaus į apačią nuo to, ką jaučia vartotojai**, o ne iš apačios į viršų iš infrastruktūros. Patikliausias pagrindinių kompiuterių parkas yra bevertis, jei prašymai nepavyksta, todėl pradėkite nuo vartotojams skirtų **SLI** — **latencijos**, **klaidų greičio**, **pasiekiamumo** — tada pridėkite keturis auksinius signalus, o infrastruktūros metrika paskutinė.

## Kodėl tai svarbu

```text
1. USER-FACING SLIs   → what the user experiences (latency, errors, availability)
2. GOLDEN SIGNALS     → latency, traffic, errors, saturation per service
3. INFRA METRICS      → CPU, memory, disk, network (causes, not symptoms)
```

Jei tik stebite CPU ir diską (iš apačios į viršų), galite būti visiškai žali, o vartotojai gauna 500. Stebint SLI pirmiausia (iš viršaus į apačią) reiškia, kad jūs įspėjate apie **simptomus, kuriuos iš tikrųjų jaučia vartotojai**, tada išsamiai tiriu auksinius signalus ir infrastruktūrą, kad rastumėte priežastį.

## Konvejeris: instrumentavimas → surinkimas → prietaisų skydelis → įspėjimas

```text
INSTRUMENT  app emits metrics/logs/traces (e.g. request_duration_seconds histogram)
   ↓
COLLECT     a TSDB scrapes/ingests them (Prometheus, Datadog agent)
   ↓
DASHBOARD   visualize SLIs + golden signals (Grafana) for humans to read
   ↓
ALERT       fire on SLO violations / burn rate, routed to on-call
```

## Konkretus pradžios taškas

```promql
# Availability SLI: fraction of requests that succeed
sum(rate(http_requests_total{status!~"5.."}[5m]))
  / sum(rate(http_requests_total[5m]))

# Latency SLI: p99 request latency
histogram_quantile(0.99, sum by (le) (rate(http_request_duration_seconds_bucket[5m])))
```

Apibrėžkite **SLO** kiekvienam SLI (pvz., pasiekiamumas 99,9%, p99 < 300ms), jų prietaisų skydelį ir perspėkite, kai SLO yra pavojuje — ne kiekviename žingsnį.

## Kodėl tai svarbu

Monitoringas, sukurtas iš apačios į viršų, jums sako, kad diskas yra 80% pilnas, bet ne tai, kad klientai negali baigti. Pradėjus nuo vartotojams skirtų SLI, kiekvienas prietaisų skydelis ir perspėjimas susieja su realia vartotojo įtaka, išlaikyti žemą triukšmą ir suteikti aiškią išsamų kelią (simptomas → auksinis signalas → infrastruktūros priežastis), kai kažkas subyra.