Kuinka havaitset ongelmat ennen kuin käyttäjät valittavat?

Question

Accepted Answer

Tavoitteena on poimia ongelmat **ennen sivun kaatumista** — löytää heikkeneminen, kun on vielä liikaa varaa imeytyä sille. Se tarkoittaa **johtavien indikaattoreiden** seuraamista, **SLO-määritysten määrittämistä virhebudjetin kanssa** ja järjestelmän aktiivista testaamista sen sijaan, että odottaisit sen epäonnistumista.

## SLO:t ja virhebudjetit

**SLO** muuttaa luotettavuuden numeroksi (esim. 99,9% pyynnöistä onnistuu). Jäljellä olevat 0,1% ovat **virhebudjettisi**. **Kulutusnopeuden** seuraaminen antaa sinulle mahdollisuuden hälyttää, kun kulutatte budjettia liian nopeasti — kauan ennen kuin varsinaisesti rikot SLO:ta ja käyttäjät huomaavat sen.

```text
SLO 99.9% → 0.1% error budget/month (~43 min of downtime)
burn rate rising fast → you'll exhaust it in 2 days → alert NOW, while it's fixable
```

## Aktiivinen testaus, ei vain passiivisia mittareita

```text
SYNTHETIC MONITORING  scripted checks hit critical paths on a schedule
                      (login, checkout) → fails even at 3am with zero real traffic
HEALTH CHECKS         /healthz endpoints + dependency checks → load balancer
                      pulls bad instances before users hit them
RUM (real-user mon.)  measure latency/errors from actual browsers/devices →
                      catches issues only some users/regions see
```

Synteetinen valvonta on tehokas, koska se ei odota käyttäjää — se testaa järjestelmää jatkuvasti, joten rikkoutunut kassa löydetään klo 3 aamulla, ei silloin kun aamu-kuorma valittaa.

## Johtavat indikaattorit ja trendit

Varhaisimmat merkit ovat resursseissa, ei vielä käyttäjälle näkyvissä virheissä. Hälytä **trendissä**, ei vain staattisella linjalla.

```text
LEADING INDICATORS   saturation (CPU/mem climbing), queue depth growing,
                     connection-pool nearing limit, latency CREEPING up
ANOMALY DETECTION    flag deviation from the normal baseline / seasonality
TREND ALERTS         "disk will fill in 4h at this rate" → act before it's full
```

Hitaasti nouseva p99 tai kasvava jono on varoituslaukaus: toimimalla hitaalla nousulla, estät sähkökatkon, johon nousu oli menossa.

## Miksi se on tärkeää

Reaktiivinen valvonta tarkoittaa, että käyttäjät ovat hälytys­järjestelmäsi — kun he valittavat, insidentti on jo käynnissä ja virhebudjettisi on käytetty. Ennakoiva havaitseminen (SLO-kulutus­nopeus, synteettiset testit, terveystarkistukset, RUM, johtavat indikaattorit, trendi-/poikkeama-hälytykset) ostaa sinulle aikaa: korjaat kyllääntyneen jonon tai kasvavan viiveen ennen kuin siitä tulee kello 2 yöllä sivu ja vihainen asiakas. Se aika on ero hiljaisen korjauksen ja käyttökatkon välillä.