Vaše produkcijsko spletno mesto je pravkar padlo. Kako se s tem spopadete?

Question

Accepted Answer

Prva prioriteta je **obnoviti storitev, nato poiskati vzrok** — ublažitev pride pred diagnozo. Razglasil bi incident, dodelil jasne vloge in gnal proti najhitrejši varni obnovitvi ter ves čas komuniciral.

## Najprej stabiliziraj

- **Razglasi incident** in odpri en sam kanal (war room / Slack nit), da koordinacija ni razpršena.
- **Dodeli vloge**: **Incident Commander**, ki sprejema odločitve, **lastnik komunikacije**, ki obvešča stakeholderje, in **odzivniki**, ki preiskujejo. Kot Tech Lead pogosto prevzamem IC, da se inženirji lahko osredotočijo na problem.
- **Poseži po najhitrejšem reverzibilnem popravku.** Če deploy korelira z izpadom, najprej naredi **rollback** in vprašanja postavi kasneje — obnovitev uporabnikov pretehta nad tem, da imaš prav.

## Diagnosticiraj vzporedno

- Preveri **očitne signale**: nadzorne plošče, stopnje napak, nedavne deploye, spremembe infrastrukture, sunke prometa, potekle certifikate.
- Oblikuj hipotezo, najprej preizkusi najcenejšo in **ne spreminjaj petih stvari naenkrat** — ne boš vedel, kaj je delovalo.

## Komuniciraj neprekinjeno

Tišina poraja paniko. Posodobitve pošiljam v stalnem ritmu, tudi ko ni novic:

```
[14:05] Preiskujem — checkout je padel, prizadetih ~40 % uporabnikov. Naslednja posodobitev 14:20.
[14:20] Ugotovljeno: slab deploy. Izvajam rollback. ETA 10 min.
[14:35] Storitev obnovljena. Spremljam. Sledi postmortem.
```

## Po obnovitvi

- Potrdi popolno obnovitev, ne le "izgleda boljše".
- V nekaj dneh izvedi **blameless postmortem**: časovnica, koreninski vzrok, kaj je upočasnilo zaznavo/popravek in **konkretni akcijski elementi z lastniki**.
- Rezultat je sistemska izboljšava (boljši alarmi, varovala, avtomatizacija rollbacka) — ne ime za obtoževanje.

## Pasti

- **Razhroščevanje pred ublažitvijo**, medtem ko uporabniki trpijo.
- **Brez enega odločevalca**, zato pet ljudi vzporedno ugiba.
- **Utišanje** stakeholderjev.
- **Obtoževanje posameznikov**, kar ubije iskrenost, na kateri temeljijo prihodnji incidenti.

## Zakaj je to pomembno

Izpadi so neizogibni; način, kako jih vodiš, opredeljuje zaupanje ekipe in zaupanje strank. Mirna, na vlogah temelječa koordinacija plus blameless nadaljevanje spremeni slab dan v močnejši sistem — in tvojim inženirjem sporoča, da se je varno hitro premikati, ker se neuspeh obravnava kot proces, ne kot lov na čarovnice.