Vaša produkcijska web stranica upravo je pala. Kako to rješavate?

Question

Accepted Answer

Prvi prioritet je **vratiti uslugu, pa tek onda pronaći uzrok** — ublažavanje dolazi prije dijagnoze. Proglasio bih incident, dodijelio jasne uloge i vodio prema najbržem sigurnom oporavku, uz komunikaciju cijelim putem.

## Prvo stabiliziraj

- **Proglasi incident** i otvori jedan kanal (war room / Slack thread) kako koordinacija ne bi bila rascjepkana.
- **Dodijeli uloge**: **Incident Commandera** koji donosi odluke, **vlasnika komunikacije** koji obavještava stakeholdere te **respondere** koji istražuju. Kao Tech Lead često preuzmem ulogu IC-a kako bi se inženjeri mogli usredotočiti na problem.
- **Posegni za najbržim reverzibilnim popravkom.** Ako deploy korelira s ispadom, prvo napravi **rollback** pa onda postavljaj pitanja — vraćanje korisnika važnije je od toga da budeš u pravu.

## Dijagnosticiraj paralelno

- Provjeri **očite signale**: dashboarde, stope grešaka, nedavne deployeve, infrastrukturne promjene, naglе skokove prometa, istekle certifikate.
- Formiraj hipotezu, testiraj najjeftiniju prvu i **izbjegavaj mijenjati pet stvari odjednom** — nećeš znati što je upalilo.

## Komuniciraj kontinuirano

Tišina rađa paniku. Šaljem ažuriranja u stalnom ritmu čak i kada nema novosti:

```
[14:05] Istražujemo — checkout je pao, pogođeno ~40% korisnika. Sljedeće ažuriranje 14:20.
[14:20] Identificirano: loš deploy. Radimo rollback. ETA 10 min.
[14:35] Usluga vraćena. Pratimo. Slijedi postmortem.
```

## Nakon oporavka

- Potvrdi potpun oporavak, ne samo "izgleda bolje".
- Provedi **blameless postmortem** unutar nekoliko dana: vremenska crta, korijenski uzrok, što je usporilo detekciju/popravak te **konkretne akcijske stavke s vlasnicima**.
- Rezultat je sistemsko poboljšanje (bolji alerti, zaštitne ograde, automatizacija rollbacka) — a ne ime koje treba okriviti.

## Zamke

- **Debugiranje prije ublažavanja** dok korisnici trpe.
- **Nepostojanje jednog donositelja odluka**, pa petero ljudi nagađa paralelno.
- **Nestajanje u tišini** prema stakeholderima.
- **Okrivljavanje pojedinaca**, što ubija iskrenost o kojoj ovise budući incidenti.

## Zašto je to važno

Ispadi su neizbježni; način na koji ih vodite definira povjerenje tima i pouzdanje kupaca. Smirena koordinacija temeljena na ulogama uz blameless analizu pretvara loš dan u jači sustav — i signalizira vašim inženjerima da je sigurno kretati se brzo jer se neuspjeh tretira kao proces, a ne kao lov na vještice.