Jūsų production svetainė ką tik nustojo veikti. Kaip su tuo susitvarkote?

Question

Accepted Answer

Pirmasis prioritetas yra **atkurti paslaugą, tada rasti priežastį** — sušvelninimas eina prieš diagnozę. Paskelbčiau incident, priskirčiau aiškius vaidmenis ir vesčiau link greičiausio saugaus atkūrimo, visą kelią komunikuodamas.

## Pirmiausia stabilizuok

- **Paskelbk incident** ir atidaryk vieną kanalą (war room / Slack gija), kad koordinacija nebūtų išsibarsčiusi.
- **Priskirk vaidmenis**: **Incident Commander**, kuris priima sprendimus, **komunikacijos savininkas**, kuris informuoja stakeholder, ir **atsakovai**, kurie tiria. Kaip Tech Lead dažnai imuosi IC vaidmens, kad inžinieriai galėtų susikoncentruoti į problemą.
- **Siek greičiausio grįžtamo pataisymo.** Jei deploy koreliuoja su gedimu, pirmiausia **rollback**, o klausimus užduok vėliau — vartotojų atkūrimas svarbiau už buvimą teisiam.

## Diagnozuok lygiagrečiai

- Patikrink **akivaizdžius signalus**: dashboard, klaidų rodiklius, naujausius deploy, infrastruktūros pokyčius, srauto šuolius, pasibaigusius sertifikatus.
- Suformuok hipotezę, pirmiausia patikrink pigiausią ir **nekeisk penkių dalykų vienu metu** — nežinosi, kas suveikė.

## Komunikuok nuolat

Tyla augina paniką. Siunčiu atnaujinimus pastoviu ritmu net tada, kai naujienų nėra:

```
[14:05] Tiriame — checkout neveikia, paveikta ~40% vartotojų. Kitas atnaujinimas 14:20.
[14:20] Nustatyta: blogas deploy. Dabar darome rollback. ETA 10 min.
[14:35] Paslauga atkurta. Stebime. Postmortem seks.
```

## Po atkūrimo

- Patvirtink visišką atkūrimą, ne tik „atrodo geriau“.
- Per kelias dienas atlik **blameless postmortem**: laiko juosta, pirminė priežastis, kas lėmė lėtą aptikimą/pataisymą ir **konkretūs veiksmų punktai su savininkais**.
- Rezultatas yra sisteminis pagerinimas (geresni perspėjimai, apsauginiai barjerai, rollback automatizavimas) — o ne kaltinamas vardas.

## Spąstai

- **Derinimas prieš sušvelninimą**, kol vartotojai kenčia.
- **Nėra vieno sprendimų priėmėjo**, todėl penki žmonės spėlioja lygiagrečiai.
- **Dingimas iš radaro** stakeholder atžvilgiu.
- **Asmenų kaltinimas**, kuris žudo sąžiningumą, nuo kurio priklauso būsimi incident.

## Kodėl tai svarbu

Gedimai neišvengiami; tai, kaip juos valdai, apibrėžia komandos pasitikėjimą ir klientų pasitikėjimą. Rami, vaidmenimis pagrįsta koordinacija plius blameless tolesni veiksmai paverčia blogą dieną stipresne sistema — ir signalizuoja inžinieriams, kad judėti greitai yra saugu, nes nesėkmė tvarkoma kaip procesas, o ne kaip raganų medžioklė.