Il-website tal-produzzjoni tiegħek għadu kemm waqa'. Kif tindirizzah?

Question

Accepted Answer

L-ewwel prijorità hija li **terġa' tirrestawra s-servizz, imbagħad sib il-kawża** — il-mitigazzjoni tiġi qabel id-dijanjożi. Niddikjara incident, nassenja rwoli ċari, u nimmira lejn l-aktar irkupru sikur veloċi, filwaqt li nikkomunika tul it-triq kollha.

## L-ewwel stabbilizza

- **Iddikjara incident** u iftaħ kanal wieħed (war room / Slack thread) biex il-koordinazzjoni ma tkunx imxerrda.
- **Assenja rwoli**: **Incident Commander** biex jieħu d-deċiżjonijiet, **sid tal-komunikazzjoni** biex jaġġorna l-istakeholders, u **responders** biex jinvestigaw. Bħala Tech Lead spiss nieħu r-rwol ta' IC biex l-inġiniera jkunu jistgħu jiffokaw fuq il-problema.
- **Mur għall-aktar fix riversibbli veloċi.** Jekk deploy jikkorrelata mal-outage, **agħmel rollback** l-ewwel u staqsi mistoqsijiet wara — li terġa' tirrestawra l-utenti jegħleb li tkun int li għandek raġun.

## Iddijanjostika b'mod parallel

- Iċċekkja s-**sinjali ovvji**: dashboards, rati ta' żball, deploys reċenti, tibdiliet fl-infra, żidiet fit-traffiku, ċertifikati skaduti.
- Ifformula ipoteżi, ittestja l-irħas l-ewwel, u **evita li tibdel ħames affarijiet f'daqqa** — ma tkunx taf x'ħadem.

## Ikkomunika kontinwament

Is-silenzju jrabbi l-paniku. Nibgħat aġġornamenti b'kadenza stabbli anke meta m'hemm l-ebda aħbar:

```
[14:05] Qed ninvestiga — il-checkout waqa', ~40% tal-utenti affettwati. Aġġornament li jmiss 14:20.
[14:20] Identifikat: deploy ħażin. Qed nagħmel rollback issa. ETA 10 min.
[14:35] Servizz restawrat. Qed nimmonitorja. Postmortem isegwi.
```

## Wara l-irkupru

- Ikkonferma irkupru sħiħ, mhux biss "jidher aħjar."
- Mexxi **postmortem blameless** fi ftit jiem: linja taż-żmien, kawża prinċipali, x'għamilha bil-mod biex tinstab/tiġi rranġata, u **action items konkreti b'sidien**.
- L-output huwa titjib sistemiku (alerts aħjar, guardrails, awtomazzjoni tar-rollback) — mhux isem biex tilħaq.

## Nases

- **Debugging qabel il-mitigazzjoni** waqt li l-utenti jbatu.
- **L-ebda persuna waħda li tieħu d-deċiżjonijiet**, allura ħames nies jaqtgħu f'parallel.
- **Tmur fid-dlam** mal-istakeholders.
- **Twaħħal fl-individwi**, li joqtol l-onestà li fuqha jiddependu l-incidents futuri.

## Għaliex huwa importanti

L-outages huma inevitabbli; kif tmexxihom jiddefinixxi l-fiduċja tat-tim u l-kunfidenza tal-klijent. Koordinazzjoni kalma u bbażata fuq ir-rwoli flimkien ma' segwitu blameless idawru ġurnata ħażina f'sistema aktar b'saħħitha — u jagħtu sinjal lill-inġiniera tiegħek li huwa sikur li jiċċaqalqu malajr għax il-falliment jiġi ttrattat bħala proċess, mhux kaċċa għaż-żgrinġijiet.