Unafanya nini kuzuia incident ya aina ile ile isitokee mara ya pili?

Question

Accepted Answer

Endesha **postmortem isiyo na lawama** inayopata sababu ya kimfumo, kisha igeuze kuwa vitendo **halisi, vyenye wamiliki, na vinavyofuatiliwa** — na thibitisha vinawasilishwa kweli. Lengo si kupata wa kumlaumu; ni kubadilisha mfumo ili aina ile ile ya kushindwa iwe haiwezekani au inayojigundua yenyewe.

## Kitanzi cha msingi

1. **Postmortem isiyo na lawama.** Jenga ratiba ya matukio ya uaminifu: kilichotokea, lini tuligundua, jinsi tulivyoitikia, athari ilikuwa ipi. Lawama huua ukweli unaohitaji.
2. **Chimba hadi sababu ya kimfumo**, si kichocheo. "Mhandisi alisukuma config mbaya" ni kichocheo; "hapakuwa na validation au staged rollout kwa config" ni sababu. Tumia **Five Whys** lakini simama kwenye mfumo, kamwe si kwa mtu.
3. **Zalisha tabaka za kuzuia**, si urekebishaji mmoja:
   - **Zuia** — fanya kushindwa kusiwezekane (validation, types, ulinzi).
   - **Gundua** — kamata mapema (alert, SLO, ukaguzi wa synthetic).
   - **Punguza** — punguza eneo la mlipuko (rollback, flags, circuit breakers).
4. **Panga wamiliki na tarehe za mwisho.** Kitendo bila mmiliki ni matamanio. Vifuatilie kama kazi halisi katika backlog.
5. **Thibitisha na funga kitanzi.** Je, urekebishaji uliwasilishwa? Je, ungekamata ile ya asili? Je, MTTR na ugunduzi viliboreka kweli?

## Mabadilishano na makosa

- **Postmortem zinazozalisha nyaraka, si mabadiliko** — kushindwa kwa kawaida zaidi. Hakuna kutekeleza maana yake utakutana na incident ile ile tena.
- **Kurekebisha kupita kiasi dalili mahususi** wakati aina ya bug inabaki wazi. Rekebisha kategoria, si tu tukio hili.
- **Uchovu wa alert (alert fatigue)** kutokana na kurundika ugunduzi bila kupanga; alert zenye kelele hupuuzwa na incident ijayo huteleza.
- **Utamaduni wa lawama** husukuma uripoti chini ya ardhi; unapoteza near-miss ambazo ndizo masomo yako ya bei nafuu zaidi.
- Chukulia **incident za kurudia kama ishara ya kushindwa kwa mchakato**, si bahati mbaya — fuatilia kurudia kama metric.

## Kwa nini ni muhimu

Incident ni ada uliyoilipa tayari; upotevu pekee ni kutojifunza kutoka kwazo. Timu inayozuia kwa utaratibu kurudia huwa ya kuaminika zaidi kila robo, wakati timu inayozima moto tu hupitia outage zile zile milele. Kujenga kitanzi hiki cha kujifunza — na usalama wa kuwa mkweli ndani yake — ni mojawapo ya vitu vya kudumu zaidi ambavyo Tech Lead anaweza kuacha nyuma.