Τι κάνετε για να αποτρέψετε το ίδιο είδος incident από το να συμβεί δεύτερη φορά;

Question

Accepted Answer

Τρέξε ένα **blameless postmortem** που βρίσκει τη συστημική αιτία, μετά μετάτρεψέ το σε **συγκεκριμένα, με owner και παρακολουθούμενα** action items — και επαλήθευσε ότι όντως φτάνουν στο production. Ο στόχος δεν είναι να βρεις ποιον να κατηγορήσεις· είναι να αλλάξεις το σύστημα ώστε η ίδια κατηγορία αποτυχίας να γίνει αδύνατη ή αυτο-ανιχνεύσιμη.

## Ο βασικός βρόχος

1. **Blameless postmortem.** Φτιάξε ένα ειλικρινές χρονοδιάγραμμα: τι συνέβη, πότε το ανιχνεύσαμε, πώς αντιδράσαμε, ποιο ήταν το impact. Η κατηγορία σκοτώνει την αλήθεια που χρειάζεσαι.
2. **Σκάψε ως τη συστημική αιτία**, όχι το έναυσμα. "Ένας μηχανικός έσπρωξε ένα κακό config" είναι έναυσμα· "δεν υπήρχε validation ή staged rollout για configs" είναι η αιτία. Χρησιμοποίησε τα **Five Whys** αλλά σταμάτα στο σύστημα, ποτέ σε ένα άτομο.
3. **Δημιούργησε στρώματα πρόληψης**, όχι μία μόνο διόρθωση:
   - **Prevent** — κάνε την αποτυχία αδύνατη (validation, types, guardrails).
   - **Detect** — πιάσ' την νωρίτερα (alerts, SLOs, synthetic checks).
   - **Mitigate** — περιόρισε την ακτίνα έκρηξης (rollback, flags, circuit breakers).
4. **Ανάθεσε owners και ημερομηνίες λήξης.** Ένα action item χωρίς owner είναι ευχή. Παρακολούθησέ τα σαν πραγματική δουλειά στο backlog.
5. **Επαλήθευσε και κλείσε τον βρόχο.** Έφτασε η διόρθωση στο production; Θα είχε πιάσει το αρχικό; Βελτιώθηκαν όντως το MTTR και η ανίχνευση;

## Trade-offs και παγίδες

- **Postmortems που παράγουν έγγραφα, όχι αλλαγές** — η πιο συνηθισμένη αποτυχία. Καμία συνέχεια σημαίνει ότι θα ξανασυναντήσεις το ίδιο incident.
- **Υπερδιόρθωση του συγκεκριμένου συμπτώματος** ενώ η κατηγορία του bug παραμένει ανοιχτή. Διόρθωσε την κατηγορία, όχι μόνο αυτή την περίπτωση.
- **Alert fatigue** από τη συσσώρευση ανίχνευσης χωρίς tuning· τα θορυβώδη alerts αγνοούνται και το επόμενο incident ξεγλιστρά.
- Η **κουλτούρα κατηγορίας** οδηγεί την αναφορά στο υπόγειο· χάνεις τα near-misses που είναι τα πιο φθηνά μαθήματά σου.
- Αντιμετώπισε τα **επαναλαμβανόμενα incidents ως σήμα αποτυχίας διαδικασίας**, όχι κακής τύχης — παρακολούθησε την επανεμφάνιση ως μετρική.

## Γιατί έχει σημασία

Τα incidents είναι δίδακτρα που έχεις ήδη πληρώσει· η μόνη σπατάλη είναι να μη μάθεις από αυτά. Μια ομάδα που συστηματικά αποτρέπει την επανεμφάνιση γίνεται πιο αξιόπιστη κάθε τρίμηνο, ενώ μια ομάδα που απλώς κάνει firefighting ξαναζεί τα ίδια outages για πάντα. Το χτίσιμο αυτού του βρόχου μάθησης — και της ασφάλειας να είσαι ειλικρινής μέσα σε αυτόν — είναι ένα από τα πιο διαρκή πράγματα που μπορεί να αφήσει πίσω του ένας Tech Lead.