Laman web production anda baru sahaja tumbang. Bagaimana anda menanganinya?

Question

Accepted Answer

Keutamaan pertama ialah **pulihkan perkhidmatan, kemudian cari puncanya** — mitigasi datang sebelum diagnosis. Saya akan mengisytiharkan incident, menetapkan peranan yang jelas, dan mendorong ke arah pemulihan yang selamat dengan paling pantas, sambil berkomunikasi sepanjang masa.

## Stabilkan dahulu

- **Isytiharkan incident** dan buka satu saluran tunggal (war room / utas Slack) supaya koordinasi tidak berselerak.
- **Tetapkan peranan**: seorang **Incident Commander** untuk membuat keputusan, seorang **pemilik komunikasi** untuk mengemas kini stakeholder, dan **responder** untuk menyiasat. Sebagai Tech Lead saya selalunya mengambil peranan IC supaya jurutera boleh fokus pada masalah.
- **Capai pembaikan boleh balik yang paling pantas.** Jika sesuatu deploy berkorelasi dengan outage, **rollback** dahulu dan tanya soalan kemudian — memulihkan pengguna mengatasi keinginan untuk betul.

## Diagnos secara selari

- Periksa **isyarat yang jelas**: dashboard, kadar ralat, deploy terkini, perubahan infra, lonjakan trafik, sijil yang luput.
- Bentuk satu hipotesis, uji yang paling murah dahulu, dan **elakkan mengubah lima perkara sekaligus** — anda tidak akan tahu apa yang berkesan.

## Berkomunikasi secara berterusan

Kesunyian membiakkan panik. Saya menghantar kemas kini pada kadens yang tetap walaupun tiada berita baharu:

```
[14:05] Menyiasat — checkout tumbang, ~40% pengguna terjejas. Kemas kini seterusnya 14:20.
[14:20] Dikenal pasti: deploy yang buruk. Rollback sekarang. ETA 10 min.
[14:35] Perkhidmatan dipulihkan. Memantau. Postmortem akan menyusul.
```

## Selepas pemulihan

- Sahkan pemulihan penuh, bukan sekadar "nampaknya lebih baik."
- Jalankan **postmortem tanpa salah-menyalah** dalam beberapa hari: garis masa, punca utama, apa yang menyebabkan ia lambat dikesan/dibaiki, dan **item tindakan konkrit dengan pemilik**.
- Hasilnya ialah penambahbaikan sistemik (alert yang lebih baik, guardrail, automasi rollback) — bukan nama untuk dipersalahkan.

## Perangkap

- **Menyahpepijat sebelum mitigasi** sementara pengguna menderita.
- **Tiada pembuat keputusan tunggal**, jadi lima orang meneka secara selari.
- **Mendiamkan diri** terhadap stakeholder.
- **Mempersalahkan individu**, yang membunuh kejujuran yang diperlukan oleh incident masa depan.

## Mengapa ia penting

Outage tidak dapat dielakkan; cara anda mengendalikannya menentukan kepercayaan pasukan dan keyakinan pelanggan. Koordinasi yang tenang dan berasaskan peranan ditambah dengan tindakan susulan tanpa salah-menyalah mengubah hari yang buruk menjadi sistem yang lebih kukuh — dan memberi isyarat kepada jurutera anda bahawa selamat untuk bergerak pantas kerana kegagalan dikendalikan sebagai satu proses, bukan pemburuan ahli sihir.