Website production của bạn vừa sập. Bạn xử lý thế nào?

Question

Accepted Answer

Ưu tiên đầu tiên là **khôi phục dịch vụ, rồi mới tìm nguyên nhân** — mitigation đến trước chẩn đoán. Tôi sẽ tuyên bố một incident, phân vai trò rõ ràng, và hướng tới việc phục hồi an toàn nhanh nhất, đồng thời giao tiếp xuyên suốt.

## Ổn định trước

- **Tuyên bố một incident** và mở một kênh duy nhất (war room / Slack thread) để việc phối hợp không bị phân tán.
- **Phân vai trò**: một **Incident Commander** để ra quyết định, một **người phụ trách comms** để cập nhật stakeholder, và **responder** để điều tra. Là Tech Lead, tôi thường nhận vai IC để các kỹ sư có thể tập trung vào vấn đề.
- **Chọn cách sửa nhanh nhất có thể đảo ngược.** Nếu một bản deploy tương quan với sự cố, hãy **rollback** trước rồi hỏi sau — khôi phục cho người dùng quan trọng hơn việc đúng.

## Chẩn đoán song song

- Kiểm tra các **tín hiệu hiển nhiên**: dashboard, tỷ lệ lỗi, các bản deploy gần đây, thay đổi hạ tầng, đột biến traffic, cert hết hạn.
- Hình thành một giả thuyết, kiểm chứng cái rẻ nhất trước, và **tránh thay đổi năm thứ cùng lúc** — bạn sẽ không biết cái nào có tác dụng.

## Giao tiếp liên tục

Im lặng nuôi dưỡng hoảng loạn. Tôi gửi cập nhật theo nhịp đều đặn ngay cả khi chưa có tin gì mới:

```
[14:05] Đang điều tra — checkout đang sập, ~40% người dùng bị ảnh hưởng. Cập nhật tiếp 14:20.
[14:20] Đã xác định: một bản deploy lỗi. Đang rollback. Dự kiến 10 phút.
[14:35] Dịch vụ đã khôi phục. Đang theo dõi. Postmortem sẽ có sau.
```

## Sau khi khôi phục

- Xác nhận đã khôi phục hoàn toàn, không chỉ là "trông có vẻ ổn hơn."
- Chạy một **postmortem không đổ lỗi (blameless)** trong vài ngày: dòng thời gian, nguyên nhân gốc, điều gì khiến nó chậm phát hiện/sửa, và **các hành động cụ thể có người phụ trách**.
- Đầu ra là cải tiến mang tính hệ thống (alert tốt hơn, guardrail, tự động hóa rollback) — không phải một cái tên để đổ lỗi.

## Cạm bẫy

- **Debug trước khi mitigate** trong khi người dùng đang chịu khổ.
- **Không có người ra quyết định duy nhất**, nên năm người đoán mò song song.
- **Bặt vô âm tín** với stakeholder.
- **Đổ lỗi cho cá nhân**, điều này giết chết sự trung thực mà các incident tương lai phụ thuộc vào.

## Tại sao điều này quan trọng

Sự cố là điều không thể tránh khỏi; cách bạn vận hành chúng định nghĩa niềm tin của team và sự tự tin của khách hàng. Sự phối hợp bình tĩnh dựa trên vai trò cộng với việc theo dõi blameless biến một ngày tồi tệ thành một hệ thống mạnh mẽ hơn — và báo hiệu cho các kỹ sư rằng họ an toàn để di chuyển nhanh vì thất bại được xử lý như một quy trình, không phải một cuộc săn phù thủy.