Mục tiêu là biết hệ thống của bạn đang không khỏe trước khi người dùng báo cho bạn. Observability tốt cho phép bạn trả lời những câu hỏi bạn không lường trước, chứ không chỉ kiểm tra một bộ dashboard cố định. Là tech lead, bạn thiết lập những thứ này trước sự cố, chứ không phải trong lúc đang xảy ra.
Báo động theo những gì người dùng cảm nhận, không phải theo dao động nội bộ. Neo các alert vào SLO: error rate, latency (p95/p99) và tính sẵn sàng. Một đỉnh CPU không phải là sự cố; checkout lỗi với 2% người dùng mới là.
| Alert khi | Đừng page khi |
|---|---|
| Error rate vượt SLO | Một đỉnh CPU đơn lẻ |
| p99 latency vượt budget | Một request chậm |
| Health check thất bại | Disk ở mức 60% |
Mọi alert phải khẩn cấp, có thật và có thể hành động — nó nêu rõ cái gì sai và chỉ ra bước tiếp theo. Alert nổ liên tục sẽ dạy cả nhóm bỏ qua chúng; alert fatigue chính là cách những sự cố thật bị bỏ lỡ. Thêm health check và dashboard hiển thị các golden signal trong tầm mắt.
Những nhóm chỉ quan sát sau khi sự cố xảy ra là đang mò mẫm: họ biết về sự cố từ khách hàng giận dữ và debug bằng phỏng đoán. Đầu tư vào observability từ đầu biến những bí ẩn lúc 3 giờ sáng thành chẩn đoán 5 phút, giảm downtime, và giải phóng nhóm để ship thay vì chữa cháy.