Как вы настраиваете мониторинг и наблюдаемость, чтобы обнаружить проблемы на ранних стадиях?

Question

Accepted Answer

Цель — **узнать о нездоровом состоянии системы раньше, чем об этом расскажут пользователи**. Хорошая наблюдаемость позволяет ответить на вопросы, которые вы не предвидели, а не просто проверять фиксированный набор дашбордов. Как tech lead вы настраиваете это *до* инцидента, а не во время него.

## Три столпа

- **Метрики** — дешёвые числовые временные ряды (rate запросов, error rate, latency, queue depth). Отличны для выявления тренов, алертинга и SLO.
- **Логи** — детальные записи событий о *причине* произошедшего. Делайте их **структурированными** (JSON) и прикрепляйте **correlation ID**, чтобы отследить один запрос по сервисам.
- **Трейсы** — путь одного запроса через сервисы, показывающий, где на самом деле тратится время. Критичны в распределённых системах.

## Алертите на симптомы, а не на шум

Привлекайте внимание на то, что **чувствуют пользователи**, а не на внутренние колебания. Привязывайте алерты к **SLO**: error rate, latency (p95/p99) и availability. Скачок CPU — это не инцидент; checkout, не работающий для 2% пользователей — это инцидент.

| Алертить на | Не привлекайте на | 
| --- | --- |
| Error rate нарушил SLO | Единичный скачок CPU |
| p99 latency превышен | Один медленный запрос |
| Неудачные health checks | Диск на 60% |

## Делайте алерты actionable

Каждый алерт должен быть **срочным, реальным и actionable** — он указывает, что не так, и подсказывает следующий шаг. Алерты, которые срабатывают постоянно, приучают команду их игнорировать; **alert fatigue** — вот как упускают реальные инциденты. Добавьте **health checks** и дашборды, которые показывают golden signals на первый взгляд.

## Почему это важно

Команды, которые наблюдают только после инцидента, летят вслепую: они узнают об outage от рассерженных пользователей и отлаживают методом угадывания. Инвестирование в наблюдаемость заранее превращает загадки в 3 часа ночи в 5-минутные диагнозы, сокращает downtime и освобождает команду для доставки кода вместо тушения пожаров.

Алертить на	Не привлекайте на
Error rate нарушил SLO	Единичный скачок CPU
p99 latency превышен	Один медленный запрос
Неудачные health checks	Диск на 60%