p99-латентность API составляет 3 с — как её отлаживать и оптимизировать?

Question

IT Interview Practice · Accepted Answer

p99 = **tail latency**: самый медленный 1% запросов занимает 3 с. Первый ход — **измерить и разложить, а не гадать**. Сравните p50 и p99 — если p50 быстрый, а p99 равен 3 с, то путь не равномерно медленный; что-то кусается только *под нагрузкой или в граничных случаях* (насыщение pool, GC-паузы, N+1, холодный кэш, внешний вызов без timeout).

**Ментальная модель:** p99 — это *самая длинная очередь на кассе*, а не среднее ожидание — ускорение среднего ничего не даёт клиенту, застрявшему в хвосте.

## Процесс (откуда куда)
1. **Измерить и разложить** — RED-метрики (Rate, Errors, Duration) + distributed tracing; читайте p50/p95/p99. *Разрыв* между ними рассказывает всю историю.
2. **Локализовать стадию** — инструментируйте каждый шаг, чтобы увидеть, где медленные запросы проводят время; не оптимизируйте по наитию.

```js
// Замеряем каждую стадию, чтобы увидеть, где накапливается p99 (не гадаем)
async function handler(req, res) {
  const t0 = process.hrtime.bigint();
  const mark = (label) =>
    req.log.info({ label, ms: Number(process.hrtime.bigint() - t0) / 1e6 });
  const user = await db.user.find(req.id);   mark('db.user');
  const courses = await loadCourses(user);   mark('loadCourses'); // подозреваемый
  res.json(courses);                         mark('total');
}
```

3. **Определить хвостового подозреваемого** — обычно это *ожидание*, а не вычисление: исчерпание connection-pool, N+1-запросы, внешние вызовы без timeout, GC-паузы, отсутствующий индекс, холодный кэш.

```js
// ДО: N+1 — N последовательных round-trips, p99 взрывается по мере роста N
const courses = await db.course.findByUser(userId);
for (const c of courses) c.lessons = await db.lesson.byCourse(c.id);

// ПОСЛЕ: схлопываем в 1 запрос -> хвост спадает (больше нет N последовательных ходов)
const courses = await db.course.findByUser(userId);
const lessons = await db.lesson.byCourseIds(courses.map((c) => c.id)); // один IN(...)
const byCourse = Map.groupBy(lessons, (l) => l.courseId);
for (const c of courses) c.lessons = byCourse.get(c.id) ?? [];
```

Здесь p50 (малое N) выглядит нормально, но под нагрузкой N растёт и pool насыщается, поэтому **p99 детонирует**. Для внешних вызовов всегда задавайте **timeout + circuit breaker**, чтобы одна медленная зависимость не могла утянуть p99 всего эндпоинта.

4. **Исправьте одно → повторно измерьте p99 → повторите.** По одной переменной за раз, иначе вы не поймёте, что помогло.
5. **Зафиксируйте результат** — задайте **SLO** (например, p99 < 300ms) + alert, чтобы не было регресса.

## Взгляд интервьюера
Интервьюер проверяет *методичный* процесс, а не удачную догадку: отличаете ли вы **хвост от среднего**, измеряете ли перед изменением и смотрите ли на **очереди/локи (ожидание) прежде чем на CPU**. Слабый ответ: «добавить кэширование / масштабировать серверы». Сильный ответ: измерить → локализовать через tracing → исправить конкретную причину хвоста → проверить цифрами.

## Принцип
Оптимизируйте **хвост (p99), а не среднее**. Большинство «3s p99» происходит от *ожидания* (pool/queue/lock), а не от *вычислений* — поэтому смотрите на очереди прежде, чем на CPU.

Процесс (откуда куда)

Взгляд интервьюера

Принцип

Похожие вопросы