API p99 latency yra 3 s — kaip diagnozuojate ir optimizuojate?

Question

IT Interview Practice · Accepted Answer

p99 = **tail latency**: lėčiausias 1 % užklausų užtrunka 3 s. Pirmas žingsnis — **matuoti ir išskaidyti, ne spėlioti**. Palyginkite p50 su p99 — jei p50 greitas, bet p99 yra 3 s, kelias nėra tolygiai lėtas; kažkas kanda tik *apkrovos metu ar kraštutiniais atvejais* (pool saturation, GC pauzės, N+1, cold cache, nelaikuotas išorinis kvietimas).

**Mąstymo modelis:** p99 yra *ilgiausia atsiskaitymo eilė*, ne vidutinis laukimas — vidurkio pagreitinimas nieko nedaro klientui, įstrigusiam gale.

## Procesas (iš kur kur)
1. **Matuok ir išskaidyk** — RED metrikos (Rate, Errors, Duration) + distributed tracing; skaityk p50/p95/p99. *Skirtumas* tarp jų pasakoja istoriją.
2. **Lokalizuok etapą** — instrumentuok kiekvieną žingsnį, kad matytum, kur lėtos užklausos leidžia laiką; neoptimizuok pagal nuojautą.

```js
// Laikuok kiekvieną etapą, kad matytum, kur kaupiasi p99 (nespėliok)
async function handler(req, res) {
  const t0 = process.hrtime.bigint();
  const mark = (label) =>
    req.log.info({ label, ms: Number(process.hrtime.bigint() - t0) / 1e6 });
  const user = await db.user.find(req.id);   mark('db.user');
  const courses = await loadCourses(user);   mark('loadCourses'); // suspect
  res.json(courses);                         mark('total');
}
```

3. **Nustatyk tail įtariamąjį** — dažniausiai *laukimas*, ne skaičiavimas: connection-pool išsekimas, N+1 užklausos, nelaikuoti išoriniai kvietimai, GC pauzės, trūkstamas indeksas, cold cache.

```js
// PRIEŠ: N+1 — N nuoseklių round-trip, p99 sprogsta N augant
const courses = await db.course.findByUser(userId);
for (const c of courses) c.lessons = await db.lesson.byCourse(c.id);

// PO: sutraukiam į 1 užklausą -> tail krenta (nebėra N nuoseklių kvietimų)
const courses = await db.course.findByUser(userId);
const lessons = await db.lesson.byCourseIds(courses.map((c) => c.id)); // one IN(...)
const byCourse = Map.groupBy(lessons, (l) => l.courseId);
for (const c of courses) c.lessons = byCourse.get(c.id) ?? [];
```

Čia p50 (mažas N) atrodo gerai, bet apkrovos metu N auga ir pool prisisotina, todėl **p99 detonuoja**. Išoriniams kvietimams visada nustatykite **timeout + circuit breaker**, kad viena lėta priklausomybė negalėtų tempti viso endpoint p99.

4. **Taisyk vieną dalyką → matuok p99 iš naujo → kartok.** Po vieną kintamąjį, kitaip nesuprasi, kas padėjo.
5. **Užfiksuok** — nustatyk **SLO** (pvz. p99 < 300 ms) + alert, kad neregresuotų.

## Interviu perspektyva
Interviuotojas tikrina *metodišką* procesą, ne laimingą spėjimą: ar atskiri **tail nuo mean**, matuoji prieš keisdamas ir žiūri į **eiles/lock'us (laukimą) prieš CPU**. Silpnas atsakymas: „pridėk caching / padidink serverius." Stiprus atsakymas: matuok → lokalizuok su tracing → taisyk konkrečią tail priežastį → patikrink skaičiais.

## Principas
Optimizuok **tail (p99), ne vidurkį**. Dauguma „3 s p99" ateina iš *laukimo* (pool/queue/lock), o ne iš *skaičiavimo* — tad žiūrėk į eiles prieš CPU.

Procesas (iš kur kur)

Interviu perspektyva

Principas

Susiję klausimai