Il-p99 latency ta' API huwa 3s — kif tiddibaggja u tottimizzah?

Question

IT Interview Practice · Accepted Answer

p99 = **tail latency**: l-aktar 1% bil-mod tar-requests jieħdu 3s. L-ewwel mossa hija li **tkejjel u tanalizzah, mhux taqta' addoċċ**. Qabbel p50 vs p99 — jekk p50 huwa mgħaġġel iżda p99 huwa 3s, il-path mhux uniformement bil-mod; xi ħaġa tigdem biss *taħt il-load jew f'edge cases* (saturazzjoni tal-pool, GC pauses, N+1, cold cache, external call mingħajr ħin imkejjel).

**Mudell mentali:** p99 huwa l-*itwal ringiela tal-checkout*, mhux l-istennija medja — li tħaffef il-medja ma tagħmel xejn għall-klijent maqbud fuq wara.

## Il-proċess (minn fejn sa fejn)
1. **Kejjel u analizza** — RED metrics (Rate, Errors, Duration) + distributed tracing; aqra p50/p95/p99. Id-*differenza* bejniethom tirrakkonta l-istorja.
2. **Illokalizza l-istadju** — strumenta kull pass biex tara fejn ir-requests bil-mod jonfqu l-ħin; tottimizzax fuq feeling.

```js
// Kejjel il-ħin ta' kull stadju biex tara fejn jinġema' l-p99 (tobsorx)
async function handler(req, res) {
  const t0 = process.hrtime.bigint();
  const mark = (label) =>
    req.log.info({ label, ms: Number(process.hrtime.bigint() - t0) / 1e6 });
  const user = await db.user.find(req.id);   mark('db.user');
  const courses = await loadCourses(user);   mark('loadCourses'); // suspettat
  res.json(courses);                         mark('total');
}
```

3. **Identifika s-suspettat tat-tail** — normalment *stennija*, mhux computing: eżawriment tal-connection-pool, N+1 queries, external calls mingħajr timeout, GC pauses, index nieqes, cold cache.

```js
// QABEL: N+1 — N round-trips sekwenzjali, il-p99 jisplodi hekk kif N jikber
const courses = await db.course.findByUser(userId);
for (const c of courses) c.lessons = await db.lesson.byCourse(c.id);

// WARA: iġbor f'query waħda -> it-tail jaqa' (m'hemmx aktar N vjaġġi sekwenzjali)
const courses = await db.course.findByUser(userId);
const lessons = await db.lesson.byCourseIds(courses.map((c) => c.id)); // IN(...) wieħed
const byCourse = Map.groupBy(lessons, (l) => l.courseId);
for (const c of courses) c.lessons = byCourse.get(c.id) ?? [];
```

Hawn p50 (N żgħir) jidher tajjeb, iżda taħt il-load N jikber u l-pool jissatura, allura **p99 jisplodi**. Għall-external calls, dejjem issettja **timeout + circuit breaker** biex dependency waħda bil-mod ma tkaxkarx il-p99 tal-endpoint kollu.

4. **Irranġa ħaġa waħda → erġa' kejjel p99 → irrepeti.** Varjabbli waħda kull darba, inkella ma tkunx taf x'għen.
5. **Iffissah** — issettja **SLO** (eż. p99 < 300ms) + alert biex ma jirregredix.

## Lenti tal-intervista
L-intervistatur qed jittestja proċess *metodiku*, mhux aħjar bix-xorti: tiddistingwix **tail mill-medja**, tkejjilx qabel ma tbiddel, u tħarisx lejn **queues/locks (stennija) qabel is-CPU**. Tweġiba dgħajfa: "żid caching / scale up is-servers." Tweġiba b'saħħitha: kejjel → illokalizza bit-tracing → irranġa l-kawża speċifika tat-tail → ivverifika bin-numri.

## Prinċipju
Ottimizza t-**tail (p99), mhux il-medja**. Ħafna mill-"3s p99" jiġi minn *stennija* (pool/queue/lock) aktar milli minn *computing* — allura ħares lejn il-queues qabel is-CPU.

Il-proċess (minn fejn sa fejn)

Lenti tal-intervista

Prinċipju

Mistoqsijiet relatati