p99 = tail latency: ਸਭ ਤੋਂ ਹੌਲੀ 1% requests ਨੂੰ 3s ਲੱਗਦੇ ਹਨ। ਪਹਿਲੀ ਚਾਲ ਹੈ measure ਕਰਕੇ ਇਸ ਨੂੰ break down ਕਰਨਾ, ਅੰਦਾਜ਼ਾ ਨਹੀਂ ਲਗਾਉਣਾ। p50 ਬਨਾਮ p99 ਦੀ ਤੁਲਨਾ ਕਰੋ — ਜੇ p50 ਤੇਜ਼ ਹੈ ਪਰ p99 3s ਹੈ, ਤਾਂ path ਇੱਕਸਾਰ ਹੌਲੀ ਨਹੀਂ ਹੈ; ਕੋਈ ਚੀਜ਼ ਸਿਰਫ਼ load ਹੇਠ ਜਾਂ edge cases ਵਿੱਚ ਕੱਟਦੀ ਹੈ (pool saturation, GC pauses, N+1, cold cache, ਕੋਈ un-timed external call)।
p99 ਹੈ, average wait ਨਹੀਂ — average ਨੂੰ ਤੇਜ਼ ਕਰਨ ਨਾਲ ਪਿੱਛੇ ਫਸੇ customer ਨੂੰ ਕੋਈ ਫ਼ਾਇਦਾ ਨਹੀਂ।
// Time each stage to see where p99 piles up (don't guess)
async function handler(req, res) {
const t0 = process.hrtime.bigint();
const mark = (label) =>
req.log.info({ label, ms: Number(process.hrtime.bigint() - t0) / 1e6 });
const user = await db.user.find(req.id); mark('db.user');
const courses = await loadCourses(user); mark('loadCourses'); // suspect
res.json(courses); mark('total');
}
// BEFORE: N+1 — N sequential round-trips, p99 blows up as N grows
const courses = await db.course.findByUser(userId);
for (const c of courses) c.lessons = await db.lesson.byCourse(c.id);
// AFTER: collapse to 1 query -> the tail drops (no more N sequential trips)
const courses = await db.course.findByUser(userId);
const lessons = await db.lesson.byCourseIds(courses.map((c) => c.id)); // one IN(...)
const byCourse = Map.groupBy(lessons, (l) => l.courseId);
for (const c of courses) c.lessons = byCourse.get(c.id) ?? [];
ਇੱਥੇ p50 (ਛੋਟਾ N) ਠੀਕ ਲੱਗਦਾ ਹੈ, ਪਰ load ਹੇਠ N ਵੱਧਦਾ ਹੈ ਅਤੇ pool saturate ਹੋ ਜਾਂਦਾ ਹੈ, ਇਸ ਲਈ p99 detonate ਹੋ ਜਾਂਦਾ ਹੈ। External calls ਲਈ, ਹਮੇਸ਼ਾ ਇੱਕ timeout + circuit breaker ਲਗਾਓ ਤਾਂ ਜੋ ਇੱਕ ਹੌਲੀ dependency ਪੂਰੇ endpoint ਦੇ p99 ਨੂੰ ਥੱਲੇ ਨਾ ਖਿੱਚ ਸਕੇ।
Interviewer ਇੱਕ methodical process ਪਰਖ ਰਿਹਾ ਹੈ, ਖ਼ੁਸ਼ਕਿਸਮਤੀ ਵਾਲਾ ਅੰਦਾਜ਼ਾ ਨਹੀਂ: ਕੀ ਤੁਸੀਂ tail ਨੂੰ mean ਤੋਂ ਵੱਖ ਕਰਦੇ ਹੋ, ਬਦਲਣ ਤੋਂ ਪਹਿਲਾਂ measure ਕਰਦੇ ਹੋ, ਅਤੇ CPU ਤੋਂ ਪਹਿਲਾਂ queues/locks (waiting) ਵੇਖਦੇ ਹੋ। ਕਮਜ਼ੋਰ ਜਵਾਬ: "caching ਜੋੜੋ / servers scale up ਕਰੋ।" ਮਜ਼ਬੂਤ ਜਵਾਬ: measure → tracing ਨਾਲ localize → ਖ਼ਾਸ tail cause fix ਕਰੋ → numbers ਨਾਲ verify ਕਰੋ।
tail (p99) ਨੂੰ optimize ਕਰੋ, average ਨੂੰ ਨਹੀਂ। ਜ਼ਿਆਦਾਤਰ "3s p99" computing ਤੋਂ ਨਹੀਂ ਬਲਕਿ waiting (pool/queue/lock) ਤੋਂ ਆਉਂਦਾ ਹੈ — ਇਸ ਲਈ CPU ਤੋਂ ਪਹਿਲਾਂ queues ਵੇਖੋ।
ਵਿਸਤ੍ਰਿਤ ਜਵਾਬਾਂ ਨਾਲ IT ਇੰਟਰਵਿਊ ਸਵਾਲਾਂ ਦੀ ਇੱਕ ਲਾਇਬ੍ਰੇਰੀ — ਜੂਨੀਅਰ ਤੋਂ ਸੀਨੀਅਰ ਤੱਕ।
ਦਾਨ ਕਰੋ