p99 = tail latency: सबैभन्दा ढिलो 1% requests लाई 3s लाग्छ। पहिलो चाल भनेको measure र break down गर्नु हो, अनुमान गर्नु होइन। p50 बनाम p99 तुलना गर्नुहोस् — यदि p50 fast छ तर p99 3s छ भने, path समान रूपमा ढिलो होइन; केही चीजले केवल load अन्तर्गत वा edge cases मा टोक्छ (pool saturation, GC pauses, N+1, cold cache, एउटा un-timed external call)।
p99 भनेको हो, औसत पर्खाइ होइन — औसत तेज बनाउँदा पछाडि अड्किएको ग्राहकका लागि केही हुँदैन।
// p99 कहाँ थुप्रिन्छ हेर्न प्रत्येक stage time गर्नुहोस् (अनुमान नगर्नुहोस्)
async function handler(req, res) {
const t0 = process.hrtime.bigint();
const mark = (label) =>
req.log.info({ label, ms: Number(process.hrtime.bigint() - t0) / 1e6 });
const user = await db.user.find(req.id); mark('db.user');
const courses = await loadCourses(user); mark('loadCourses'); // suspect
res.json(courses); mark('total');
}
// BEFORE: N+1 — N sequential round-trips, N बढ्दै जाँदा p99 blows up
const courses = await db.course.findByUser(userId);
for (const c of courses) c.lessons = await db.lesson.byCourse(c.id);
// AFTER: 1 query मा collapse गर्नुहोस् -> tail घट्छ (अब N sequential trips छैनन्)
const courses = await db.course.findByUser(userId);
const lessons = await db.lesson.byCourseIds(courses.map((c) => c.id)); // one IN(...)
const byCourse = Map.groupBy(lessons, (l) => l.courseId);
for (const c of courses) c.lessons = byCourse.get(c.id) ?? [];
यहाँ p50 (सानो N) ठीकै देखिन्छ, तर load अन्तर्गत N बढ्छ र pool saturate हुन्छ, त्यसैले p99 detonate हुन्छ। External calls का लागि, सधैं timeout + circuit breaker सेट गर्नुहोस् ताकि एउटै slow dependency ले पूरै endpoint को p99 तान्न नसकोस्।
Interviewer ले lucky guess होइन, एउटा methodical process जाँच्दैछ: तपाईं tail लाई mean बाट छुट्याउनुहुन्छ कि, बदल्नुअघि measure गर्नुहुन्छ कि, र CPU अघि queues/locks (पर्खाइ) हेर्नुहुन्छ कि। कमजोर उत्तर: "caching थप / servers scale up गर।" बलियो उत्तर: measure → tracing सँग localize → specific tail cause fix → numbers सँग verify।
Tail (p99) optimize गर्नुहोस्, औसत होइन। धेरैजसो "3s p99" computing भन्दा पर्खाइ (pool/queue/lock) बाट आउँछ — त्यसैले CPU अघि queues हेर्नुहोस्।
विस्तृत उत्तरसहित IT अन्तर्वार्ता प्रश्नहरूको पुस्तकालय — जुनियरदेखि सिनियरसम्म।
दान गर्नुहोस्