p99 = tail latency: সবচেয়ে ধীর 1% requests-এর 3s লাগে। প্রথম পদক্ষেপ হলো measure এবং break down করা, অনুমান নয়। p50 বনাম p99 তুলনা করুন — যদি p50 fast কিন্তু p99 3s হয়, তবে path সমানভাবে slow নয়; কিছু একটা শুধু load-এর অধীনে বা edge case-এ কামড় দেয় (pool saturation, GC pauses, N+1, cold cache, একটি un-timed external call)।
p99 হলো , average wait নয় — average দ্রুত করলে পিছনে আটকে থাকা কাস্টমারের কিছুই হয় না।
// প্রতিটি stage-এর সময় মাপুন যাতে দেখা যায় p99 কোথায় জমে (অনুমান করবেন না)
async function handler(req, res) {
const t0 = process.hrtime.bigint();
const mark = (label) =>
req.log.info({ label, ms: Number(process.hrtime.bigint() - t0) / 1e6 });
const user = await db.user.find(req.id); mark('db.user');
const courses = await loadCourses(user); mark('loadCourses'); // suspect
res.json(courses); mark('total');
}
// BEFORE: N+1 — N sequential round-trips, N বাড়ার সাথে p99 blows up
const courses = await db.course.findByUser(userId);
for (const c of courses) c.lessons = await db.lesson.byCourse(c.id);
// AFTER: 1 query-তে collapse করুন -> tail নেমে যায় (আর N sequential trips নেই)
const courses = await db.course.findByUser(userId);
const lessons = await db.lesson.byCourseIds(courses.map((c) => c.id)); // one IN(...)
const byCourse = Map.groupBy(lessons, (l) => l.courseId);
for (const c of courses) c.lessons = byCourse.get(c.id) ?? [];
এখানে p50 (ছোট N) ঠিকঠাক দেখায়, কিন্তু load-এর অধীনে N বাড়ে এবং pool saturate হয়, তাই p99 detonate করে। external calls-এর জন্য, সবসময় একটি timeout + circuit breaker সেট করুন যাতে একটি slow dependency পুরো endpoint-এর p99 টেনে নামাতে না পারে।
ইন্টারভিউয়ার একটি methodical প্রক্রিয়া যাচাই করছেন, একটি লাকি গেস নয়: আপনি tail-কে mean থেকে আলাদা করেন কিনা, পরিবর্তনের আগে measure করেন কিনা, এবং CPU-এর আগে queues/locks (waiting) দেখেন কিনা। দুর্বল উত্তর: "caching যোগ করুন / servers scale up করুন।" শক্তিশালী উত্তর: measure → tracing দিয়ে localize → নির্দিষ্ট tail cause fix → numbers দিয়ে verify।
tail (p99) optimize করুন, average নয়। বেশিরভাগ "3s p99" computing-এর চেয়ে waiting (pool/queue/lock) থেকে আসে — তাই CPU-এর আগে queues দেখুন।
বিস্তারিত উত্তরসহ IT ইন্টারভিউ প্রশ্নের একটি লাইব্রেরি — জুনিয়র থেকে সিনিয়র পর্যন্ত।
দান করুন