p99 = tail latency: 가장 느린 1%의 요청이 3초 걸립니다. 첫 수는 추측이 아니라 측정하고 분해하는 것 입니다. p50과 p99를 비교하세요 — p50은 빠른데 p99가 3초라면, 경로가 균일하게 느린 게 아니라 부하 상황이나 엣지 케이스에서만 무언가가 무는 것입니다(pool 포화, GC 일시정지, N+1, cold cache, 시간을 재지 않은 외부 호출).
멘탈 모델: p99는 평균 대기가 아니라 입니다 — 평균을 빠르게 해도 맨 뒤에 갇힌 고객에게는 아무 도움이 안 됩니다.
// 각 단계 시간을 재서 p99가 어디에 쌓이는지 확인(추측 금지)
async function handler(req, res) {
const t0 = process.hrtime.bigint();
const mark = (label) =>
req.log.info({ label, ms: Number(process.hrtime.bigint() - t0) / 1e6 });
const user = await db.user.find(req.id); mark('db.user');
const courses = await loadCourses(user); mark('loadCourses'); // 의심 지점
res.json(courses); mark('total');
}
// BEFORE: N+1 — N번의 순차 왕복, N이 커질수록 p99가 폭발
const courses = await db.course.findByUser(userId);
for (const c of courses) c.lessons = await db.lesson.byCourse(c.id);
// AFTER: 쿼리 1개로 축약 -> tail이 떨어짐(더 이상 N번의 순차 왕복 없음)
const courses = await db.course.findByUser(userId);
const lessons = await db.lesson.byCourseIds(courses.map((c) => c.id)); // 하나의 IN(...)
const byCourse = Map.groupBy(lessons, (l) => l.courseId);
for (const c of courses) c.lessons = byCourse.get(c.id) ?? [];
여기서 p50(작은 N)은 괜찮아 보이지만, 부하가 걸리면 N이 커지고 pool이 포화되어 p99가 터집니다. 외부 호출에는 항상 timeout + circuit breaker 를 설정해, 느린 의존성 하나가 엔드포인트 전체의 p99를 끌어내리지 못하게 하세요.
면접관은 운 좋은 추측이 아니라 체계적인 프로세스를 확인합니다: tail과 mean을 구분 하는지, 바꾸기 전에 측정하는지, CPU보다 큐/락(대기) 을 먼저 보는지. 약한 답변: "캐싱을 추가하거나 서버를 스케일업한다." 강한 답변: 측정 → 트레이싱으로 국소화 → 특정 tail 원인 수정 → 수치로 검증.
평균이 아니라 tail(p99) 을 최적화하세요. 대부분의 "3초 p99"는 계산이 아니라 대기(pool/queue/lock)에서 옵니다 — 그러니 CPU보다 큐를 먼저 보세요.
주니어부터 시니어까지 상세한 답변이 포함된 IT 면접 질문 라이브러리.
후원하기