system call이란 무엇이고, user mode와 kernel mode는 무엇인가?

Question

IT Interview Practice · Accepted Answer

**system call(syscall)**은 user-space 프로그램이 kernel에 서비스를 요청하는 데 쓰는 메커니즘이다 — 파일 열기, 네트워크 데이터 전송, 메모리 할당, 프로세스 생성. 이런 동작은 하드웨어를 건드리거나 다른 프로세스에 영향을 주기 때문에 오직 **kernel**만 수행할 수 있으며, 그래서 syscall은 의도적으로 보호 경계를 넘는다.

## user mode vs kernel mode

CPU는 (최소한) 두 가지 특권 수준 중 하나로 실행된다:

```text
 user mode   → restricted: no direct hardware access, no privileged instructions
 kernel mode → full access: hardware, all memory, privileged CPU instructions
```

평범한 함수 호출은 user mode에 머문다. syscall은 통제된 **mode switch**로 kernel mode에 진입해 신뢰된 kernel 코드를 실행한 뒤 복귀한다:

```text
  user code            kernel
  ─────────            ──────
  read(fd, buf, n)
      │  trap (syscall instruction)
      └──────────────▶ enter kernel mode
                       validate args, do the I/O
      ◀────────────── return value, back to user mode
  continue
```

## 실무에서 작동하는 방식

당신이 직접 trap을 작성하는 일은 드물다 — C 라이브러리가 그것을 감싼다. 코드의 `fopen`/`fread`는 결국 `open`/`read` syscall을 호출한다:

```c
// glibc의 read()는 syscall 번호 + 인자를 register에 넣고,
// trap 명령을 실행한다 (예: x86-64에서는 `syscall`).
ssize_t n = read(fd, buffer, 4096);   // → kernel로 trap
```

trap(소프트웨어 interrupt / 전용 명령)이 바로 특권 수준을 안전하게 바꾸는 것이다 — user 코드는 그냥 kernel로 "점프"할 수 없다. 오직 인자를 검증(validate)하는, 정의된 syscall 진입 지점에서만 진입할 수 있다.

## 왜 중요한가

user/kernel 분리는 OS 보안과 안정성의 토대다: 이것이 바로 한 프로세스가 하드웨어나 다른 프로세스의 메모리에 함부로 쓸 수 없는 이유다. syscall을 이해하면 성능도 설명된다 — syscall마다 mode switch 비용(수백 나노초)이 든다. 이것이 I/O를 batch로 묶거나 `mmap`/`io_uring`을 써서 syscall 수를 줄이는 것이 중요한 이유이고, (프로그램의 syscall을 나열해 주는) `strace`가 그토록 강력한 디버깅 도구인 이유다.

user mode vs kernel mode

실무에서 작동하는 방식

왜 중요한가

관련 질문