백그라운드 작업과 queue는 어떻게 처리하나요?

Question

Accepted Answer

**백그라운드 작업**(HTTP 응답을 막아서는 안 되는 작업)을 위해, NestJS는 `@nestjs/bullmq`를 통해 **BullMQ**(Redis 기반 queue)와 통합됩니다. queue에 작업을 추가하고 별도의 worker에서 비동기적으로 처리합니다 — 요청을 빠르게 유지하고 무겁거나 지연된 작업을 안정적으로 처리합니다.

## queue가 해결하는 문제

```text
어떤 작업은 너무 느리거나 요청을 막아서는 안 됩니다:
  ✗ 이메일 전송, 이미지/비디오 처리, 보고서 생성, 느린 API 호출
  → 인라인으로 하면 사용자가 기다리고 타임아웃/실패 위험
  ✓ 작업을 QUEUE → 즉시 응답 → worker가 백그라운드에서 처리
```

## queue 설정

```ts
@Module({
  imports: [
    BullModule.forRoot({ connection: { host: "localhost", port: 6379 } }),  // Redis
    BullModule.registerQueue({ name: "email" }),                            // 명명된 queue
  ],
})
export class AppModule {}
```

## queue에 작업 추가 (producer)

```ts
@Injectable()
export class NotificationService {
  constructor(@InjectQueue("email") private emailQueue: Queue) {}

async register(user: User) {
    await this.saveUser(user);
    // 인라인 전송 대신 이메일을 queue → 사용자에게 즉시 응답
    await this.emailQueue.add("welcome", { userId: user.id }, {
      attempts: 3,                          // 실패 시 최대 3회 재시도
      backoff: { type: "exponential", delay: 5000 },
      delay: 60000,                          // 선택적으로 작업 지연
    });
  }
}
```

Producer는 (재시도, backoff, 지연 같은 옵션과 함께) 작업을 추가하고 즉시 반환합니다 — 사용자는 이메일이 전송되기를 기다리지 않습니다.

## 작업 처리 (worker/consumer)

```ts
@Processor("email")
export class EmailProcessor extends WorkerHost {
  async process(job: Job) {
    switch (job.name) {
      case "welcome":
        await this.sendWelcomeEmail(job.data.userId);   // 실제 작업, 백그라운드에서
        break;
    }
  }
}
```

`@Processor` worker는 queue에서 작업을 소비하고 실제 작업을 비동기적으로 수행합니다 — 요청/응답 주기와 분리되어(심지어 별도 프로세스에서 실행 가능).

## queue가 제공하는 것

```text
✓ 비동기 처리 — 느린 작업 offload, 사용자에게 즉시 응답
✓ 재시도 & backoff — 실패한 작업 자동 재시도 (신뢰성)
✓ 지연/예약 작업 — 나중에 또는 스케줄로 작업 실행 (반복 작업)
✓ 속도 제한 & 동시성 제어 — 작업이 얼마나 빠르게/많이 실행되는지 제한
✓ 영속성 (Redis 통해) — 작업이 재시작에서 살아남음; 앱 충돌 시 잃지 않음
✓ 분리 — producer와 worker가 독립적으로 확장
```

## 왜 중요한가

queue를 사용한 백그라운드 작업 처리는 견고하고, 반응적이며, 확장 가능한 백엔드를 구축하는 데 필수적입니다 — 그리고 NestJS의 BullMQ 통합을 이해하는 것은 중요한 시니어 수준 지식입니다.

핵심 가치는 HTTP 응답을 막아서는 안 되는 작업을 offload하는 것입니다: 이메일 전송, 이미지/비디오 처리, 보고서 생성, 데이터 동기화, 또는 느린 외부 service 호출.

그런 작업을 인라인으로 하면 사용자가 기다리고, 요청 타임아웃 위험이 있으며, 실패 시 작업을 잃습니다 — 반면 그것을 **queue**에 넣으면 즉시 응답하면서 백그라운드 **worker**가 안정적으로 처리합니다.

비동기 offload 외에도, queue는 중요한 프로덕션 기능을 제공합니다: **backoff와 함께하는 자동 재시도**(일시적 실패에 대한 복원력), **지연 및 예약 작업**, **동시성/속도 제한 제어**, 그리고 **영속성**(Redis 기반 작업이 충돌/재시작에서 살아남아 작업을 잃지 않음).

또한 producer를 consumer로부터 **분리**하여 독립적인 확장을 가능하게 합니다.

queue를 설정하고, 적절한 옵션(재시도, 지연)으로 작업을 추가하고, worker에서 처리하는 방법을 아는 것은 무겁거나 지연된 작업을 우아하게 처리하는 실제 애플리케이션을 설계하는 데 가치가 있습니다.

이는 프로덕션 NestJS 시스템에서 흔하고 중요한 패턴이며, 단순한 요청-응답 처리를 넘어 반응적이고 신뢰할 수 있는 백엔드를 구축하는 데 대한 성숙한 이해를 반영합니다.