Bagaimana anda mengendalikan kerja latar belakang dan queue?

Question

Accepted Answer

Untuk **kerja latar belakang** (kerja yang tidak sepatutnya menyekat respons HTTP), NestJS berintegrasi dengan **BullMQ** (queue yang disokong Redis) melalui `@nestjs/bullmq`. Anda menambah job ke queue dan memprosesnya secara tak segerak dalam worker berasingan — memastikan permintaan tetap laju serta mengendalikan kerja berat atau tertangguh dengan andal.

## Masalah yang diselesaikan oleh queue

```text
Some work is too slow or shouldn't block the request:
  ✗ sending emails, processing images/video, generating reports, calling slow APIs
  → doing it inline makes the user wait and risks timeouts/failures
  ✓ QUEUE the work → respond immediately → a worker processes it in the background
```

## Menyediakan queue

```ts
@Module({
  imports: [
    BullModule.forRoot({ connection: { host: "localhost", port: 6379 } }),  // Redis
    BullModule.registerQueue({ name: "email" }),                            // a named queue
  ],
})
export class AppModule {}
```

## Menambah job ke queue (producer)

```ts
@Injectable()
export class NotificationService {
  constructor(@InjectQueue("email") private emailQueue: Queue) {}

async register(user: User) {
    await this.saveUser(user);
    // queue the email INSTEAD of sending it inline → respond to the user immediately
    await this.emailQueue.add("welcome", { userId: user.id }, {
      attempts: 3,                          // retry up to 3 times on failure
      backoff: { type: "exponential", delay: 5000 },
      delay: 60000,                          // optionally delay the job
    });
  }
}
```

Producer menambah job (dengan pilihan seperti retry, backoff, delay) dan kembali serta-merta — pengguna tidak perlu menunggu emel dihantar.

## Memproses job (worker/consumer)

```ts
@Processor("email")
export class EmailProcessor extends WorkerHost {
  async process(job: Job) {
    switch (job.name) {
      case "welcome":
        await this.sendWelcomeEmail(job.data.userId);   // the actual work, in the background
        break;
    }
  }
}
```

Worker `@Processor` menggunakan job daripada queue dan melakukan kerja sebenar secara tak segerak — berasingan daripada kitaran request/response (malah boleh berjalan dalam proses berasingan).

## Apa yang disediakan oleh queue

```text
✓ Async processing — offload slow work, respond to users instantly
✓ Retries & backoff — failed jobs retry automatically (reliability)
✓ Delayed/scheduled jobs — run work later or on a schedule (repeatable jobs)
✓ Rate limiting & concurrency control — bound how fast/many jobs run
✓ Persistence (via Redis) — jobs survive restarts; not lost if the app crashes
✓ Decoupling — producers and workers scale independently
```

## Mengapa ia penting

Pemprosesan kerja latar belakang dengan queue adalah penting untuk membina back-end yang teguh, responsif dan boleh diskalakan — dan memahami integrasi BullMQ NestJS ialah pengetahuan peringkat senior yang penting.

Nilai terasnya ialah memunggah kerja yang tidak sepatutnya menyekat respons HTTP: menghantar emel, memproses imej/video, menjana laporan, menyegerakkan data, atau memanggil servis luaran yang lambat.

Melakukan kerja sedemikian secara inline menyebabkan pengguna menunggu, berisiko timeout permintaan, dan kehilangan kerja itu jika gagal — sedangkan **queue** membolehkan anda membalas serta-merta sementara **worker** latar belakang memprosesnya dengan andal.

Di luar pemunggahan tak segerak, queue menyediakan ciri produksi yang kritikal: **retry automatik dengan backoff** (daya tahan terhadap kegagalan sementara), **job tertangguh dan berjadual**, **kawalan concurrency/rate-limiting**, dan **kebertahanan** (job yang disokong Redis bertahan daripada crash/restart, jadi kerja tidak hilang).

Queue juga **menyahgandingkan** producer daripada consumer, membolehkan penskalaan secara bebas.

Mengetahui cara menyediakan queue, menambah job dengan pilihan yang sesuai (retry, delay), dan memprosesnya dalam worker adalah berharga untuk menyeni bina aplikasi sebenar yang mengendalikan kerja berat atau tertangguh dengan anggun.

Ini ialah corak biasa dan penting dalam sistem NestJS produksi serta mencerminkan pemahaman matang tentang membina back-end yang responsif dan andal yang melangkaui pengendalian request-response mudah.