Как вы обрабатываете фоновые задачи и очереди?

Question

Accepted Answer

Для **фоновых задач** (работы, которая не должна блокировать HTTP-ответ), NestJS интегрируется с **BullMQ** (очередь на основе Redis) через `@nestjs/bullmq`. Вы добавляете задачи в очередь и обрабатываете их асинхронно в отдельных рабочих процессах — это обеспечивает быстрые запросы и надежную обработку тяжелых или отложенных работ.

## Проблема, которую решают очереди

```text
Some work is too slow or shouldn't block the request:
  ✗ sending emails, processing images/video, generating reports, calling slow APIs
  → doing it inline makes the user wait and risks timeouts/failures
  ✓ QUEUE the work → respond immediately → a worker processes it in the background
```

## Настройка очереди

```ts
@Module({
  imports: [
    BullModule.forRoot({ connection: { host: "localhost", port: 6379 } }),  // Redis
    BullModule.registerQueue({ name: "email" }),                            // a named queue
  ],
})
export class AppModule {}
```

## Добавление задач в очередь (производитель)

```ts
@Injectable()
export class NotificationService {
  constructor(@InjectQueue("email") private emailQueue: Queue) {}

async register(user: User) {
    await this.saveUser(user);
    // queue the email INSTEAD of sending it inline → respond to the user immediately
    await this.emailQueue.add("welcome", { userId: user.id }, {
      attempts: 3,                          // retry up to 3 times on failure
      backoff: { type: "exponential", delay: 5000 },
      delay: 60000,                          // optionally delay the job
    });
  }
}
```

Производитель добавляет задачу (с опциями, такими как повторные попытки, backoff, задержка) и сразу же возвращает результат — пользователь не ждет, пока письмо будет отправлено.

## Обработка задач (рабочий процесс/потребитель)

```ts
@Processor("email")
export class EmailProcessor extends WorkerHost {
  async process(job: Job) {
    switch (job.name) {
      case "welcome":
        await this.sendWelcomeEmail(job.data.userId);   // the actual work, in the background
        break;
    }
  }
}
```

Рабочий процесс `@Processor` потребляет задачи из очереди и выполняет фактическую работу асинхронно — отдельно от цикла запроса/ответа (и может даже работать в отдельном процессе).

## Что предоставляют очереди

```text
✓ Async processing — offload slow work, respond to users instantly
✓ Retries & backoff — failed jobs retry automatically (reliability)
✓ Delayed/scheduled jobs — run work later or on a schedule (repeatable jobs)
✓ Rate limiting & concurrency control — bound how fast/many jobs run
✓ Persistence (via Redis) — jobs survive restarts; not lost if the app crashes
✓ Decoupling — producers and workers scale independently
```

## Почему это важно

Обработка фоновых задач с использованием очередей необходима для создания надежных, отзывчивых и масштабируемых back-end систем — и понимание интеграции BullMQ в NestJS является важным знанием для опытного разработчика.

Основная ценность заключается в выгрузке работы, которая не должна блокировать HTTP-ответ: отправка писем, обработка изображений/видео, создание отчетов, синхронизация данных или вызов медленных внешних сервисов.

Выполнение такой работы встроенным образом заставляет пользователей ждать, рискует истечением времени ожидания запроса и потеряет работу в случае сбоя — тогда как **помещение в очередь** позволяет вам сразу же ответить, пока фоновый **рабочий процесс** обрабатывает это надежно.

Помимо асинхронной выгрузки, очереди предоставляют критически важные для production функции: **автоматические повторные попытки с exponential backoff** (устойчивость к временным сбоям), **отложенные и запланированные задачи**, **управление параллелизмом и ограничением частоты**, и **персистентность** (задачи на основе Redis сохраняются при сбоях/перезагрузках, поэтому работа не теряется).

Они также **разделяют** производителей и потребителей, позволяя масштабировать их независимо.

Умение настраивать очереди, добавлять задачи с соответствующими опциями (повторные попытки, задержки) и обрабатывать их в рабочих процессах ценно при архитектурировании реальных приложений, которые элегантно справляются с тяжелой или отложенной работой.

Это распространенный и важный паттерн в production NestJS системах и отражает зрелое понимание создания отзывчивых и надежных back-end систем, которые выходят за рамки простой обработки запросов и ответов.