మీరు బ్యాకగ్రౌండ్ జాబ్‌లు మరియు క్యూలను ఎలా నిర్వహిస్తారు?

Question

Accepted Answer

**బ్యాకగ్రౌండ్ జాబ్‌ల** కోసం (HTTP రెస్పాన్స్‌ను బ్లాక్ చేయకూడదు అయ్యే పని), NestJS **BullMQ** (Redis-ఆధారిత క్యూ)కు `@nestjs/bullmq` ద్వారా సమీకృతం చేస్తుంది. మీరు జాబ్‌లను క్యూకు జోడిస్తారు మరియు వాటిని ఎలాప్‌గా వేరు వర్కర్‌లలో ప్రక్రియ చేస్తారు — అభ్యర్థనలను వేగవంతం చేస్తూ మరియు భారీ లేదా వాయిదా వేయిన పనిని విశ్వసనీయంగా నిర్వహిస్తూ.

## క్యూలు పరిష్కరించే సమస్య

```text
Some work is too slow or shouldn't block the request:
  ✗ sending emails, processing images/video, generating reports, calling slow APIs
  → doing it inline makes the user wait and risks timeouts/failures
  ✓ QUEUE the work → respond immediately → a worker processes it in the background
```

## క్యూను సెట్ చేయడం

```ts
@Module({
  imports: [
    BullModule.forRoot({ connection: { host: "localhost", port: 6379 } }),  // Redis
    BullModule.registerQueue({ name: "email" }),                            // a named queue
  ],
})
export class AppModule {}
```

## క్యూకు జాబ్‌లను జోడించడం (ప్రోడ్యూసర్)

```ts
@Injectable()
export class NotificationService {
  constructor(@InjectQueue("email") private emailQueue: Queue) {}

async register(user: User) {
    await this.saveUser(user);
    // queue the email INSTEAD of sending it inline → respond to the user immediately
    await this.emailQueue.add("welcome", { userId: user.id }, {
      attempts: 3,                          // retry up to 3 times on failure
      backoff: { type: "exponential", delay: 5000 },
      delay: 60000,                          // optionally delay the job
    });
  }
}
```

ప్రోడ్యూసర్ జాబ్‌ను జోడిస్తుంది (రీట్రైలు, బ్యాకఆఫ్, డిలే వంటి ఎంపికలతో) మరియు వెంటనే రిటర్న్ చేస్తుంది — ఈమెయిల్ పంపడానికి ఉపయోగకర్త ఎదురు చూడడు.

## జాబ్‌లను ప్రక్రియ చేయడం (వర్కర్/కన్‌స్యూమర్)

```ts
@Processor("email")
export class EmailProcessor extends WorkerHost {
  async process(job: Job) {
    switch (job.name) {
      case "welcome":
        await this.sendWelcomeEmail(job.data.userId);   // the actual work, in the background
        break;
    }
  }
}
```

`@Processor` వర్కర్ క్యూ నుండి జాబ్‌లను వినియోగ చేస్తుంది మరియు వాస్తవ పనిని ఎలాప్‌గా చేస్తుంది — అభ్యర్థన/ప్రతిక్రియ చక్రం నుండి వేరుగా (మరియు కూడా వేరు ప్రక్రియలో నడుస్తుంది).

## క్యూలు ఏమి అందిస్తాయి

```text
✓ Async processing — offload slow work, respond to users instantly
✓ Retries & backoff — failed jobs retry automatically (reliability)
✓ Delayed/scheduled jobs — run work later or on a schedule (repeatable jobs)
✓ Rate limiting & concurrency control — bound how fast/many jobs run
✓ Persistence (via Redis) — jobs survive restarts; not lost if the app crashes
✓ Decoupling — producers and workers scale independently
```

## ఎందుకు ఇది విషయం

క్యూలతో బ్యాకగ్రౌండ్ జాబ్ ప్రక్రియ దృఢమైన, ప్రతిస్పందించే, స్కేలేబుల్ బ్యాక్‌ఎండ్‌లను నిర్మించడానికి అవసరం — మరియు NestJS యొక్క BullMQ ఇంటిగ్రేషన్‌ను అర్థం చేసుకోవడం సీనియర్-స్థర ज్ञान.

మూల విలువ HTTP రెస్పాన్స్‌ను బ్లాక్ చేయకూడదు అయ్యే పనిని ఆఫ్‌లోడ్ చేయడం: ఈమెయిల్‌లు పంపడం, చిత్రాలు/వీడియో ప్రక్రియ చేయడం, నివేదికలు సృష్టించడం, డేటా సమన్వయం చేయడం, లేదా నెమ్మదిగా ఉన్న బాహ్య సేవలను కాల్ చేయడం.

अईలుకు ఇటువంటి పనిని చేయడం వలన వినియోగదారులు ఎదురు చూస్తారు, అభ్యర్థన సమయ-పరిమితులను కోల్పోయే ప్రమాదం ఉంది, మరియు విఫలమైతే పని కోల్పోతారు — అయితే **క్యూ చేయడం** వలన మీరు వెంటనే ప్రతిస్పందించవచ్చు బ్యాకగ్రౌండ్ **వర్కర్** దీన్ని విశ్వసనీయంగా ప్రక్రియ చేస్తుంది.

ఎలాప్ ఆఫ్‌లోడింగ్ కు మించి, క్యూలు క్రిటికల్ ప్రోడక్షన్ ఫీచర్‌లను అందిస్తాయి: **స్వయంచాలక రీట్రైలు బ్యాకఆఫ్‌తో** (అస్థిరమైన వైఫల్యాలకు స్థితిస్థాపకత), **ఆలస్యం మరియు షెడ్యూల్ చేసిన జాబ్‌లు**, **సమకాలికత/రేట్-సीమితం నియంత్రణ**, మరియు **నిలకడ** (Redis-ఆధారిత జాబ్‌లు క్రాష్/పునరారంభాలను జీవించాయి, కాబట్టి పని కోల్పోదు).

వారు కూడా **డికపల్** ప్రోడ్యూసర్‌లను వినియోగదారుల నుండి, స్వతంత్ర స్కేలింగ్‌ను అనుమతిస్తారు.

క్యూలను సెట్ చేయడం, తగిన ఎంపికలతో జాబ్‌లను జోడించడం (రీట్రైలు, ఆలస్యాలు), మరియు వర్కర్‌లలో ప్రక్రియ చేయడం తెలుసుకోవడం నిజ అనువర్తనాలను ఆర్కిటెక్చర్ చేయడానికి విలువైనది భారీ లేదా వాయిదా వేయిన పనిని సుందరంగా నిర్వహించే.

ఇది ప్రోడక్షన్ NestJS సిస్టమ్‌లలో సర్వసాధారణ, ముఖ్యమైన నమూనా మరియు సరళ అభ్యర్థన-ప్రతిస్పందన నిర్వహణకు మించిన ప్రతిస్పందించే, నమ్మదగిన బ్యాక్‌ఎండ్‌లను నిర్మించటకు పరిపక్వ అవగాహనను ప్రతిబింబిస్తుంది.