আপনি কীভাবে শক্তিশালী ব্যাকগ্রাউন্ড জব চালান (Celery/ARQ)?

Question

Accepted Answer

**শক্তিশালী, টেকসই ব্যাকগ্রাউন্ড জবের** জন্য (FastAPI-এর হালকা `BackgroundTasks`-এর বাইরে), আপনি একটি বাস্তব টাস্ক কিউ ব্যবহার করেন: **Celery** (প্রতিষ্ঠিত মান) বা **ARQ** (একটি আধুনিক async-native কিউ)। এগুলি ভারী, পুনরাবৃত্তিযোগ্য, নির্ধারিত কাজ আলাদা worker প্রক্রিয়ায় চালায়, Redis-এর মতো একটি broker দ্বারা সমর্থিত।

## কেন শুধু BackgroundTasks নয়?

```text
BackgroundTasks runs in the web process → NO persistence (lost on crash), NO retries,
NO scheduling, and heavy work ties up the worker. Fine only for quick fire-and-forget.
For durable/critical/heavy/scheduled jobs → use a real task queue (Celery / ARQ).
```

## Celery — টাস্ক সংজ্ঞায়িত এবং কিউ করুন

```python
# tasks.py
from celery import Celery
celery_app = Celery("tasks", broker="redis://localhost:6379")

@celery_app.task(bind=True, max_retries=3)
def process_video(self, video_id: int):
    try:
        do_heavy_processing(video_id)        # runs in a WORKER, not the web process
    except Exception as exc:
        raise self.retry(exc=exc, countdown=60)   # automatic retry on failure
```

```python
# in a FastAPI endpoint — QUEUE the task, return immediately
@app.post("/videos/{id}/process")
def process(id: int):
    process_video.delay(id)                  # enqueue → returns at once (doesn't block)
    return {"status": "processing started"}
# run workers separately: celery -A tasks worker
```

এন্ডপয়েন্ট জবটি enqueue করে এবং তাৎক্ষণিকভাবে প্রতিক্রিয়া জানায়; একটি আলাদা **worker** প্রক্রিয়া এটি persistence এবং retries সহ কার্যকর করে।

## ARQ — async-native (FastAPI-এর async মডেলের সাথে মানানসই)

```python
# ARQ is built on asyncio — a natural fit for async FastAPI codebases
async def process_video(ctx, video_id: int):
    await do_async_processing(video_id)

# enqueue from an endpoint
await redis.enqueue_job("process_video", video_id)
```

ARQ একটি হালকা, async-first বিকল্প — আকর্ষণীয় যখন আপনার কোডবেস ইতিমধ্যে async।

## একটি বাস্তব টাস্ক কিউ কী প্রদান করে

```text
✓ Persistence — jobs survive crashes/restarts (stored in the broker)
✓ Retries with backoff — resilience against transient failures
✓ Scheduling — periodic/cron-like jobs (Celery Beat)
✓ Distribution & scaling — workers scale independently of the web servers
✓ Concurrency & rate limiting, task routing/priorities, result tracking
```

## কেন এটি গুরুত্বপূর্ণ

শক্তিশালী ব্যাকগ্রাউন্ড জব চালানো উৎপাদন-গ্রেড FastAPI অ্যাপ্লিকেশন তৈরির জন্য অপরিহার্য যা ভারী বা বিলম্বিত কাজ নির্ভরযোগ্যভাবে পরিচালনা করে — এবং কখন এবং কীভাবে একটি বাস্তব টাস্ক কিউ ব্যবহার করতে হয় তা বোঝা গুরুত্বপূর্ণ সিনিয়র-স্তরের জ্ঞান।

মূল বিচার হল **`BackgroundTasks`-এর সীমাবদ্ধতা** (কোন persistence, retries, বা scheduling নেই — শুধুমাত্র দ্রুত, অ-গুরুত্বপূর্ণ কাজের জন্য ঠিক) স্বীকার করা এবং **Celery বা ARQ-তে** পৌঁছানো যখন কাজ টেকসই, পুনরাবৃত্তিযোগ্য, নির্ধারিত, ভারী, বা বিতরণকৃত হতে হবে (ফাইল/ভিডিও প্রক্রিয়াকরণ, বাল্ক ইমেল পাঠানো, ডেটা সিঙ্ক করা, রিপোর্ট তৈরি করা)।

এই কিউগুলি সমালোচনামূলক উৎপাদন সক্ষমতা অফার করে: **persistence** (jbগুলি broker এর মাধ্যমে ক্র্যাশে টিকে থাকে, তাই কাজ হারিয়ে যায় না), **স্বয়ংক্রিয় retries** (ক্ষণস্থায়ী ব্যর্থতার বিরুদ্ধে স্থিতিস্থাপকতা), **scheduling** (পর্যায়ক্রমিক জব), এবং **workers এবং web সার্ভারগুলির স্বাধীন স্কেলিং**।

টাস্ক সংজ্ঞায়িত এবং enqueue করা (Celery-এর `.delay()`, ARQ-এর async-native API), আর্কিটেকচার (broker + workers), এবং বিশেষ করে **একটি বাস্তব কিউ বনাম BackgroundTasks-ব্যবহার করার সিদ্ধান্ত** জানা মূল্যবান নির্ভরযোগ্য অ্যাপ্লিকেশন আর্কিটেক্ট করার জন্য যা ভারী কাজ অফলোড করে সেগুলি হারানো ছাড়াই — একটি সাধারণ, গুরুত্বপূর্ণ প্রয়োজনীয়তা যা শক্তিশালী উৎপাদন সিস্টেমকে ভঙ্গুর সিস্টেম থেকে আলাদা করে।