আপনি Celery দিয়ে কিভাবে ব্যাকগ্রাউন্ড টাস্ক চালান?

Question

Accepted Answer

**Celery** হল Django-এ **ব্যাকগ্রাউন্ড এবং নির্ধারিত কাজ** চালানোর জন্য মান সরঞ্জাম — এমন কাজ যা HTTP অনুরোধকে ব্লক করা উচিত নয় (ইমেল পাঠানো, ফাইল প্রসেস করা, ধীর API কল করা) অথবা যা একটি সময়সূচীতে চলে। কাজগুলি সারিবদ্ধ হয় এবং আলাদা **worker** প্রক্রিয়াগুলি দ্বারা অ্যাসিঙ্ক্রোনাসভাবে প্রক্রিয়া করা হয়।

## সমস্যা যা Celery সমাধান করে

```python
# ❌ doing slow work inline blocks the response — the user waits, risks timeouts
def register(request):
    user = create_user(request.POST)
    send_welcome_email(user)           # slow — the user waits for the email to send
    generate_report(user)               # even slower
    return redirect("home")             # finally responds after all that
```

ইনলাইনে ধীর কাজ করা ব্যবহারকারীদের অপেক্ষা করতে বাধ্য করে এবং অনুরোধ টাইমআউটের ঝুঁকি রাখে। Celery এটি ব্যাকগ্রাউন্ড worker-এ বহিঃস্থাপন করে যাতে অনুরোধ অবিলম্বে ফেরত আসে।

## একটি Celery টাস্ক সংজ্ঞায়িত এবং কল করা

```python
# tasks.py — define a task
from celery import shared_task

@shared_task
def send_welcome_email(user_id):
    user = User.objects.get(id=user_id)
    send_email(user.email, "Welcome!")    # runs in a WORKER, not the web process

# in a view — QUEUE the task instead of running it inline
def register(request):
    user = create_user(request.POST)
    send_welcome_email.delay(user.id)     # .delay() queues it → returns IMMEDIATELY
    return redirect("home")                # user gets a fast response
```

`@shared_task` ডেকোরেটর একটি টাস্ক সংজ্ঞায়িত করে; `.delay()` (বা `.apply_async()`) এটি worker দ্বারা অ্যাসিঙ্ক্রোনাসভাবে প্রক্রিয়া করার জন্য সারিবদ্ধ করে — ভিউটি অপেক্ষা করে না।

## আর্কিটেকচার

```text
Django (web) --.delay()--> BROKER (Redis/RabbitMQ) --> CELERY WORKER (processes the task)
                              (the message queue)         (separate process/machine)
```

```text
Components:
  ✓ Broker (Redis or RabbitMQ) — holds the queue of pending tasks
  ✓ Celery worker(s) — separate processes that pull and execute tasks
  ✓ Result backend (optional) — stores task results/status
Run workers separately: `celery -A myproject worker`
```

## নির্ধারিত / পর্যায়ক্রমিক টাস্ক (Celery Beat)

```python
# run tasks on a schedule (like cron) via Celery Beat
CELERY_BEAT_SCHEDULE = {
    "daily-report": {
        "task": "myapp.tasks.generate_daily_report",
        "schedule": crontab(hour=0, minute=0),     # every midnight
    },
}
```

## নির্ভরযোগ্যতা বৈশিষ্ট্য

```python
@shared_task(bind=True, max_retries=3, default_retry_delay=60)
def sync_data(self):
    try:
        do_sync()
    except Exception as exc:
        raise self.retry(exc=exc)             # automatic retries on failure
```

```text
✓ Retries with backoff (resilience against transient failures)
✓ Task persistence (queued tasks survive restarts via the broker)
✓ Scheduling (Celery Beat — periodic/cron-like tasks)
✓ Rate limiting, concurrency control, task routing/priorities
✓ Workers scale independently of web servers
```

## কেন এটি গুরুত্বপূর্ণ

Celery সহ ব্যাকগ্রাউন্ড টাস্ক প্রসেসিং প্রতিক্রিয়াশীল, স্কেলেবল Django অ্যাপ্লিকেশন তৈরির জন্য অপরিহার্য জ্ঞান, কারণ অনেক বাস্তব-বিশ্বের চাহিদার জন্য এমন কাজ প্রয়োজন যা অনুরোধের সময় ইনলাইনে ঘটা উচিত নয়।

এটি বোঝা গুরুত্বপূর্ণ কারণ মূল সমস্যা — ধীর বা স্থগিত কাজ (ইমেল পাঠানো, ছবি/ফাইল প্রসেস করা, রিপোর্ট তৈরি করা, ধীর বাহ্যিক API কল করা, ডেটা সিঙ্ক করা) অনুরোধ-প্রতিক্রিয়া চক্র থেকে বহিঃস্থাপন করা — উৎপাদন অ্যাপ্লিকেশনে সর্বব্যাপী।

ইনলাইনে এই ধরনের কাজ করা ব্যবহারকারীদের অপেক্ষা করতে বাধ্য করে, অনুরোধ টাইমআউটের ঝুঁকি রাখে এবং ব্যর্থ হলে কাজটি হারায়, যেখানে **Celery** আপনাকে অবিলম্বে ব্যবহারকারীদের প্রতিক্রিয়া জানাতে দেয় যখন আলাদা **worker** অ্যাসিঙ্ক্রোনাসভাবে এবং নির্ভরযোগ্যভাবে কাজ প্রক্রিয়া করে।

সাধারণ অ্যাসিঙ্ক বহিঃস্থাপনের বাইরে, Celery গুরুত্বপূর্ণ উৎপাদন ক্ষমতা প্রদান করে: **নির্ধারিত/পর্যায়ক্রমিক কাজ** (Celery Beat এর মাধ্যমে, cron এর প্রতিস্থাপন অ্যাপ্লিকেশন-স্তরের সময়সূচীর জন্য — দৈনিক রিপোর্ট, পরিষ্কার কাজ, পুনরাবৃত্ত সিঙ্ক), **স্বয়ংক্রিয় রিট্রাই ব্যাকঅফ সহ** (অস্থায়ী ব্যর্থতার বিরুদ্ধে স্থিতিস্থাপকতা), **কাজ স্থায়িত্ব** (সারিবদ্ধ কাজ ব্রোকারের মাধ্যমে পুনরায় চালুকরণ সহ্য করে, তাই কাজ হারায় না), এবং **স্বাধীন স্কেলিং** ওয়েব সার্ভার থেকে worker।

Celery এর আর্কিটেকচার বোঝা (Redis/RabbitMQ এর মতো ব্রোকার সারি ধারণ করে, worker কাজ প্রক্রিয়া করে, ফলাফল ব্যাকএন্ড), কিভাবে কাজ সংজ্ঞায়িত এবং সারিবদ্ধ করতে হয় (`@shared_task`, `.delay()`), পর্যায়ক্রমিক কাজ সময়সূচী করতে হয়, এবং নির্ভরযোগ্যতা বৈশিষ্ট্য কনফিগার করতে হয় হল উৎপাদন Django সিস্টেম তৈরির জন্য মূল্যবান সিনিয়র-স্তরের জ্ঞান যা ভারী বা স্থগিত কাজকে সুন্দরভাবে পরিচালনা করে।

কারণ ব্যাকগ্রাউন্ড প্রক্রিয়াকরণ হল প্রতিক্রিয়াশীল, শক্ত অ্যাপ্লিকেশনের জন্য একটি সাধারণ, গুরুত্বপূর্ণ প্রয়োজনীয়তা — এবং Celery হল Django ইকোসিস্টেমে বাস্তব মান সমাধান — এটি আয়ত্ত করা একটি ব্যবহারিক, বারবার প্রাসঙ্গিক দক্ষতা যা সাধারণ সিঙ্ক্রোনাস অনুরোধ হ্যান্ডলিংয়ের বাইরে বাস্তব-বিশ্বের Django অ্যাপ্লিকেশন স্থাপত্য করার ক্ষমতা প্রতিফলিত করে।