Πώς εκτελείς background tasks με Celery;

Question

Accepted Answer

Το **Celery** είναι το standard εργαλείο για την εκτέλεση **background και scheduled tasks** στο Django — δουλειά που δεν θα πρέπει να μπλοκάρει το HTTP request (αποστολή emails, επεξεργασία αρχείων, κλήση slow APIs) ή που εκτελείται σε χρονοδιάγραμμα. Τα tasks τοποθετούνται σε ουρά και επεξεργάζονται ασύγχρονα από ξεχωριστές διεργασίες **worker**.

## Το πρόβλημα που λύνει το Celery

```python
# ❌ doing slow work inline blocks the response — the user waits, risks timeouts
def register(request):
    user = create_user(request.POST)
    send_welcome_email(user)           # slow — the user waits for the email to send
    generate_report(user)               # even slower
    return redirect("home")             # finally responds after all that
```

Η εκτέλεση slow δουλειάς inline κάνει τους χρήστες να περιμένουν και κινδυνεύει request timeouts. Το Celery την μετακινεί σε background workers ώστε το request να επιστρέψει αμέσως.

## Ορισμός και κλήση ενός Celery task

```python
# tasks.py — define a task
from celery import shared_task

@shared_task
def send_welcome_email(user_id):
    user = User.objects.get(id=user_id)
    send_email(user.email, "Welcome!")    # runs in a WORKER, not the web process

# in a view — QUEUE the task instead of running it inline
def register(request):
    user = create_user(request.POST)
    send_welcome_email.delay(user.id)     # .delay() queues it → returns IMMEDIATELY
    return redirect("home")                # user gets a fast response
```

Ο decorator `@shared_task` ορίζει ένα task. Το `.delay()` (ή `.apply_async()`) το τοποθετεί σε ουρά για ένα worker να το επεξεργαστεί ασύγχρονα — το view δεν περιμένει.

## Η αρχιτεκτονική

```text
Django (web) --.delay()--> BROKER (Redis/RabbitMQ) --> CELERY WORKER (processes the task)
                              (the message queue)         (separate process/machine)
```

```text
Components:
  ✓ Broker (Redis or RabbitMQ) — holds the queue of pending tasks
  ✓ Celery worker(s) — separate processes that pull and execute tasks
  ✓ Result backend (optional) — stores task results/status
Run workers separately: `celery -A myproject worker`
```

## Scheduled / periodic tasks (Celery Beat)

```python
# run tasks on a schedule (like cron) via Celery Beat
CELERY_BEAT_SCHEDULE = {
    "daily-report": {
        "task": "myapp.tasks.generate_daily_report",
        "schedule": crontab(hour=0, minute=0),     # every midnight
    },
}
```

## Reliability features

```python
@shared_task(bind=True, max_retries=3, default_retry_delay=60)
def sync_data(self):
    try:
        do_sync()
    except Exception as exc:
        raise self.retry(exc=exc)             # automatic retries on failure
```

```text
✓ Retries with backoff (resilience against transient failures)
✓ Task persistence (queued tasks survive restarts via the broker)
✓ Scheduling (Celery Beat — periodic/cron-like tasks)
✓ Rate limiting, concurrency control, task routing/priorities
✓ Workers scale independently of web servers
```

## Γιατί έχει σημασία

Η επεξεργασία background tasks με Celery είναι απαραίτητη γνώση για την κατασκευή ανταποκρινόμενων, scalable Django εφαρμογών, αφού πολλές πραγματικές ανάγκες απαιτούν δουλειά που δεν θα πρέπει να συμβεί inline κατά τη διάρκεια ενός request.

Η κατανόησή της είναι σημαντική επειδή το κύριο πρόβλημα — η μετακίνηση slow ή deferred δουλειάς (αποστολή emails, επεξεργασία εικόνων/αρχείων, δημιουργία αναφορών, κλήση slow εξωτερικών APIs, συγχρονισμός δεδομένων) από τον κύκλο request-response — είναι κοινό σε production εφαρμογές.

Η εκτέλεση τέτοιας δουλειάς inline κάνει τους χρήστες να περιμένουν, κινδυνεύει request timeouts, και χάνει τη δουλειά αν αποτύχει, ενώ το **Celery** σας επιτρέπει να ανταποκριθείτε στον χρήστη αμέσως ενώ ξεχωριστές διεργασίες **workers** επεξεργάζονται τη δουλειά ασύγχρονα και αξιόπιστα.

Πέρα από το απλό async offloading, το Celery παρέχει κρίσιμες production δυνατότητες: **scheduled/periodic tasks** (μέσω Celery Beat, αντικατάσταση του cron για scheduling σε επίπεδο εφαρμογής — ημερήσιες αναφορές, cleanup jobs, επαναλαμβανόμενοι συγχρονισμοί), **αυτόματες retries με backoff** (ανθεκτικότητα απέναντι σε παροδικές αποτυχίες), **task persistence** (tasks σε ουρά επιβιώνουν restarts μέσω του broker, οπότε δεν χάνεται η δουλειά), και **ανεξάρτητη scaling** των workers από web servers.

Η κατανόηση της αρχιτεκτονικής του Celery (ο broker όπως Redis/RabbitMQ που κρατά την ουρά, workers που επεξεργάζονται tasks, το result backend), πώς να ορίσετε και να τοποθετήσετε tasks σε ουρά (`@shared_task`, `.delay()`), να χρονοδιαγραμματίσετε περιοδική δουλειά, και να διαμορφώσετε reliability features είναι πολύτιμη γνώση σε senior επίπεδο για την κατασκευή production Django συστημάτων που χειρίζονται heavy ή deferred δουλειά με επιτυχία.

Επειδή η background processing είναι μια κοινή, σημαντική απαίτηση για ανταποκρινόμενες, robust εφαρμογές — και το Celery είναι η de facto standard λύση στο Django ecosystem — η κατάκτησή του είναι ένα πρακτικό, συχνά σχετικό skill που αντικατοπτρίζει την ικανότητα να αρχιτεκτονικεύσετε πραγματικές Django εφαρμογές πέρα από απλό synchronous request handling.