Celeryでバックグラウンドタスクを実行するにはどうしますか?

Question

Accepted Answer

**Celery**は、Django内でバックグラウンドタスクと定期的に実行するタスクを実行するための標準ツール — HTTPリクエストをブロックしてはいけない作業（メール送信、ファイル処理、遅いAPIの呼び出し）や、スケジュールに従って実行する作業のためのものです。タスクはキューイングされ、別の**worker**プロセスによって非同期に処理されます。

## Celeryが解決する問題

```python
# ❌ doing slow work inline blocks the response — the user waits, risks timeouts
def register(request):
    user = create_user(request.POST)
    send_welcome_email(user)           # slow — the user waits for the email to send
    generate_report(user)               # even slower
    return redirect("home")             # finally responds after all that
```

遅い作業をインラインで実行するとユーザーの待機時間が増え、リクエストタイムアウトのリスクが生じます。Celeryはそれをバックグラウンドworkerにオフロードするため、リクエストはすぐに返されます。

## Celeryタスクの定義と呼び出し

```python
# tasks.py — define a task
from celery import shared_task

@shared_task
def send_welcome_email(user_id):
    user = User.objects.get(id=user_id)
    send_email(user.email, "Welcome!")    # runs in a WORKER, not the web process

# in a view — QUEUE the task instead of running it inline
def register(request):
    user = create_user(request.POST)
    send_welcome_email.delay(user.id)     # .delay() queues it → returns IMMEDIATELY
    return redirect("home")                # user gets a fast response
```

`@shared_task`デコレータはタスクを定義し、`.delay()`（または`.apply_async()`）はworkerが非同期に処理するためのキューに入れます — ビューは待機しません。

## アーキテクチャ

```text
Django (web) --.delay()--> BROKER (Redis/RabbitMQ) --> CELERY WORKER (processes the task)
                              (the message queue)         (separate process/machine)
```

```text
Components:
  ✓ Broker (Redis or RabbitMQ) — holds the queue of pending tasks
  ✓ Celery worker(s) — separate processes that pull and execute tasks
  ✓ Result backend (optional) — stores task results/status
Run workers separately: `celery -A myproject worker`
```

## 定期的なタスク（Celery Beat）

```python
# run tasks on a schedule (like cron) via Celery Beat
CELERY_BEAT_SCHEDULE = {
    "daily-report": {
        "task": "myapp.tasks.generate_daily_report",
        "schedule": crontab(hour=0, minute=0),     # every midnight
    },
}
```

## 信頼性機能

```python
@shared_task(bind=True, max_retries=3, default_retry_delay=60)
def sync_data(self):
    try:
        do_sync()
    except Exception as exc:
        raise self.retry(exc=exc)             # automatic retries on failure
```

```text
✓ Retries with backoff (resilience against transient failures)
✓ Task persistence (queued tasks survive restarts via the broker)
✓ Scheduling (Celery Beat — periodic/cron-like tasks)
✓ Rate limiting, concurrency control, task routing/priorities
✓ Workers scale independently of web servers
```

## なぜ重要なのか

Celeryを使用したバックグラウンドタスク処理は、多くの実際の必要性がリクエスト中にインラインで発生してはいけない作業を必要とするため、応答性が高くスケーラブルなDjangoアプリケーションを構築するための本質的な知識です。

これが重要な理由は、中核的な問題 — メール送信、画像/ファイル処理、レポート生成、遅い外部API呼び出し、データ同期など、リクエスト-レスポンスサイクルから遅い、または遅延した作業をオフロードする必要性 — が本番アプリケーションに遍在しているからです。

そのような作業をインラインで行うとユーザーは待つことになり、リクエストタイムアウトのリスクがあり、失敗すると作業が失われますが、一方**Celery**はユーザーにすぐに応答を返しながら、別の**worker**が作業を非同期かつ確実に処理することができます。

単純な非同期オフロード以外にも、Celeryは重要な本番機能を提供しています：**定期的なタスク**（Celery Beatによる、cronをアプリケーションレベルのスケジューリング — 日次レポート、クリーンアップジョブ、定期的な同期に置き換え）、**バックオフを伴う自動リトライ**（一時的な障害に対する耐性）、**タスクの永続化**（キューイングされたタスクはbrokerを通じて再起動後も存続し、作業が失われない）、およびwebサーバーからのworkerの**独立したスケーリング**。

broker（Redis/RabbitMQなど）がキューを保持し、workerがタスクを処理し、結果backendの存在するアーキテクチャ（@shared_task、`.delay()`）、定期的な作業のスケジューリング、信頼性機能の設定方法を理解することは、重い作業や遅延作業を優雅に処理する本番Djangoシステムを構築するための貴重なシニアレベルの知識です。

バックグラウンド処理は応答性の高いロバストなアプリケーションにとって一般的で重要な要件であり、Celeryはdjangoエコシステムのde facto標準ソリューション — であるため、それをマスターすることは、単純な同期リクエストハンドリングを超えた実際のDjangoアプリケーションを構築する能力を反映した、実用的で頻繁に関連するスキルです。