你如何使用 Celery 运行后台任务？

Question

Accepted Answer

**Celery** 是在 Django 中运行**后台和定时任务**的标准工具——这是不应该阻塞 HTTP 请求的工作（发送电子邮件、处理文件、调用缓慢的 API）或在计划上运行的工作。任务被放入队列，由单独的**worker**进程异步处理。

## Celery 解决的问题

```python
# ❌ doing slow work inline blocks the response — the user waits, risks timeouts
def register(request):
    user = create_user(request.POST)
    send_welcome_email(user)           # slow — the user waits for the email to send
    generate_report(user)               # even slower
    return redirect("home")             # finally responds after all that
```

内联执行缓慢的工作会让用户等待，并有请求超时的风险。Celery 将其卸载到后台 worker，以便请求立即返回。

## 定义和调用 Celery 任务

```python
# tasks.py — define a task
from celery import shared_task

@shared_task
def send_welcome_email(user_id):
    user = User.objects.get(id=user_id)
    send_email(user.email, "Welcome!")    # runs in a WORKER, not the web process

# in a view — QUEUE the task instead of running it inline
def register(request):
    user = create_user(request.POST)
    send_welcome_email.delay(user.id)     # .delay() queues it → returns IMMEDIATELY
    return redirect("home")                # user gets a fast response
```

`@shared_task` 装饰器定义一个任务；`.delay()`（或 `.apply_async()`）将其放入队列供 worker 异步处理——视图不需要等待。

## 架构

```text
Django (web) --.delay()--> BROKER (Redis/RabbitMQ) --> CELERY WORKER (processes the task)
                              (the message queue)         (separate process/machine)
```

```text
Components:
  ✓ Broker (Redis or RabbitMQ) — holds the queue of pending tasks
  ✓ Celery worker(s) — separate processes that pull and execute tasks
  ✓ Result backend (optional) — stores task results/status
Run workers separately: `celery -A myproject worker`
```

## 定时 / 周期性任务（Celery Beat）

```python
# run tasks on a schedule (like cron) via Celery Beat
CELERY_BEAT_SCHEDULE = {
    "daily-report": {
        "task": "myapp.tasks.generate_daily_report",
        "schedule": crontab(hour=0, minute=0),     # every midnight
    },
}
```

## 可靠性功能

```python
@shared_task(bind=True, max_retries=3, default_retry_delay=60)
def sync_data(self):
    try:
        do_sync()
    except Exception as exc:
        raise self.retry(exc=exc)             # automatic retries on failure
```

```text
✓ Retries with backoff (resilience against transient failures)
✓ Task persistence (queued tasks survive restarts via the broker)
✓ Scheduling (Celery Beat — periodic/cron-like tasks)
✓ Rate limiting, concurrency control, task routing/priorities
✓ Workers scale independently of web servers
```

## 为什么这很重要

Celery 后台任务处理是构建响应式、可扩展 Django 应用的必要知识，因为许多现实需求要求工作不应该在请求期间内联进行。

理解这一点很重要，因为核心问题——将缓慢或延迟的工作（发送电子邮件、处理图像/文件、生成报告、调用缓慢的外部 API、数据同步）从请求-响应周期中卸载——在生产应用中是普遍存在的。

内联执行此类工作会让用户等待、冒请求超时的风险、并在失败时丢失工作，而 **Celery** 允许你立即响应用户，同时单独的 **worker** 异步且可靠地处理工作。

除了简单的异步卸载，Celery 还提供关键的生产功能：**定时/周期性任务**（通过 Celery Beat，替代 cron 用于应用级调度——每日报告、清理作业、定期同步）、**带退避的自动重试**（对临时故障的弹性）、**任务持久性**（通过 broker 队列的任务在重启后存活，所以工作不会丢失）和**worker 与 web 服务器的独立扩展**。

理解 Celery 的架构（如 Redis/RabbitMQ 等 broker 持有队列、worker 处理任务、结果后端）、如何定义和队列任务（`@shared_task`、`.delay()`）、调度周期性工作、以及配置可靠性功能，是构建处理繁重或延迟工作的生产 Django 系统的有价值的高级知识。

因为后台处理是响应式、健壮应用的常见、重要需求——而 Celery 是 Django 生态中的实际标准解决方案——掌握它是一项实用的、频繁相关的技能，反映了超越简单同步请求处理来架构现实世界 Django 应用的能力。