您如何运行健壮的后台任务（Celery/ARQ）？

Question

Accepted Answer

对于**健壮、持久的后台任务**（超越 FastAPI 的轻量级 `BackgroundTasks`），您使用真正的任务队列：**Celery**（既定标准）或 **ARQ**（现代异步原生队列）。这些在单独的 worker 进程中运行繁重、可重试、计划的工作，由 Redis 等 broker 支持。

## 为什么不仅仅使用 BackgroundTasks?

```text
BackgroundTasks runs in the web process → NO persistence (lost on crash), NO retries,
NO scheduling, and heavy work ties up the worker. Fine only for quick fire-and-forget.
For durable/critical/heavy/scheduled jobs → use a real task queue (Celery / ARQ).
```

## Celery — 定义和排队任务

```python
# tasks.py
from celery import Celery
celery_app = Celery("tasks", broker="redis://localhost:6379")

@celery_app.task(bind=True, max_retries=3)
def process_video(self, video_id: int):
    try:
        do_heavy_processing(video_id)        # runs in a WORKER, not the web process
    except Exception as exc:
        raise self.retry(exc=exc, countdown=60)   # automatic retry on failure
```

```python
# in a FastAPI endpoint — QUEUE the task, return immediately
@app.post("/videos/{id}/process")
def process(id: int):
    process_video.delay(id)                  # enqueue → returns at once (doesn't block)
    return {"status": "processing started"}
# run workers separately: celery -A tasks worker
```

端点将任务入队并立即响应；单独的 **worker** 进程使用持久化和重试来执行它。

## ARQ — 异步原生（适配 FastAPI 的异步模型）

```python
# ARQ is built on asyncio — a natural fit for async FastAPI codebases
async def process_video(ctx, video_id: int):
    await do_async_processing(video_id)

# enqueue from an endpoint
await redis.enqueue_job("process_video", video_id)
```

ARQ 是一个更轻、异步优先的替代方案——当您的代码库已是异步时很有吸引力。

## 真正的任务队列提供什么

```text
✓ Persistence — jobs survive crashes/restarts (stored in the broker)
✓ Retries with backoff — resilience against transient failures
✓ Scheduling — periodic/cron-like jobs (Celery Beat)
✓ Distribution & scaling — workers scale independently of the web servers
✓ Concurrency & rate limiting, task routing/priorities, result tracking
```

## 为什么这很重要

运行健壮的后台任务对于构建能可靠处理繁重或延迟工作的生产级 FastAPI 应用程序至关重要——理解何时以及如何使用真正的任务队列是高级别的重要知识。

核心判断是识别 **`BackgroundTasks` 的限制**（没有持久化、重试或调度——仅对快速、非关键工作可接受）以及在工作必须持久、可重试、计划、繁重或分布式时（处理文件/视频、发送批量电子邮件、数据同步、生成报告）选择 **Celery 或 ARQ**。

这些队列提供关键的生产能力：**持久化**（任务通过 broker 在崩溃中幸存，所以工作不会丢失）、**自动重试**（对瞬时故障的弹性）、**调度**（定期任务），以及 **workers 与 web 服务器的独立扩展**。

了解如何定义和排队任务（Celery 的 `.delay()`、ARQ 的异步原生 API）、架构（broker + workers），特别是**决定何时使用真正的队列与 BackgroundTasks**，对于架构可靠的应用程序很有价值，这些应用程序在不丢失工作的情况下卸载繁重工作——这是一个常见的、重要的需求，区分了健壮的生产系统和脆弱的系统。