Celery로 백그라운드 작업을 어떻게 실행하나요?

Question

Accepted Answer

**Celery**는 Django에서 **백그라운드 및 예약 작업**을 실행하는 표준 도구입니다—HTTP 요청을 차단해서는 안 되는 작업(이메일 전송, 파일 처리, 느린 API 호출)이나 일정에 따라 실행되는 작업입니다. 작업은 큐에 들어가 별도의 **워커** 프로세스에 의해 비동기로 처리됩니다.

## Celery가 해결하는 문제

```python
# ❌ 느린 작업을 인라인으로 하면 응답을 차단 — 사용자가 기다리고 타임아웃 위험
def register(request):
    user = create_user(request.POST)
    send_welcome_email(user)           # 느림 — 사용자가 이메일 전송을 기다림
    generate_report(user)               # 더 느림
    return redirect("home")             # 그 모든 후에야 응답
```

느린 작업을 인라인으로 하면 사용자가 기다리고 요청 타임아웃 위험이 있습니다. Celery는 이를 백그라운드 워커에 떠넘겨 요청이 즉시 반환되게 합니다.

## Celery 작업 정의와 호출

```python
# tasks.py — 작업 정의
from celery import shared_task

@shared_task
def send_welcome_email(user_id):
    user = User.objects.get(id=user_id)
    send_email(user.email, "Welcome!")    # 웹 프로세스가 아닌 WORKER에서 실행

# view에서 — 인라인 실행 대신 작업을 큐에 넣음
def register(request):
    user = create_user(request.POST)
    send_welcome_email.delay(user.id)     # .delay()가 큐에 넣음 → 즉시 반환
    return redirect("home")                # 사용자가 빠른 응답을 받음
```

`@shared_task` 데코레이터는 작업을 정의하고, `.delay()`(또는 `.apply_async()`)는 워커가 비동기로 처리하도록 큐에 넣습니다—view는 기다리지 않습니다.

## 아키텍처

```text
Django(웹) --.delay()--> BROKER(Redis/RabbitMQ) --> CELERY WORKER(작업 처리)
                              (메시지 큐)              (별도 프로세스/머신)
```

```text
구성 요소:
  ✓ Broker(Redis 또는 RabbitMQ) — 대기 중인 작업의 큐를 보유
  ✓ Celery 워커 — 작업을 가져와 실행하는 별도 프로세스
  ✓ 결과 백엔드(선택) — 작업 결과/상태 저장
워커를 별도로 실행: `celery -A myproject worker`
```

## 예약/주기 작업(Celery Beat)

```python
# Celery Beat를 통해 일정에 따라 작업 실행(cron처럼)
CELERY_BEAT_SCHEDULE = {
    "daily-report": {
        "task": "myapp.tasks.generate_daily_report",
        "schedule": crontab(hour=0, minute=0),     # 매 자정
    },
}
```

## 신뢰성 기능

```python
@shared_task(bind=True, max_retries=3, default_retry_delay=60)
def sync_data(self):
    try:
        do_sync()
    except Exception as exc:
        raise self.retry(exc=exc)             # 실패 시 자동 재시도
```

```text
✓ 백오프가 있는 재시도(일시적 실패에 대한 복원력)
✓ 작업 영속성(큐에 든 작업이 broker를 통해 재시작에서 살아남음)
✓ 예약(Celery Beat — 주기적/cron 같은 작업)
✓ 속도 제한, 동시성 제어, 작업 라우팅/우선순위
✓ 워커가 웹 서버와 독립적으로 확장
```

## 왜 중요한가

Celery를 사용한 백그라운드 작업 처리는 응답성 좋고 확장 가능한 Django 애플리케이션을 구축하는 데 필수적인 지식입니다. 많은 실세계 요구가 요청 중에 인라인으로 일어나서는 안 되는 작업을 필요로 하기 때문입니다.

이를 이해하는 것이 중요한 이유는 핵심 문제—요청-응답 주기에서 느리거나 지연된 작업(이메일 전송, 이미지/파일 처리, 보고서 생성, 느린 외부 API 호출, 데이터 동기화)을 떠넘기는 것—가 production 애플리케이션에서 어디에나 있기 때문입니다.

그런 작업을 인라인으로 하면 사용자가 기다리고, 요청 타임아웃 위험이 있으며, 실패하면 작업을 잃습니다. 반면 **Celery**는 사용자에게 즉시 응답하면서 별도의 **워커**가 작업을 비동기로 안정적으로 처리하게 합니다.

단순한 비동기 떠넘기기를 넘어, Celery는 중요한 production 역량을 제공합니다: **예약/주기 작업**(Celery Beat를 통해, 애플리케이션 수준 예약에서 cron을 대체—일일 보고서, 정리 작업, 반복 동기화), **백오프가 있는 자동 재시도**(일시적 실패에 대한 복원력), **작업 영속성**(큐에 든 작업이 broker를 통해 재시작에서 살아남아 작업을 잃지 않음), 워커의 웹 서버로부터의 **독립적 확장**.

Celery의 아키텍처(큐를 보유하는 Redis/RabbitMQ 같은 broker, 작업을 처리하는 워커, 결과 백엔드), 작업을 정의하고 큐에 넣는 방법(`@shared_task`, `.delay()`), 주기 작업을 예약하는 방법, 신뢰성 기능을 구성하는 방법을 이해하는 것은 무겁거나 지연된 작업을 우아하게 처리하는 production Django 시스템을 구축하기 위한 가치 있는 시니어 수준 지식입니다.

백그라운드 처리는 응답성 좋고 견고한 애플리케이션을 위한 흔하고 중요한 요구사항이며, Celery는 Django 생태계의 사실상의 표준 솔루션이므로, 이를 숙달하는 것은 단순한 동기 요청 처리를 넘어 실세계 Django 애플리케이션을 설계하는 능력을 반영하는 실용적이고 자주 관련되는 기술입니다.