Kaip paleisti patikimas fono užduotis (Celery/ARQ)?

Question

Accepted Answer

**Patikimoms, ilgalaikėms fono užduotims** (už FastAPI lengvo `BackgroundTasks`), naudojate tikrą užduočių eilę: **Celery** (nustatyta standartas) arba **ARQ** (šiuolaikinė async-native eilė). Šios vykdo sunkius, galimus kartoti, suplanuotus darbus atskiruose darbininkų procesuose, palaikomuose brokerio, tokio kaip Redis, pagrindu.

## Kodėl tai svarbu

```text
BackgroundTasks runs in the web process → NO persistence (lost on crash), NO retries,
NO scheduling, and heavy work ties up the worker. Fine only for quick fire-and-forget.
For durable/critical/heavy/scheduled jobs → use a real task queue (Celery / ARQ).
```

## Celery — apibrėžti ir eilėje pastatyti užduotis

```python
# tasks.py
from celery import Celery
celery_app = Celery("tasks", broker="redis://localhost:6379")

@celery_app.task(bind=True, max_retries=3)
def process_video(self, video_id: int):
    try:
        do_heavy_processing(video_id)        # runs in a WORKER, not the web process
    except Exception as exc:
        raise self.retry(exc=exc, countdown=60)   # automatic retry on failure
```

```python
# in a FastAPI endpoint — QUEUE the task, return immediately
@app.post("/videos/{id}/process")
def process(id: int):
    process_video.delay(id)                  # enqueue → returns at once (doesn't block)
    return {"status": "processing started"}
# run workers separately: celery -A tasks worker
```

Galinys įtraukia darbą į eilę ir nedelsdamas atsako; atskiras **darbininkas** procesas jį vykdo su nutrauktinumu ir pakartojimais.

## ARQ — async-native (tinka FastAPI async modeliui)

```python
# ARQ is built on asyncio — a natural fit for async FastAPI codebases
async def process_video(ctx, video_id: int):
    await do_async_processing(video_id)

# enqueue from an endpoint
await redis.enqueue_job("process_video", video_id)
```

ARQ yra lengvesnė, async-pirmiausia alternatyva — patraukli, kai jūsų kodas jau yra async.

## Ką suteikia tikra užduočių eilė

```text
✓ Persistence — jobs survive crashes/restarts (stored in the broker)
✓ Retries with backoff — resilience against transient failures
✓ Scheduling — periodic/cron-like jobs (Celery Beat)
✓ Distribution & scaling — workers scale independently of the web servers
✓ Concurrency & rate limiting, task routing/priorities, result tracking
```

## Kodėl tai svarbu

Patikimų fono užduočių vykdymas yra būtinas kuriant gamybos lygio FastAPI programas, kurios patikimai tvarko sunkius arba atidėtus darbus — ir supratimas, kada ir kaip naudoti tikrą užduočių eilę, yra svarbus aukštesnio lygio žinias.

Pagrindinis sprendimas yra **`BackgroundTasks` apribojimų** pripažinimas (nėra nutrauktinumo, pakartojimų ar planavimo — tinka tik greitiems, nekritiniams darbams) ir **Celery arba ARQ** pasirinkimas, kai darbas turi būti nutrauktas, kartojamas, planuojamas, sunkus arba platinamas (failų/vaizdo apdorojimas, masinė el. pašto siuntimas, duomenų sinchronizavimas, ataskaitų generavimas).

Šios eilės suteikia kritines gamybos galimybes: **nutrauktinumas** (užduotys išgyvena žlugimus per brokerį, todėl darbas neprarandamas), **automatiniai pakartojmai** (atsparumas laikinosioms nesėkmėms), **planavimas** (periodinės užduotys) ir **darbininkų nepriklausomas mastelis** iš žiniatinklio serverių.

Žinoti, kaip apibrėžti ir eilėje pastatyti užduotis (Celery `.delay()`, ARQ async-native API), architektūra (brokeris + darbininkai) ir ypač **sprendimas, kada naudoti tikrą eilę palyginti su `BackgroundTasks`**, yra brangus patikimų programų architektūrai, kurios iš sunkaus darbo netrūksta — bendras, svarbus reikalavimas, kuris išskiria patikimas gamybos sistemas iš trapių.