Co to jest pipeline agregacji?

Question

Accepted Answer

**Pipeline agregacji** to potężne narzędzie MongoDB do **przetwarzania i analizy danych** — przekazuje dokumenty przez sekwencję **etapów**, z których każdy transformuje dane (filtrowanie, grupowanie, obliczenia). To odpowiednik SQL'owego GROUP BY i złożonych zapytań analitycznych, ale bardziej elastyczny.

## Koncepcja pipeline'u: etapy transformują dane

```js
db.orders.aggregate([
  { $match: { status: "completed" } },          // 1. FILTER (like WHERE)
  { $group: {                                    // 2. GROUP and aggregate
      _id: "$customerId",                         //    group by customerId
      total: { $sum: "$amount" },                 //    sum amounts per customer
      count: { $sum: 1 }                          //    count orders
  }},
  { $sort: { total: -1 } },                       // 3. SORT by total
  { $limit: 10 }                                  // 4. top 10
]);
// documents flow through each stage; each stage's output feeds the next
```

Dokumenty przepływają przez etapy w kolejności — każdy etap je transformuje i przekazuje wyniki do następnego. Ten pipeline oblicza sumy dla każdego klienta, sortuje je, wybiera top 10 — jak zapytanie SQL GROUP BY.

## Popularne etapy pipeline'u

```text
$match    → filter documents (like WHERE) — put EARLY to reduce data
$group    → group by a key and aggregate ($sum, $avg, $max, $min, $push, etc.)
$sort     → order documents
$project  → reshape documents (include/exclude/compute fields)
$limit / $skip → pagination
$unwind   → deconstruct an array field into multiple documents (one per element)
$lookup   → JOIN with another collection
$addFields → add computed fields
$count    → count documents
```

## $lookup — łączenie kolekcji

```js
// $lookup performs a left-outer JOIN to another collection
db.orders.aggregate([
  { $lookup: {
      from: "customers",
      localField: "customerId",
      foreignField: "_id",
      as: "customer"           // joined customer data added as an array field
  }}
]);
```

`$lookup` umożliwia łączenia (których MongoDB generalnie unika poprzez zagnieżdżanie) — przydatne, gdy trzeba połączyć kolekcje.

## $unwind — rozwijanie tablic

```js
// turn one document with an array into multiple documents (one per array element)
db.posts.aggregate([
  { $unwind: "$tags" },                           // one doc per tag
  { $group: { _id: "$tags", count: { $sum: 1 } } } // count posts per tag
]);
```

## Dlaczego to ważne

Pipeline agregacji to jedna z najpotężniejszych i najważniejszych funkcji MongoDB — to główne narzędzie do **analizy danych, raportowania i złożonych transformacji**, dlatego jego zrozumienie jest niezbędne do poważnej pracy z MongoDB wykraczającej poza podstawowe zapytania.

**Model oparty na etapach** pipeline'u (dokumenty przepływające przez sekwencyjne etapy transformacji, każdy filtrujący, grupujący, przeształcający lub obliczający) jest koncepcyjnie elegancki i umożliwia zaawansowane przetwarzanie danych, którego nie mogą wykonać proste zapytania `find` — to odpowiednik SQL'owych GROUP BY i zapytań analitycznych, ale bardziej elastyczny i możliwy do łączenia.

Zrozumienie popularnych etapów — **`$match`** (filtrowanie, idealnie wcześnie, by zmniejszyć dane), **`$group`** (grupowanie i agregacja z `$sum`, `$avg` itd. — jądro analityki), **`$sort`/`$limit`** (sortowanie i paginacja), **`$project`** (przeształcanie dokumentów), **`$unwind`** (rozwijanie tablic w dokumenty — ważne do analizy danych tablicowych, częste w MongoDB) i **`$lookup`** (łączenie kolekcji — umożliwia łączenia, których MongoDB inaczej unika) — obejmuje zestaw narzędzi do rzeczywistego przetwarzania danych.

Pipeline obsługuje raportowanie, analitykę, transformację danych i złożone zapytania (agregacje, łączenia, przetwarzanie tablic), które są powszechnymi potrzebami aplikacji.

Ponieważ analiza danych i złożone zapytania są istotnymi zastosowaniami każdej bazy danych, a pipeline agregacji jest potężnym, elastycznym mechanizmem MongoDB do ich realizacji (wykraczającym daleko poza podstawowe CRUD), zrozumienie pipeline'u agregacji — modelu opartego na etapach i kluczowych etapach ($match, $group, $sort, $project, $unwind, $lookup) — to niezbędna, często stosowana wiedza MongoDB do analityki, raportowania i złożonych transformacji danych, cecha zaawansowanej umiejętności pracy z MongoDB i jeden z najważniejszych tematów MongoDB do uzyskania rzeczywistej wartości analitycznej z bazy danych.