Что такое конвейер агрегации?

Question

Accepted Answer

**Конвейер агрегации** — это мощный фреймворк MongoDB для **обработки и анализа данных** — он пропускает документы через последовательность **этапов**, каждый из которых трансформирует данные (фильтрация, группировка, вычисления). Это эквивалент SQL GROUP BY и сложных аналитических запросов MongoDB, но более гибкий.

## Концепция конвейера: этапы трансформируют данные

```js
db.orders.aggregate([
  { $match: { status: "completed" } },          // 1. FILTER (like WHERE)
  { $group: {                                    // 2. GROUP and aggregate
      _id: "$customerId",                         //    group by customerId
      total: { $sum: "$amount" },                 //    sum amounts per customer
      count: { $sum: 1 }                          //    count orders
  }},
  { $sort: { total: -1 } },                       // 3. SORT by total
  { $limit: 10 }                                  // 4. top 10
]);
// documents flow through each stage; each stage's output feeds the next
```

Документы проходят через этапы по порядку — каждый этап трансформирует их и передает результаты на следующий. Этот конвейер вычисляет итоги по клиентам, сортирует их, выбирает топ 10 — как SQL запрос GROUP BY.

## Распространённые этапы конвейера

```text
$match    → filter documents (like WHERE) — put EARLY to reduce data
$group    → group by a key and aggregate ($sum, $avg, $max, $min, $push, etc.)
$sort     → order documents
$project  → reshape documents (include/exclude/compute fields)
$limit / $skip → pagination
$unwind   → deconstruct an array field into multiple documents (one per element)
$lookup   → JOIN with another collection
$addFields → add computed fields
$count    → count documents
```

## $lookup — объединение коллекций

```js
// $lookup performs a left-outer JOIN to another collection
db.orders.aggregate([
  { $lookup: {
      from: "customers",
      localField: "customerId",
      foreignField: "_id",
      as: "customer"           // joined customer data added as an array field
  }}
]);
```

`$lookup` позволяет выполнять join'ы (которые MongoDB в других случаях избегает через встраивание) — полезно, когда нужно объединить коллекции.

## $unwind — развёртывание массивов

```js
// turn one document with an array into multiple documents (one per array element)
db.posts.aggregate([
  { $unwind: "$tags" },                           // one doc per tag
  { $group: { _id: "$tags", count: { $sum: 1 } } } // count posts per tag
]);
```

## Почему это важно

Конвейер агрегации — одна из самых мощных и важных функций MongoDB — это основной инструмент для **анализа данных, отчётности и сложных трансформаций**, поэтому его понимание критично для серьезной работы с MongoDB за пределами базовых запросов.

**Модель, основанная на этапах** конвейера (документы проходят через последовательные этапы трансформации, каждый из которых фильтрует, группирует, переформатирует или вычисляет) концептуально элегантна и позволяет выполнять сложную обработку данных, которую простые запросы `find` не могут — это эквивалент SQL GROUP BY и аналитических запросов MongoDB, но более гибкий и компонуемый.

Понимание распространённых этапов — **`$match`** (фильтрация, желательно на ранних этапах для сокращения данных), **`$group`** (группировка и агрегация с `$sum`, `$avg` и т.д. — сердце аналитики), **`$sort`/`$limit`** (сортировка и пагинация), **`$project`** (переформатирование документов), **`$unwind`** (развёртывание массивов в документы — важно для анализа данных массива, распространено в MongoDB) и **`$lookup`** (объединение коллекций — позволяет выполнять join'ы, которые MongoDB иначе избегает) — охватывает набор инструментов для реальной обработки данных.

Конвейер обрабатывает отчётность, аналитику, трансформацию данных и сложные запросы (агрегации, join'ы, обработка массивов), которые являются распространёнными потребностями в приложениях.

Поскольку анализ данных и сложные запросы — важные применения любой базы данных, а конвейер агрегации — мощный, гибкий механизм MongoDB для их реализации (выходящий далеко за рамки базовых CRUD операций), понимание конвейера агрегации — модели этапов и ключевых этапов ($match, $group, $sort, $project, $unwind, $lookup) — это essential, часто применяемое знание MongoDB для аналитики, отчётности и сложной трансформации данных, отличительная черта продвинутых навыков MongoDB и одна из самых важных тем MongoDB для получения реальной аналитической ценности из базы данных.