Какие распространённые паттерны concurrency в Go?

Question

Accepted Answer

Горутины и каналы Go обеспечивают набор хорошо зарекомендовавших себя **паттернов параллелизма**, которые решают типичные задачи — распределение работы, веерный вывод/ввод, конвейеры и ограничение пропускной способности. Знание этих идиоматических паттернов позволяет строить корректные и эффективные параллельные системы.

## Worker pool — bounded concurrency

```go
func workerPool(jobs <-chan int, results chan<- int, numWorkers int) {
    var wg sync.WaitGroup
    for w := 0; w < numWorkers; w++ {     // a FIXED number of workers
        wg.Add(1)
        go func() {
            defer wg.Done()
            for job := range jobs {        // each worker pulls jobs until the channel closes
                results <- process(job)
            }
        }()
    }
    wg.Wait()
    close(results)
}
```

**Worker pool** запускает фиксированное количество горутин, потребляющих из общего канала задач — ограничивая параллелизм (например, не открывайте 10 000 соединений БД; используйте 10 рабочих). Это наиболее важный паттерн для управления использованием ресурсов.

## Fan-out / fan-in

```text
Fan-out: distribute work across MULTIPLE goroutines (parallelize)
Fan-in:  MERGE results from multiple goroutines back into one channel
```

```go
// fan-in: merge several channels into one
func merge(channels ...<-chan int) <-chan int {
    out := make(chan int)
    var wg sync.WaitGroup
    for _, ch := range channels {
        wg.Add(1)
        go func(c <-chan int) {
            defer wg.Done()
            for v := range c { out <- v }   // forward each channel's values to out
        }(ch)
    }
    go func() { wg.Wait(); close(out) }()    // close out when all sources are drained
    return out
}
```

## Pipeline — stages connected by channels

```go
// each stage is a goroutine: receives from an input channel, sends to an output channel
func generate(nums ...int) <-chan int {
    out := make(chan int)
    go func() { for _, n := range nums { out <- n }; close(out) }()
    return out
}
func square(in <-chan int) <-chan int {
    out := make(chan int)
    go func() { for n := range in { out <- n * n }; close(out) }()
    return out
}
// compose: square(generate(1,2,3)) → a streaming pipeline
for result := range square(generate(1, 2, 3)) { fmt.Println(result) }
```

**Pipeline** соединяет этапы обработки через каналы — данные проходят, каждый этап преобразует их параллельно.

## Rate limiting

```go
limiter := time.Tick(200 * time.Millisecond)   // a tick every 200ms
for req := range requests {
    <-limiter                                    // wait for the next tick before proceeding
    go handle(req)                                // → at most 5 requests/second
}
```

## Cancellation with context (cross-cutting)

```go
select {
case result := <-work:
case <-ctx.Done():    return   // stop on cancellation — prevents leaks
}
```

## Почему это важно

Эти паттерны параллелизма составляют практический набор инструментов для построения реальных параллельных систем Go, превращая сырые горутины и каналы в структурированные, корректные решения повторяющихся задач.

**Worker pool** особенно важен — он ограничивает параллелизм, чтобы защитить ограниченные ресурсы (подключения БД, лимиты API, память), предотвращая распространённую ошибку создания неограниченного числа горутин, которые истощают систему. **Fan-out/fan-in** распараллеливает работу и объединяет результаты; **pipelines** аккуратно моделируют потоковые преобразования данных; **rate limiting** контролирует пропускную способность.

Вместе с **отменой на основе контекста** (для предотвращения утечек горутин) эти паттерны — это способ, которым production-системы на Go безопасно и эффективно справляются с параллелизмом.

Понимание их — и особенно знание того, как ограничивать параллелизм с помощью worker pools вместо запуска неограниченного числа горутин — является признаком мастерства в Go и частым вопросом на advanced интервью, так как наивный параллелизм (неограниченные горутины, утечки, race conditions) — распространённая причина сбоев в production.