Как работают circuit breakers и повторные попытки с backoff в распределённых системах?

Question

Accepted Answer

В распределённых системах вызовы падают. **Повторные попытки с backoff** восстанавливаются из *временных* ошибок; **circuit breaker** предотвращает постоянное обращение к неработающей зависимости. Они дополняют друг друга: повторите попытку при сбое, отключитесь при сбое.

## Повторная попытка с экспоненциальным backoff + jitter

Для временных ошибок (timeout-ы, кратковременные сбои сети, 503s), повторите попытку — но **отступайте экспоненциально и добавьте jitter**, чтобы повторные попытки расходились в стороны вместо синхронизации в "thundering herd".

```text
attempt 1 → wait ~1s   (+ random jitter)
attempt 2 → wait ~2s   (+ random jitter)
attempt 3 → wait ~4s   (+ random jitter)
→ cap at maxRetries (e.g. 3) and a max delay → don't retry forever
```

Ключевые предостережения:

- **Ограничьте повторные попытки** — неограниченные повторные попытки создают **retry storms**, которые перегружают восстанавливающийся сервис.
- **Идемпотентность** — повторяйте попытки только операций, которые безопасно повторять (повторная платёж не должна сниматься дважды).
- **Jitter** — без него все клиенты повторяют попытки в одно и то же время и снова увеличивают нагрузку.

## Circuit breaker

Circuit breaker отслеживает сбои зависимости и после порога **открывается** — быстро завершается с ошибкой (или возвращает fallback) вместо вызова мёртвого сервиса. После периода охлаждения он переходит в **полуоткрытое** состояние для проверки восстановления.

```text
CLOSED   → calls pass through; count failures
  too many failures → trip → OPEN
OPEN     → fail fast immediately (no call); start cooldown timer
  cooldown elapsed → HALF-OPEN
HALF-OPEN → allow a few probe calls
  success → CLOSED (recovered) ; failure → back to OPEN
```

## Когда применяется каждый

```text
Retry           → transient, likely-to-succeed-soon errors (1 slow call)
Circuit breaker → repeated/sustained failures (the dependency is down)
→ use together: breaker prevents retries from piling onto a dead service
```

## Почему это важно

Без них мёртвая зависимость тянет вниз вызывающего: запросы скапливаются на timeout-ах, повторные попытки усиливают нагрузку, и сбой каскадирует по сервисам. Экспоненциальный backoff с jitter восстанавливается после сбоев без retry storms; ограничение и идемпотентность защищают повторные попытки; circuit breaker прекращает растрачивать ресурсы на мёртвую зависимость и даёт ей место для восстановления. Вместе они превращают отказ зависимости в содержащееся, самоисцеляющееся событие.