O que é uma estratégia de observabilidade para logs, métricas e rastreamentos em escala?

Question

Accepted Answer

A observabilidade repousa em **três pilares** — **logs**, **métricas** e **rastreamentos** — e o objetivo é responder "o que deu errado e por quê" para um sistema grande demais para inspecionar manualmente. Em escala, a estratégia é sobre correlação, amostragem e custo.

## Os três pilares

| Pilar | Responde | Ferramentas |
|---|---|---|
| Métricas | Algo deu errado? (rates, latency) | Prometheus, Grafana |
| Rastreamentos | Onde no fluxo? | OpenTelemetry, Jaeger |
| Logs | O que aconteceu exatamente? | ELK, Loki |

```text
Metrics alert ─▶ trace pinpoints the slow service ─▶ logs explain the cause
   (broad)              (path)                          (detail)
```

## Torne-os correlacionados

O ID de rastreamento/correlação deve passar por rótulos de métricas, linhas de log e spans, para que você possa fazer pivô entre eles.

```text
log line:  level=error trace_id=abc123 service=payments msg="gateway timeout"
                       ^^^^^^^^^^^^^^^ same id appears in the trace + metrics
```

## Preocupações em escala

```text
✓ Standardize: OpenTelemetry across all services
✓ Use structured (JSON) logs — queryable, not grep-only
✓ Sample traces (e.g. keep all errors + 1% of success) to control cost
✓ Define SLOs and alert on symptoms (latency/error rate), not noise
✓ RED/USE method for dashboards (Rate, Errors, Duration)
```

## Armadilha

Registrar tudo em 100% é inaffordável e afoga o sinal. Faça amostragem, estruture e alerte em SLOs em vez disso.

## Por que isso importa

Com centenas de serviços, você não pode SSH e olhar — observabilidade é a única maneira de entender o comportamento em produção.

A estratégia vencedora é correlacionada, amostrada e orientada por SLO: ela expõe problemas reais rapidamente sem te deixar falido em armazenamento de telemetria ou enterrar o on-call em ruído.

Métricas	Algo deu errado? (rates, latency)	Prometheus, Grafana
Rastreamentos	Onde no fluxo?	OpenTelemetry, Jaeger
Logs	O que aconteceu exatamente?	ELK, Loki