Wie würden Sie die Überwachung für eine Anwendung von Grund auf gestalten?

Question

Accepted Answer

Beginnen Sie **von oben nach unten, fokussiert auf das, was Benutzer empfinden**, nicht von unten nach oben aus der Infrastruktur. Die zuverlässigste Host-Flotte ist wertlos, wenn Anfragen fehlschlagen, daher beginnen Sie mit benutzerorientierten **SLIs** — **Latenz**, **Fehlerquote**, **Verfügbarkeit** — und fügen dann die vier goldenen Signale hinzu, abschließend Infrastruktur-Metriken.

## Die Schichtung, vom Benutzer nach innen

```text
1. USER-FACING SLIs   → what the user experiences (latency, errors, availability)
2. GOLDEN SIGNALS     → latency, traffic, errors, saturation per service
3. INFRA METRICS      → CPU, memory, disk, network (causes, not symptoms)
```

Wenn Sie nur CPU und Festplatte überwachen (von unten nach oben), können Sie vollständig grün sein, während Benutzer 500s erhalten. Die Überwachung von SLIs zuerst (von oben nach unten) bedeutet, dass Sie auf **Symptome warnen, die Benutzer tatsächlich spüren**, und dann in goldene Signale und Infrastruktur bohren, um die Ursache zu finden.

## Die Pipeline: instrumentieren → sammeln → Dashboard → warnen

```text
INSTRUMENT  app emits metrics/logs/traces (e.g. request_duration_seconds histogram)
   ↓
COLLECT     a TSDB scrapes/ingests them (Prometheus, Datadog agent)
   ↓
DASHBOARD   visualize SLIs + golden signals (Grafana) for humans to read
   ↓
ALERT       fire on SLO violations / burn rate, routed to on-call
```

## Ein konkreter Ausgangspunkt

```promql
# Availability SLI: fraction of requests that succeed
sum(rate(http_requests_total{status!~"5.."}[5m]))
  / sum(rate(http_requests_total[5m]))

# Latency SLI: p99 request latency
histogram_quantile(0.99, sum by (le) (rate(http_request_duration_seconds_bucket[5m])))
```

Definieren Sie ein **SLO** für jedes SLI (z. B. 99,9% Verfügbarkeit, p99 < 300ms), visualisieren Sie diese auf dem Dashboard und warnen Sie, wenn das SLO gefährdet ist — nicht bei jeder Schwankung.

## Warum es wichtig ist

Überwachung, die von unten nach oben aufgebaut ist, sagt Ihnen, dass eine Festplatte zu 80% voll ist, aber nicht, dass Kunden nicht auschecken können. Der Start mit benutzerorientierten SLIs bindet jedes Dashboard und jede Warnung an tatsächliche Benutzerauswirkungen zurück, hält das Rauschen niedrig und bietet einen klaren Drill-Down-Pfad (Symptom → goldenes Signal → Infrastruktur-Ursache), wenn etwas ausfällt.