Deine Produktionswebsite ist gerade ausgefallen. Wie gehst du damit um?

Question

Accepted Answer

Oberste Priorität ist **den Service wiederherstellen, dann die Ursache finden** — die Mitigation kommt vor der Diagnose. Ich würde einen Incident ausrufen, klare Rollen vergeben und auf die schnellste sichere Wiederherstellung hinarbeiten, während ich durchgehend kommuniziere.

## Zuerst stabilisieren

- **Ruf einen Incident aus** und eröffne einen einzigen Kanal (War Room / Slack-Thread), damit die Koordination nicht zersplittert.
- **Vergib Rollen**: einen **Incident Commander**, der Entscheidungen trifft, einen **Comms-Owner**, der Stakeholder auf dem Laufenden hält, und **Responder**, die untersuchen. Als Tech Lead übernehme ich oft die IC-Rolle, damit sich die Entwickler auf das Problem konzentrieren können.
- **Greife zur schnellsten umkehrbaren Lösung.** Wenn ein Deploy mit dem Ausfall korreliert, mach zuerst einen **Rollback** und stelle Fragen später — Nutzer wiederherzustellen schlägt es, recht zu haben.

## Parallel diagnostizieren

- Prüfe die **offensichtlichen Signale**: Dashboards, Fehlerraten, kürzliche Deploys, Infra-Änderungen, Traffic-Spitzen, abgelaufene Zertifikate.
- Bilde eine Hypothese, teste die billigste zuerst und **ändere nicht fünf Dinge gleichzeitig** — du wirst nicht wissen, was geholfen hat.

## Kontinuierlich kommunizieren

Schweigen erzeugt Panik. Ich sende Updates in einem gleichmäßigen Rhythmus, auch wenn es nichts Neues gibt:

```
[14:05] Untersuchung läuft — Checkout ist down, ~40% der Nutzer betroffen. Nächstes Update 14:20.
[14:20] Identifiziert: schlechter Deploy. Rollback läuft jetzt. ETA 10 Min.
[14:35] Service wiederhergestellt. Monitoring läuft. Postmortem folgt.
```

## Nach der Wiederherstellung

- Bestätige die vollständige Wiederherstellung, nicht nur „es sieht besser aus".
- Führe innerhalb weniger Tage ein **blameless Postmortem** durch: Timeline, Root Cause, was die Erkennung/Behebung verlangsamt hat, und **konkrete Action Items mit Verantwortlichen**.
- Das Ergebnis ist eine systemische Verbesserung (bessere Alerts, Guardrails, Rollback-Automatisierung) — nicht ein Name, dem man die Schuld gibt.

## Fallstricke

- **Debuggen vor dem Mitigieren**, während Nutzer leiden.
- **Kein einzelner Entscheider**, sodass fünf Leute parallel raten.
- **Funkstille** gegenüber Stakeholdern.
- **Einzelpersonen beschuldigen**, was die Ehrlichkeit zerstört, von der künftige Incidents abhängen.

## Warum es wichtig ist

Ausfälle sind unvermeidlich; wie du sie handhabst, definiert das Vertrauen im Team und das Vertrauen der Kunden. Ruhige, rollenbasierte Koordination plus blameless Nachbereitung verwandelt einen schlechten Tag in ein stärkeres System — und signalisiert deinen Entwicklern, dass es sicher ist, sich schnell zu bewegen, weil Fehler als Prozess behandelt werden, nicht als Hexenjagd.