Tavoitteena on tietää, että järjestelmäsi on epäterve, ennen kuin käyttäjät sinulle kertovat. Hyvä havainnointikyky antaa sinulle mahdollisuuden vastata kysymyksiin, joita et osannut odottaa, eikä vain tarkistaa kiinteää joukkoa koontinäyttöjä. Teknisenä johtajana otat sen käyttöön ennen häiriötilannetta, ei sen aikana.
Hälytä siitä, mitä käyttäjä kokee, ei sisäisestä vaihtelusta. Ankkuroi hälytykset SLO:ihin: virheprosentti, viive (p95/p99) ja saatavuus. CPU:n piikki ei ole häiriötilanne; kassalle pääsy epäonnistuu 2 %:lla käyttäjistä, on.
| Hälytä | Älä hälyytä | |
|---|---|---|
| Virheprosentti ylittää SLO:n | Yksittäinen CPU-piikki | |
| p99-viive ylittää budjetin | Yksi hidas pyyntö | |
| Epäonnistuneet terveystarkistukset | Levy 60 %:ssa |
Jokainen hälytys pitäisi olla kiireellinen, todellinen ja kylmäkiskoinen — se nimeää, mikä on vialla, ja osoittaa seuraavaan vaiheeseen. Hälytykset, jotka laukeavat jatkuvasti, kouluttavat tiimin jättämään ne huomiotta; hälytysväsymys on se, miten oikeat häiriötilanteet jäävät huomaamatta. Lisää terveystarkistukset ja koontinäyttöjä, joissa näkyvät kulta-signaalit yhdellä silmäyksellä.
Tiimit, jotka havainnoivat vain häiriötilanteen jälkeen, lentävät sokein: ne oppivat käyttökatkoista vihaisten asiakkaiden kautta ja vianetsivät arvauksen perusteella. Investointi havainnointikykyyn etukäteen muuttaa klo 3 yöllä olevat mysteerit 5 minuutin diagnooseiksi, pienentää käyttökatkojen kestoa ja vapauttaa tiimin lähettämisen sijaan palojen sammutukseen.