Nämä kolme kuvaavat eri asioita ja niitä sekoitetaan jatkuvasti. Latency on viive — kuinka kauan yhdeltä datayksiköltä kestää kulkea A:sta B:hen (mitataan aikana, esim. ms). Bandwidth on kapasiteetti — suurin datanopeus, jonka linkki voi kantaa (esim. Gbps). on nopeus, jonka saavutat käytännössä, joka on yleensä kaistanleveyttä pienempi. Putkivertaus tekee sen selväksi:
├────────────── length of pipe = LATENCY (how long to traverse) ─────────────┤
╔══════════════════════════════════════════════════════════════════════════╗
║ width of pipe = BANDWIDTH (max capacity) ║
║ water actually flowing = THROUGHPUT (real achieved rate ≤ bandwidth) ║
╚══════════════════════════════════════════════════════════════════════════╝
Ratkaisevaa on, että leveämpi putki ei tee siitä lyhyempää: kaistanleveyden lisääminen ei vähennä latenssia. Paksullakin transatlanttisella linkillä on silti ~80 ms edestakainen latenssi, jonka etäisyys ja valonnopeus sanelevat — et voi ostaa itseäsi sen alle. Siksi latenssi, ei kaistanleveys, hallitsee interaktiivisten sovellusten tuntumaa: jokainen edestakainen kierros (DNS, TCP-kättely, TLS, sitten pyyntö) maksaa latenssiveronsa, ja ne kumuloituvat.
Latenssi ja läpäisy vaikuttavat toisiinsa Bandwidth-Delay Productin (BDP = bandwidth × round-trip time) kautta, joka on "lennossa" olevan datan määrä, joka pitää putken täynnä. Suuren kaistanleveyden ja korkean latenssin "long fat networkissa" TCP:n kaltainen protokolla, joka odottaa ACK:ita, ei voi täyttää putkea, ellei sen ikkuna ole vähintään BDP:n suuruinen — joten läpäisy päätyy latenssin rajoittamaksi, ei kaistanleveyden. Siksi yksittäinen TCP-virta pitkän matkan yli usein alisuoriutuu nopeallakin linkillä, ja siksi rinnakkaisuus, suuremmat ikkunat ja CDN:t (jotka leikkaavat etäisyyttä, siis latenssia) auttavat.
Näiden kolmen sekoittaminen on yksi yleisimmistä — ja seurauksiltaan merkittävimmistä — suorituskykyvirheistä: tiimit ostavat lisää kaistanleveyttä korjatakseen jotain, joka on todellisuudessa latenssiongelma, eivätkä näe mitään parannusta. Senior-oivallus on, että latenssi on fysiikan asettama lattia (etäisyys), jota vastaan hyökkäät arkkitehtuurisesti — sijoita palvelimet/CDN:t lähemmäs käyttäjiä, vähennä edestakaisia kierroksia (yhteyksien uudelleenkäyttö, HTTP/3, välimuistitus) ja niputa pyyntöjä — kun taas kaistanleveyttä voi usein vain hankkia lisää. BDP:n ymmärtäminen selittää epäintuitiiviset tulokset kuten "nopea" linkki, joka toimittaa hitaita yksivirtaisia siirtoja, mikä on juuri sitä päättelyä, jota odotetaan kun suunnittelet tai debuggaat suorituskykyisiä, maantieteellisesti hajautettuja järjestelmiä.
Kirjasto IT-haastattelukysymyksiä yksityiskohtaisine vastauksineen — Juniorista Senioriin.
Lahjoita