Miten optimoit suuren taulun hitaat koostekyselyt?

Question

IT Interview Practice · Accepted Answer

Hitaan koostekyselyn parantaminen alkaa siitä, **mitä tulos tarkoittaa ja mikä työ kuluttaa ajan**. Koostaminen yhdistää rivejä esimerkiksi myyjäkohtaiseksi liikevaihdoksi. Kustannus riippuu luettavasta ja yhdisteltävästä määrästä.

Tarkastellaan viime kuun liikevaihtoa näyttävää näkymää. Sen avulla valitaan kyselyn parantaminen, valmis yhteenveto tai raportoinnin siirtäminen.

## 1. Varmista vastaus ennen nopeutta

Selvitä, lasketaanko maksetut vai luodut tilaukset, miten palautukset käsitellään ja mitkä valuutat sisältyvät. Määritä myös tuoreus. Nämä muuttavat kyselyä ja optimointikeinoja.

Yleinen virhe liittää maksun useisiin tilausriveihin ja summaa maksun määrän:

```text
[Payment: 100] -> [Join with 3 items] -> [100, 100, 100]
                                               |
                                          [SUM = 300]
```

Luvut ovat esimerkkejä. Maksu monistui, joten nopeutus tuottaisi väärän summan aiemmin. Koosta oikealla liiketoimintatasolla tai korjaa liitos ennen mittaamista.

## 2. Löydä kallis suoritusvaihe

Suoritussuunnitelma näyttää tuloksen muodostavat operaatiot. Tutki kalliit vaiheet ja syötteet sen sijaan, että olettaisit uuden indeksin tarpeen.

| Havainto | Tutkittava kysymys |
| --- | --- |
| Paljon turhia rivejä luetaan | Voivatko suodatus tai osioiden ohittaminen poistaa ne? |
| Todelliset määrät poikkeavat arvioista | Kuvaavatko tilastot näitä tietoja? |
| Liitos toistaa paljon työtä | Onko syöte liian suuri tai hakutapa väärä? |
| Ryhmittely tai lajittelu kirjoittaa levylle | Voiko syötettä pienentää ennen muistirajojen nostoa? |

PostgreSQL:n EXPLAIN (ANALYZE, BUFFERS) suorittaa kyselyn ja kertoo ajonaikaiset tiedot. Tutki raskaita kyselyjä hallitussa ympäristössä tai tietoisesti rajatulla tuotantobudjetilla. [PostgreSQL EXPLAIN](https://www.postgresql.org/docs/current/using-explain.html).

## 3. Vähennä työtä nykyisessä tietokannassa

Valitse tarvittava kuukausi ja sarakkeet. Tarkista, ohittaako suunnitelma turhat osiot ja tuovatko liitokset tarpeetonta dataa.

Indeksi auttaa, kun se säästää riittävästi lukemista. Jos tarvitaan lähes kaikki rivit, peräkkäisluku voi sopia. Arvioi suunnitelma ja mitattu kustannus, älä vain indeksin käyttöä.

Levylle valuvan lajittelun voi korjata pienempi syöte. Muistin lisääminen kaikille kyselyille voi kuluttaa RAMin rinnakkaisilla raporteilla. Testaa edustavalla samanaikaisuudella.

## 4. Päätä esilaskennasta

Jos monet pyytävät samoja summia ja viive sallitaan, tilausten toistuva läpikäynti tuhlaa työtä. Yhteenvetotaulu voi tallentaa päivä-, myyjä- ja valuuttasummat, jotka näkymä yhdistää.

```text
[Orders] -> [Scheduled / incremental calculation]
                              |
                       [Daily summaries] -> [Dashboard]
```

Hyöty syntyy yhteisestä kertalaskennasta jokaisen pyynnön sijaan. Materialisoitu näkymäkin säilyttää kyselytuloksen omalla päivitystavallaan.

Säästö tuo velvollisuuksia:

- Määritä päivitystahti ja näytä käyttäjälle olennainen tuoreus.
- Käsittele palautukset, myöhäiset tilaukset ja korjaukset ilman kaksoislaskentaa.
- Tee uudelleenkäsittelystä turvallista ja säilytä uudelleenrakennusmahdollisuus.
- Tallenna summa ja lukumäärä keskiarvojen yhdistämiseen; keskiarvojen keskiarvo voi olla väärä.

Tässä yhteenvedot sopivat vain, jos tuoreus ja korjaukset täyttävät alkuperäisen vaatimuksen.

## 5. Erota raportointi mittausten perusteella

Jos laajat analyysiluvut pysyvät kalliina ja haittaavat ostamista, arvioi sopivaa analyysivarastoa. Huomioi synkronointiviive, palautus ja uuden järjestelmän käyttö.

Lukureplika voi eristää kuorman, mutta sama kysely voi sielläkin olla kallis. Erottaminen siirtää kustannusta, ei välttämättä poista sitä.

Vertaa jokaista muutosta luotettavaan tulokseen samalla kuormalla. Tarkista vaste, resurssit, tuoreus ja kirjoitusvaikutukset.

**Muista:** oikea tulos → mitattu pullonkaula → vähemmän turhaa työtä → sopivat yhteenvedot → tarvittaessa erillinen analytiikka.

Havainto	Tutkittava kysymys
Paljon turhia rivejä luetaan	Voivatko suodatus tai osioiden ohittaminen poistaa ne?
Todelliset määrät poikkeavat arvioista	Kuvaavatko tilastot näitä tietoja?
Liitos toistaa paljon työtä	Onko syöte liian suuri tai hakutapa väärä?
Ryhmittely tai lajittelu kirjoittaa levylle	Voiko syötettä pienentää ennen muistirajojen nostoa?

1. Varmista vastaus ennen nopeutta

2. Löydä kallis suoritusvaihe

3. Vähennä työtä nykyisessä tietokannassa

4. Päätä esilaskennasta

5. Erota raportointi mittausten perusteella

Aiheeseen liittyvät kysymykset