Kako optimizirati spore agregacijske upite nad velikom tablicom?

Question

IT Interview Practice · Accepted Answer

Za ubrzavanje sporog agregatnog upita najprije utvrdite **što rezultat znači i koja operacija troši vrijeme**. Agregacija spaja retke u sažetak, primjerice prihod po trgovcu. Trošak ovisi o količini podataka koje treba pročitati i spojiti.

Uzmimo nadzornu ploču s prihodom prošlog mjeseca. Taj primjer pomaže odlučiti treba li poboljšati upit, pohraniti unaprijed pripremljeni sažetak ili premjestiti izvještavanje.

## 1. Provjerite odgovor prije ubrzavanja

Razjasnite znači li prihod plaćene ili stvorene narudžbe, kako se obračunavaju povrati i koje su valute uključene. Pitajte i koliko svježi podaci moraju biti. Te odluke mijenjaju upit i moguće optimizacije.

Česta pogreška jest spojiti uplatu s više stavki narudžbe, pa zbrojiti iznos uplate:

```text
[Payment: 100] -> [Join with 3 items] -> [100, 100, 100]
                                               |
                                          [SUM = 300]
```

Brojevi su ilustrativni. Upit je umnožio uplatu, pa bi ubrzavanje samo brže vratilo pogrešan zbroj. Agregirajte na odgovarajućoj poslovnoj razini ili promijenite spajanje prije procjene performansi.

## 2. Pronađite skupi dio izvršavanja

Plan izvršavanja pokazuje operacije potrebne za rezultat. Provjerite skupe korake i veličine njihova ulaza, umjesto pretpostavke da tablici samo treba još jedan indeks.

| Opažanje | Pitanje za provjeru |
| --- | --- |
| Čita se mnogo nepotrebnih redaka | Mogu li ih filtri ili izostavljanje particija ukloniti? |
| Stvarni broj redaka znatno se razlikuje od procjene | Predstavljaju li statistike te podatke? |
| Spajanje mnogo puta ponavlja rad | Je li ulaz prevelik ili pristup podacima neprikladan? |
| Grupiranje ili sortiranje zapisuje privremene podatke na disk | Može li se smanjiti ulaz prije promjene memorijskih ograničenja? |

U PostgreSQL-u EXPLAIN (ANALYZE, BUFFERS) izvršava upit i daje podatke o radu. Skupu provjeru provedite u kontroliranom okruženju ili uz unaprijed određen proračun produkcijskih resursa. [PostgreSQL EXPLAIN](https://www.postgresql.org/docs/current/using-explain.html).

## 3. Smanjite rad u postojećoj bazi

Za nadzornu ploču odaberite potreban mjesec i stupce. Provjerite preskače li plan stvarno nepovezane particije i donose li spajanja podatke koji sažetku nisu potrebni.

Indeks koristi kada izbjegava dovoljno čitanja. Ako izvještaj treba većinu redaka, sekvencijalno čitanje može biti prikladno. Procijenite plan i izmjereni trošak, a ne samo pojavljuje li se indeks.

Ako sortiranje prelijeva podatke na disk, smanjenje ulaza može riješiti problem. Povećanje memorije za svaki upit može iscrpiti RAM kada se izvještaji izvršavaju zajedno. Testirajte uz reprezentativno istodobno opterećenje.

## 4. Odlučite treba li rezultat pripremiti unaprijed

Ako mnogo korisnika traži iste zbrojeve i kašnjenje je prihvatljivo, ponavljanje čitanja sirovih narudžbi rasipa rad. Tablica sažetaka može čuvati zbrojeve po danu, trgovcu i valuti; nadzorna ploča spaja te manje rezultate.

```text
[Orders] -> [Scheduled / incremental calculation]
                              |
                       [Daily summaries] -> [Dashboard]
```

Prednost dolazi od zajedničkog izračuna jednom, umjesto za svaki zahtjev. Materijalizirani pogled drugi je način pohrane rezultata upita, s vlastitim pravilima osvježavanja.

Ta ušteda donosi odgovornosti:

- Definirajte učestalost osvježavanja i korisniku prikažite relevantnu svježinu.
- Primijenite povrate, zakašnjele narudžbe i ispravke bez dvostrukog brojanja.
- Omogućite sigurno ponavljanje obrade i ponovno stvaranje sažetaka.
- Pri spajanju prosjeka čuvajte zbroj i broj elemenata; prosjek prosjeka može biti pogrešan.

Za ovu ploču pripremljeni sažeci dolaze u obzir samo ako pravila svježine i ispravaka zadovoljavaju prvi korak.

## 5. Odvojite izvještavanje kada mjerenja to opravdaju

Ako široka analitička čitanja ostanu skupa i ometaju kupnje, razmotrite analitičku pohranu prilagođenu tom radu. Uključite kašnjenje sinkronizacije, oporavak i trošak održavanja drugog sustava.

Replika za čitanje može odvojiti opterećenje izvještavanja, ali isti upit ondje može ostati skup. Odvajanje mijenja mjesto troška; ne uklanja ga nužno.

Svaku promjenu usporedite s pouzdanim rezultatom i jednakim testnim opterećenjem. Provjerite vrijeme odgovora, resurse, svježinu i utjecaj na upise.

**Zapamtite:** točan rezultat → izmjereno usko grlo → manje nepotrebnog rada → pripremljeni sažeci ako odgovaraju → odvojena analitika ako je i dalje potrebna.

Opažanje	Pitanje za provjeru
Čita se mnogo nepotrebnih redaka	Mogu li ih filtri ili izostavljanje particija ukloniti?
Stvarni broj redaka znatno se razlikuje od procjene	Predstavljaju li statistike te podatke?
Spajanje mnogo puta ponavlja rad	Je li ulaz prevelik ili pristup podacima neprikladan?
Grupiranje ili sortiranje zapisuje privremene podatke na disk	Može li se smanjiti ulaz prije promjene memorijskih ograničenja?

1. Provjerite odgovor prije ubrzavanja

2. Pronađite skupi dio izvršavanja

3. Smanjite rad u postojećoj bazi

4. Odlučite treba li rezultat pripremiti unaprijed

5. Odvojite izvještavanje kada mjerenja to opravdaju

Povezana pitanja